租赁autodl配置conda环境以最简单的YOLO西红柿成熟度二分类预测为例

本文重点参考了以下三个视频首先花了大概3天时间把这个视频的4个小视频P1-P4在本地环境中全部跑通了。这个具体过程我的另外3个博客里面有详细的记载。踩坑无数后我用10分钟搞定了YOLOv8/v11最稳环境配置 (CPU)-P1https://www.bilibili.com/video/BV1mwkQBwEQv?spm_id_from333.788.videopod.sectionsvd_source3747aa9602a75ae24c8193b6dc40a604只是在本地都会有个问题普通电脑的显卡都不能跑大一点的深度学习项目于是想到怎么迁移到远程服务器autodl上。在B站上找到下面两个视频特别是第一个讲得特别详细基本上我也都复现成功了。第一个视频前几集免费后面买全套要280元我暂时还舍不得买如果有大神愿意分享请发我QQ邮箱542009647qq.com。深度学习炼丹必修AutoDL 租 GPU 全流程教学跑通深度学习项目https://www.bilibili.com/video/BV1s2YdzNESZ/?spm_id_from333.1007.top_right_bar_window_history.content.clickvd_source3747aa9602a75ae24c8193b6dc40a604适合新手小白的用AutoDL远程训练PyChramhttps://www.bilibili.com/video/BV1QBqkYqELL/?spm_id_from333.788.top_right_bar_window_history.content.clickvd_source3747aa9602a75ae24c8193b6dc40a604第一步就是注册autodl账号https://www.autodl.com/login注册登录后选择右下角的充值即可。充值后点算力市场选择地区和显卡。根据需求选择和地区和GPu显卡型号自己以前的两个实例都选的RTX4090优先选择显卡空闲数量多的防止别人占用了你用不了了。autodl除了显卡有可能被别人挤占之外就是你的实例通常要在15天内要无卡模式开机一次否则你配置的conda环境就没有了要重新配置挺麻烦的特别是初学者不过你要像我一样爱写博客记录也不所谓。特别是现在有AI了其实也简单要安装什么依赖包就截图问AI就好了然后就各种pip install就行了。这里关键是你要清楚你的文件夹位置在哪所以两个基础命令cd和ls切换目录和查看里面的内容就很常用。其实你不知道安装命令就截图问豆包之类的免费资源就行了也可以问Gemini和chatGPT。本次我采用的是YOLO现在改名了叫ultralytics 了。ultralytics 项目没有传统单独的 requirements.txt它用pyproject.toml管理依赖或者把项目内容截图直接问豆包之类的AI工具他自动会给你推荐框架如何选择的。这次没有显卡都能跑的简单tomato检测的例子所以就问了一下豆包她就说基础框架选下面的就可以了。如果要复现论文中复杂的项目要看requirements文件或者environment.yml类似的环境文档但是.yml文件在自动化安装的时候容易报错要借助Gemini之类的工具转换成requirements格式的文档才方便你pip install自动化安装。选好了地区以及框架后创建并开机实例就有了。此时费用较高所以应该关机选择无卡模式开机。只有在炼丹训练/预测的时候才选择正常开机在配置conda环境上传文件都没必要正常开机太费钱了。点控制台选已经创建好的实例右边更多里面第一个就是“无卡模式开机”。只有开机才会显示SSH登录指令和密码以便后面连接pycharm远程解释器以及File-Zilla数据传输软件。无卡模式只启动CPU和内存释放GPU给其他用户。价格极其便宜(通常约0.1元/小时)。非常适合用来单纯地下载庞大的数据集、进行文件解压或者配置Conda环境。实例有了以后就是用gitclone或者软件FileZilla直接拖拽来上传你的项目项目一般都放在/root/autodl-tmp这个文件夹下面包括创建conda环境都要切换到这个文件夹下尽管在这个文件夹下创建但实际的环境所在位置的路径是/root/miniconda3/bin/conda如果不知道位置可以用conda env list命令去查看。上传代码和数据集我只推荐File-Zilla数据传输软件连接好可以直接拖拽带结构的文件夹下面介绍FileZilla的SSH连接方法。点文件站点管理输入主机端口号用户名和密码点连接。auto DL无卡模式开机后复制的两个内容如何填到相应的位置主机就是后面的内容用户名为root密码就填密码端口就填root前面的数字Pycharm连接SSH的时候方法类似 登录指令 ssh -p 35361 rootconnect.nmb1.seetacloud.com 密码MqRA3Ds0D8VQ这个登录指令只有在开机状态下才会显示出来登录指令和密码很重要后面如果要和PyCharm或filezilla通信时要用到登录指令和密码一般配置的时候我们选无卡模式更多里面比较便宜实际用再有卡开机先关机再点更多AutoDL 上配置 Conda 环境的注意事项。在远程服务器上先配置好环境再利用SSH相关数据连接而且pycharm要是专业版的才有SSH。一键批量安装命令复制到 Jupyter终端tomato文件夹下直接运行pip install ultralytics torch torchvision opencv-python pillow matplotlib pycocotools cython numpy scipy pandas seaborn tqdm pyyaml loguru albumentations黄色警告可以忽略红色error要处理。不知道安装什么就用环境文件或者直接截图问AI缺啥补啥就行了。下面讲一下pycharm如何连接SSH。设置构建、执行、部署选部署映射里面可以同步本地和远程文件夹的路径不同pycharm版本界面不一样需要自己找一下。同步本地和远程路径的时候注意本地文件夹也用正斜杠/否则可能出现找不到自己新建的tomato的情况这里按照280元的那个视频反复操作了几次才成功。在python文件里面也要调试路径否则会报错。pycharm终端也要改为远程的SSH。这里开始没找到自己的conda环境但是要把本地切换为SSH。就是带远程主机端口号的环境选上。下面是解释器正确连接的样子出现自己的conda环境tomato才算正确视频3里面就不是自己创建的环境勾选上就会疯狂报错可能他用的是base环境。没有隔离或者缺少环境依赖包吧。在pycharml的终端里面运行文档跟在Jupter里效果一样首先要激活tomato然后cd切换到项目文件夹最后在执行python3 predict.py文件。否则有个虚拟的963字样的文件夹根本就不是你的项目位置你执行啥都是错的。所以像cd和ls这类基础命令是很常用也很重要的。运行起来有结果就行了这里只是简单预测演示训练的过程应该也是同样的道理比较费钱就自己脑补一下吧。这里不建议用pycharm的绿色运行按钮感觉很卡就直接用终端反正现在命令都可以问豆包。至于其他细节参考开头第二个视频去做就可以了有时候一次未必能成功复现多试几次事实证明都是可以的可能由于pycharm版本不同略有差异不断截图问豆包基本可以调通的。我就是这么调的有时候太累的第二天就调好了。多问多重复几次就通了。最终成功的在pycharm终端里复现出了结果但是发现autodl-tmp文件夹下面的result_0并没有回传到本地文件夹也就是传输是单向的我这里没有正常开机因为项目小不需要GPU也能运行。如果是训练大项目就要正常开机了。最后一句话总结一下大体思路无卡开机 FileZilla拖代码进autodl-tmp终端 conda配环境关机换有卡开机conda activatepython predict.py