GG-CNN快速入门教程：5步跑通你的第一个机器人抓取预测

GG-CNN快速入门教程5步跑通你的第一个机器人抓取预测【免费下载链接】ggcnnGenerative Grasping CNN from Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach (RSS 2018)项目地址: https://gitcode.com/gh_mirrors/gg/ggcnnGG-CNNGenerative Grasping CNN是一个轻量级的全卷积机器人抓取预测网络只需一张深度图像就能在图像上每个像素实时预测抓取质量与抓取位姿源自经典论文《Closing the Loop for Robotic Grasping》RSS 2018。本仓库是其 PyTorch 移植版代码经过大幅清理并增加了 GG-CNN2 模型。下面带你 5 步从零跑通环境准备 → 数据集 → 训练 → 评估 → 可视化。为什么选择 GG-CNN特性说明轻量快速全卷积结构单次前向传播即可出结果适合闭环实时控制生成式预测在深度图每个像素上直接输出抓取质量、角度和宽度闭环抓取物体在抓取过程中移动也能持续更新抓取方案易于上手内置 Cornell 与 Jacquard 两套经典数据集的加载代码网络结构非常小巧GG-CNN 由 3 个下采样卷积 3 个反卷积组成GG-CNN2 则改用空洞卷积扩大感受野两者分别定义在 models/ggcnn.py 和 models/ggcnn2.py 中输出包含 4 张特征图质量、cosθ、sinθ、宽度。第1步克隆仓库并安装依赖打开终端先克隆项目注意替换成你本地的目录git clone https://gitcode.com/gh_mirrors/gg/ggcnn cd ggcnn然后一键安装全部依赖PyTorch、OpenCV、TensorBoard 等都在 requirements.txt 里列好了pip install -r requirements.txt 提示代码默认使用cuda:0设备因此建议使用带 NVIDIA 显卡的环境以获得最佳体验。第2步准备数据集项目原生支持两套经典抓取数据集加载逻辑位于 utils/data/ 目录方案 ACornell 抓取数据集推荐新手数据量小、上手快从 Cornell 官网下载并解压数据集注意是 rect_data 版本运行仓库自带的工具把 PCD 点云文件转换成深度图python -m utils.dataset_processing.generate_cornell_depth 你的数据集路径该脚本就是 utils/dataset_processing/generate_cornell_depth.py转换完成后每个 PCD 文件旁会生成一个*d.tiff深度图像。方案 BJacquard 数据集场景更复杂、图像更大直接从 Jacquard 官网下载解压即可无需额外转换对应加载代码是 utils/data/jacquard_data.py。第3步训练你的抓取模型训练入口是 train_ggcnn.py先用--help查看全部参数再执行下面的命令# 在 Cornell 数据集上训练 GG-CNN python train_ggcnn.py --description my_first_run --network ggcnn \ --dataset cornell --dataset-path 你的数据集路径 # 也可以训练改进版 GG-CNN2 Jacquard 数据集 python train_ggcnn.py --description run2 --network ggcnn2 \ --dataset jacquard --dataset-path 你的数据集路径训练过程中你会看到每个 epoch 的批次损失日志每 100 个 batch 打印一次验证集上的抓取成功率基于 IoU 指标模型会自动保存到output/models/目录文件名带 epoch 和 IoU 分数方便挑选最优模型。训练曲线可以接入 TensorBoard 实时查看日志默认写在tensorboard/目录。想盯着看网络学到了什么加上--vis参数就能实时弹出可视化窗口。第4步评估抓取效果评估与可视化统一由 eval_ggcnn.py 完成核心参数有三个参数作用--network第3步保存的模型路径--iou-eval用 IoU 指标统计抓取成功率预测框与真值框 IoU25% 且角度差30° 算成功--jacquard-output生成 Jacquard 仿真测试所需的输出文件仅 Jacquard 数据集可用在 Cornell 数据集上评估自己的模型python eval_ggcnn.py --network output/models/你的模型文件 \ --dataset cornell --dataset-path 你的数据集路径 --iou-eval跑完会输出一行IOU Results: 成功数/总数 成功率这就是你第一个机器人抓取模型的成绩单第5步可视化抓取结果想直观看看网络到底在哪里抓取给上面的命令加上--vis参数即可python eval_ggcnn.py --network 模型路径 --dataset cornell \ --dataset-path 数据集路径 --vis程序会逐张弹出 2×2 的可视化图RGB 图、深度图、抓取质量热图Q 图和角度热图并把预测出的抓取矩形画在原图上效果非常直观。绘图逻辑在 utils/dataset_processing/evaluation.py 中。常见问题速查Q1训练时提示 CUDA 错误代码硬编码了cuda:0请确认nvidia-smi能看到显卡且 PyTorch 是 GPU 版本。Q2Cornell 转换深度图很慢generate_cornell_depth需要逐个 PCD 做 inpaint 修复属正常现象耐心等待即可。Q3如何继续调参--batch-size、--epochs、--batches-per-epoch、--split训练/验证比例默认 0.9都可以在train_ggcnn.py --help中找到。Q4预训练模型哪里找项目 README 提供了作者在 Cornell 数据集上训练好的 GG-CNN/GG-CNN2 权重下载说明可直接加载体验推理流程。小结步骤命令/文件产出1. 装环境pip install -r requirements.txt可用的运行环境2. 备数据generate_cornell_depth.py深度图像数据集3. 训练train_ggcnn.pyoutput/models/中的模型4. 评估eval_ggcnn.py --iou-eval抓取成功率5. 可视化eval_ggcnn.py --vis抓取矩形可视化图恭喜 你已经跑通了从数据到评估的完整机器人抓取预测流程。下一步可以试试用 Jacquard 数据集挑战更难的场景或把模型部署到机械臂上做真实闭环抓取。项目关键文件索引训练脚本train_ggcnn.py评估脚本eval_ggcnn.py网络模型models/ggcnn.py、models/ggcnn2.py数据集加载utils/data/cornell_data.py、utils/data/jacquard_data.py深度图生成utils/dataset_processing/generate_cornell_depth.py评估与绘图utils/dataset_processing/evaluation.py【免费下载链接】ggcnnGenerative Grasping CNN from Closing the Loop for Robotic Grasping: A Real-time, Generative Grasp Synthesis Approach (RSS 2018)项目地址: https://gitcode.com/gh_mirrors/gg/ggcnn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考