从英伟达 GPU 到 RK3566 实机：Microduck 25 厘米强化学习机器人部署手记

从英伟达 GPU 到 RK3566 实机25 厘米强化学习机器人部署手记一台 25 cm 高、15 个电机、不到 800 g 的小机器人训练在英伟达 GPU 集群上花 1~2 小时收敛实机却只靠一块Rockchip RK3566开发板50 Hz · 20 ms 一个 tick把 15 个舵机稳住。本文把这条训练-部署链路完整拆开看 RK3566 凭什么能扛下这件事。一、缘起一只会走路的小鸭子2026 年 8 月 27 日Hugging Face 旗下 Pollen Robotics 团队发布了一款名为Microduck的桌面级双足机器人。几个数字很关键指标数值整机高度25 cm整机宽度14 cm整机重量 800 g自由度电机数15传感器头部摄像头 两套 IMU 8×8 ToF 深度预订价399 美元首批交付2026 年圣诞节前机身配色4 色Sky / Graphite / Cream / Lavender它走路、坐下、踢球、穿上轮子滑行也会摔倒——但两条腿会重新折回来15 个电机依次收到新位置它就又站起来了。这个摔倒-站起的循环就是 sim-to-real 强化学习的成果训练在英伟达 GPU 上完成实机推理则跑在一块巴掌大的 RK3566 核心板上。训练靠英伟达实机靠 RK3566。一台数据中心规模算力训出的策略被压缩到一颗四核 A55 SoC 上 20 ms 一拍地执行。下面把这条链路拆成训练端和部署端两端逐段看 RK3566 是怎么接住这个活的。二、双端架构总览维度训练端Training部署端Deployment硬件NVIDIA CUDA GPU / DGX Spark / Jetson / HF JobsROC-RK3566-PC 开发板RK3566 SoC算力形态多卡并行4096 个仿真环境4× Cortex-A55 1.8 GHz 1 TOPS NPU软件栈mjlab / MuJoCo Warp / PPOONNX Runtime 1.20.x 4 个守护进程输入机器人 URDF 任务 物理参数IMU / ToF / Camera / 手柄命令输出训练好的策略网络15 路舵机的目标位置时延要求1~2 小时出策略50 Hz / 20 ms 一个 tick中间的桥是ONNX训练框架导出的策略文件不绑定任何训练框架部署端用 ONNX Runtime 直接加载跨端零摩擦。这是现代 sim-to-real 工程的标准做法。三、训练端英伟达 GPU 4096 环境训练的核心是让一只虚拟小鸭在仿真器里反复走路。仓库用的是mjlab MuJoCo Warp PPO这一套现代组合。阶段工具关键点① 并行仿真mjlab / MuJoCo Warp单条命令拉起 4096 个 MuJoCo 鸭子同步跑② 强化学习PPO策略网络 价值网络联合训练③ 鲁棒性筛选物理扰动摩擦、关节间隙、机械误差都在训练中变化④ 导出ONNX通用推理格式与训练框架解耦参考训练时间1~2 小时机器和超参不同时间也会不同。这个时长对一台四卡 GPU 来说非常友好——意味着 sim-to-real 已经不是实验室独占的能力工程师自己就能跑。ARM 训练说明仓库里专门为 ARM 机器留了一份说明给出 NVIDIA DGX Spark、GB10、Jetson 等选项。本地没合适的 GPU 还能把训练任务交给 Hugging Face Jobs。四、部署端 SoCRockchip RK3566策略落到实机要看 SoC。Microduck 实机选用的正是Rockchip RK3566这颗芯片是 Rockchip 面向边缘 AI / 工业控制 / 轻量多媒领域的经典中端 SoC。4.1 芯片核心参数项目参数制程22 nm 先进工艺低功耗高性能CPU四核 64 位 ARM Cortex-A55主频最高1.8 GHzGPUARM Mali-G52 2EE支持 OpenGL ES 1.1/2.0/3.2、OpenCL 2.0、Vulkan 1.1内嵌 2D 加速硬件NPURKNN NPU1 TOPS INT8支持 Caffe / TensorFlow / TFLite / ONNX / PyTorch / Keras / Darknet 一键转换视频解码4K60fps H.265/H.264/VP91080P60fps VC-1/VP8/MPEG-1/2/4视频编码1080P100fps H.2651080P60fps H.264ISP8M ISP内存1/2/4/8 GB LPDDR4 / LPDDR4X32 bit 位宽存储8/32/64 GB eMMC16/128 GB 可选启动TF 卡 / U 盘 / eMMC 多启动方式系统支持Android、Ubuntu、BuildrootQT、OpenWRT、Debian1 TOPS NPU 的关键意义RK3566 提供了独立的 RKNN NPU 加速器对 ONNX 模型有原生转换路径rknn-toolkit。Microduck 当前的实机部署走的是 ONNX Runtime CPU 推理控制循环每 tick 20 ms对 CPU 已经足够但芯片本身具备将同一份 ONNX 策略下沉到 NPU 的能力——这是后续降低功耗、释放 CPU 给其它进程的关键路径。4.2 板卡实测ROC-RK3566-PC实机选用的核心板是ROC-RK3566-PCFirefly 出品把 RK3566 配齐电源、内存、eMMC、Wi-Fi/蓝牙、有线网和丰富外设接口。板卡背面中央的方形芯片就是 Rockchip RK3566 主体旁侧是 LPDDR4 内存颗粒和 RK809-5 电源管理芯片。丝印清晰可见 “ROC-13-PC / ROC-RK3566-PC / V1.2 / 2022.01.22”。板卡正面布局紧凑USB 3.0、USB 2.0、Type-C、HDMI 2.0、MIPI-DSI、MIPI-CSI、TF 卡槽、M.2 PCIe 2.12242 NVMe SSD、30 Pin 2.0 mm 双排扩展针、3.5 mm 音频、千兆 RJ45、AP6256 Wi-Fi 6/BT 5.0 模组一应俱全。板卡特性规格SoCRockchip RK3566内存配置板载1 GB / 2 GB / 4 GB / 8 GB LPDDR4/LPDDR4X 可选存储板载 eMMC8 / 32 / 64 GB16 / 128 GB 可选扩展存储1× M.2 PCIe 2.1 NVMe SSD2242 规格 1× TF 卡以太网1× 1000 Mbps RJ45无线2.4 / 5 GHz 双频 Wi-Fi 802.11 a/b/g/n/ac 蓝牙 5.0显示输出1× HDMI 2.04K60Hz 1× MIPI-DSI单通道 1920×108060fps摄像头输入1× MIPI-CSI DPHY30P-0.5 mm1×4 lanes 或 2×2 lanes2.5 Gbps/laneUSB1× USB 3.0Max 1000 mA 1× USB 2.0Max 500 mA 1× Type-CUSB 3.0 OTG / DC 5 V/2 A音频HDMI 音频输出 3.5 mm 耳机口CTIA 美标支持 MIC 录音 1.5 W 8Ω / 2.5 W 4Ω 喇叭输出 MIC 输入扩展排针1× 30 Pin 2.0 mm 双排针引出 I²C / SPI / UART / ADC / PWM / GPIO / I²S 等电源5 V / 2 AType-C 供电±5%典型功耗休眠 0.03 W · 典型 2.5 W · 最大 5.25 W板卡尺寸93.46 mm × 60.14 mm工作温度-20 ℃ ~ 60 ℃存储 -20 ℃ ~ 70 ℃功耗对比整板最大 5.25 W而一只 15 电机的双足机器人单次充电续航往往受电池容量限制。RK3566 这颗 22 nm A55 的功耗曲线非常适合 7.4 V 锂电 5 V 降压直供是桌面级双足机器人的甜点功耗区间。4.3 扩展排针机器人控制接口全集30 Pin 2.0 mm 扩展针是机器人板最常用的资源下表摘出与控制直接相关的引脚按规格书接口定义整理引脚定义电平机器人典型用途63.3 V Output (Max 500 mA)3.3 VIMU / ToF 模组供电115.0 V Output (Max 500 mA)5.0 V舵机控制板供电13 / 14I²C1_SCL / I²C1_SDA上拉 2.2 kΩ3.3 V多个 IMU、ToF 模组挂同一总线15~18SPI1_MISO / MOSI / CS0 / CLK3.3 V高带宽传感器扩展备用19~22SPI3 / PWM12~15 / UART93.3 V多路 PWM 直驱舵机 / 备用串口23ADC3 Input1.8 V电池电压采样24GPIO0_D5_D1.8 V通用 IO25 / 27I²C3_SDA / I²C3_SCL上拉 2.2 kΩ3.3 V第二路 I²C 总线避免与摄像头冲突26 / 28DEBUG_RX / DEBUG_TX3.3 V调试串口M.2 PCIe 2.1 接口可接 2242 NVMe SSD用于保存训练数据集 / 多策略快照TF 卡槽做系统盘与系统备份这对可回滚的机器人系统非常关键。五、部署端软件栈4 进程协作RK3566 这颗 A55 不像桌面 CPU 有几十核但它有4 个进程各司其职进程职责输入输出robotd50 Hz 控制循环调度 15 个舵机IMU / ToF / 策略推理结果15 路 PWM 目标位置btd蓝牙手柄命令接收BT 5.0 手柄按键指令写入共享内存mediad摄像头画面推流MIPI-CSI 摄像头WebRTC 视频流供远程观测tofd8×8 ToF 深度读取I²C 上的 ToF 模组深度矩阵写入共享内存进程解耦的好处相机推流和舵机控制互不阻塞手柄命令任何时候都能进ToF 深度独立刷新策略层需要时再读。游戏手柄按下一次命令从同一套接口进去板子再把 ONNX 策略送进控制循环——50.0 Hz 雷打不动。六、50 Hz 控制循环时序每 20 ms 一个 tick 跑 4 件事read读 IMU 当前姿态、ToF 8×8 深度、目标指令inferONNX Runtime 跑一次策略前向write把 15 个舵机的目标位置写进总线wait等下一个 20 ms。实测数据非常漂亮指标数值控制频率50.0 Hz每 tick 20 ms统计窗口15022 个 tick失帧 tick3 个失帧率≈ 0.02 %15022 个 tick 只漏 3 个是非常稳的状态——这说明 RK3566 在 CPU 推理路径下完全 hold 得住 20 ms 的硬实时要求。七、sim-to-real 踩坑实录工程不是童话部署也踩过坑。最有教育意义的一次板上的 ONNX Runtime 是1.20.1策略要求1.23.x 或更高。控制线程没进入正常循环——鸭子没站起来。团队的处理路径步骤操作备注1补异常处理不让一个 tick 失败带崩整轮控制2改升级脚本ONNX Runtime 升到 1.23.x3重新部署在同一块板上完成升级4健康检查报告正确周期性上报策略版本、ONNX Runtime 版本、控制频率5自动回滚健康检查异常时自动回滚到上一个稳定策略关键经验sim-to-real 的最后一公里不是模型问题是运行时版本对齐问题。把 ONNX Runtime、策略、机器人固件三者的版本绑定管理是工程化的硬底线。附带的供应链信息板卡厂商的 RK3566 核心板供货承诺至少延续到2030 年 9 月。这意味着机器人交付后还有 4 年以上的备件 升级窗口对生命周期以年计的双足机器人产品是重要参考。八、总结RK3566 在边缘机器人上的可行域把上面所有内容压缩成一张总表维度RK3566 能 / 不能备注跑 1~2 Hz 重型策略✅ 充裕A55 4 核 1.8 GHz 足够 50 Hz多模态融合IMUToFCamera✅ 充裕I²C / SPI / MIPI-CSI / USB 全在多进程协作✅ 充裕Linux 标准进程模型板上训练 / 在线学习❌ 不建议数据中心级算力更适合1 TOPS NPU 加速 ONNX✅ 可用rknn-toolkit 一键转换长生命周期供货✅ 至 2030板卡厂商承诺整机功耗✅ 5.5 W电池直供友好一句话RK3566 不是高性能选手但它是一颗把够用 低功耗 长供货 丰富外设 Linux 生态打包到极致的边缘 SoC。对桌面级双足机器人这种小而美、长生命周期、需多模态感知的形态几乎是量身定做。附参考与软硬件清单类型内容训练框架mjlab / MuJoCo Warp / PPO推理框架ONNX Runtime 1.23.x机器人本体25 cm 双足15 电机IMU×2 8×8 ToF 摄像头核心板ROC-RK3566-PCFirefly 出品93.46 × 60.14 mmSoCRockchip RK3566四核 A55 1.8 GHz1 TOPS NPU操作系统Debian / Ubuntu官方支持许可证运行端、模拟环境、强化学习脚本、sim-to-real 流程全部 Apache 2.0如果这篇文章对你了解 sim-to-real 部署链路有帮助欢迎点赞、收藏、评论区交流。后续会继续更新 RK3566 NPU 加速 ONNX 策略的实战记录。