公司动态
一张照片,复刻任何动作:ComfyUI-MimicMotionWrapper 视频动作迁移完整上手指南
一张照片复刻任何动作ComfyUI-MimicMotionWrapper 视频动作迁移完整上手指南【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper凌晨一点剪辑师小林盯着屏幕上练了一整晚的舞蹈视频发呆动作是完美的可画面里的人不是他想要的主角。他想让另一个人物做出同样的动作重拍不现实传统换脸又会让动作生硬走样。直到他遇上 ComfyUI-MimicMotionWrapper——一个擅长借动作的开源项目它逐帧分析源视频里的姿态轨迹再让一张静态人物照片顺着这些轨迹动起来成品就是一段全新的、由照片里的人主演的短视频。它到底在做什么给动作找一位新演员先打个比方。舞蹈视频像一份乐谱记录着每一个节拍与步伐而你要做的是换一位演奏者。ComfyUI-MimicMotionWrapper 不碰人物的长相和身份——画面里还是你提供的那张照片里的人只是她的肢体、步伐、旋转的角度全部换成了源视频里的动作。它和换脸有本质区别。换脸是把 A 的脸贴到 B 的身体上追求看起来像这里追求的是动起来像——身份不变动作全换。中间靠什么牵线DWPose。这个姿态检测算法先把源视频的每一帧抽成一组骨骼关键点关节坐标再把目标图片转进同一坐标系模型只需在骨架上完成迁移最后渲染成连贯的视频。你几乎感觉不到技术存在看到的只有一个活过来的人。出发前把三样东西备齐动手之前先确认三件事准备项说明一台带 NVIDIA 显卡的电脑8GB 显存以上更从容CPU 硬跑会等到怀疑人生Python 环境以及可选的 ComfyUI只想命令行出片可以跳过 ComfyUI一段源视频 一张目标人物照片项目自带示例素材见assets/example_data/拉取代码并安装依赖git clone https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper cd ComfyUI-MimicMotionWrapper pip install -r requirements.txt模型不用你操心。首次运行时姿态检测模型与动作迁移模型会自动下载到对应目录仓库里的models/mimic_motion_pose_net.safetensors就是姿态控制网络网络不畅时也可以按 README 的提示手动放置。如果你用的是 ComfyUI把项目放进custom_nodes/后重启节点会自动出现在 MimicMotionWrapper 分类下。第一次成功让示例里的女孩跳起来项目自带一对现成素材源动作视频assets/example_data/videos/pose1.mp4目标图片assets/example_data/images/demo1.jpg——一位穿着蓝白休闲装的女孩姿态放松、背景干净是理想的目标人物。用命令行出片只需两步。先看一眼configs/test.yaml它已经指向了这对素材test_case: - ref_video_path: assets/example_data/videos/pose1.mp4 ref_image_path: assets/example_data/images/demo1.jpg num_frames: 16 resolution: 576 num_inference_steps: 25 guidance_scale: 2.0 fps: 15然后运行python inference.py --inference_config configs/test.yaml --output_dir outputs/等进度条走完outputs/里会多出一个带时间戳的 mp4那位蓝衣女孩会跟着源视频的节奏动起来。第一次看到照片里的人活过来那种成就感是实打实的——这就是你的第一个动作迁移作品 ✨偏好图形界面的话把examples/mimic_motion_example_02.json直接拖进 ComfyUI 画布MimicMotionGetPoses提姿态、MimicMotionSampler采样、MimicMotionDecode出图全流程一目了然。效果不满意三个旋钮决定质感跑通只是起点。想让它更接近真人实拍值得盯住三个参数1. num_inference_steps推理步数25 是甜点位。调到 40 左右画面细节和边缘会更扎实代价是耗时增加低于 15 则容易出现明显噪点。2. guidance_scale引导强度默认 2.0。调大动作更贴合姿态骨架但超过 3 容易僵死调小动作更自由却可能偏离源视频。一个实用的观察点让角色的手部动作跟手、不发抖说明这个值正合适。3. resolution 与 num_frames分辨率与帧数576 是质量和显存之间的平衡。显存吃紧时降到 384帧数从 16 减到 8压力立刻缓解。长视频则靠frames_overlap做分块衔接重叠帧越多片段间的接缝越不明显。每改一次参数就对着同一个动作对比一次关节是否跟手、画面是否闪烁、运动是否卡顿——这三个观察点基本能帮你判断八成质量问题。把它放进你的创作流水线日常创作里它的玩法远不止换个人跳舞。灵感一虚拟主播动作驱动。录一段你自己的手势和转身把虚拟形象图片作为目标一场直播的肢体语言就齐了——不用逐帧 K 动画。灵感二批量出教学素材。同一段教练动作配上不同体型、不同穿搭的模特照片循环跑一遍就能一次拿到多种风格的示范视频。把命令写进一个 for 循环、每次替换 yaml 里的图片路径即可几分钟出一批。核心逻辑都在mimicmotion/pipelines/pipeline_mimicmotion.py姿态提取则集中在mimicmotion/dwpose/。想深入研究的人从这两个目录读起最顺。你可能会问的几个问题Q没有 NVIDIA 显卡能玩吗基本不能。整个流程依赖 CUDA 加速CPU 推理的等待时间以小时计远不如升级一块显卡来得实在。Q输出的动作会和源视频完全一致吗接近但不是像素级复制。姿态骨架决定了动作的大框架服装摆动、表情细节是模型脑补的所以源视频越清晰、动作越干净结果越像。Q视频里的人物脸会变成谁还是目标照片里的那个人。这个项目只迁移动作不换脸、不改身份。Q为什么输出视频比源视频短了一点因为模型会丢弃首帧它以参考图作为起点属于正常现象不必担心。过来人踩过的坑提前帮你填平源视频别用模糊快闪的。姿态检测最怕抖动和拖影动作一糊骨架就乱结果跟着崩。选光线好、镜头稳的素材。目标图片别挑背景太杂的。人物完整、轮廓清晰的全身照最省心半身照或遮挡严重的图会拉低检测精度。别一上来就猛拉分辨率。显存不够时先降 resolution、再减帧数比换硬件快得多别硬刚 OOM。别迷信大 guidance_scale。一味加大引导强度动作会从自然走向僵硬在 2.0 附近多试几档才是正解。现在轮到你了这一路下来你其实已经掌握了完整的闭环素材准备、首次出片、参数调优、批量复用。剩下的就是拿一张自己的照片配一段喜欢的舞蹈或运动视频亲手做一次。请记得动作迁移是有边界的技术——别拿他人的肖像、受版权保护的影像去制作容易引人误解的内容。用在你自己的创作里它就是最趁手的工具。下次有人问这段舞是谁跳的你可以笑着说照片是她的动作是它给的。【免费下载链接】ComfyUI-MimicMotionWrapper项目地址: https://gitcode.com/gh_mirrors/co/ComfyUI-MimicMotionWrapper创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考