Worldscape-MoE: A Unified Mixture-of-Experts World Model for Scalable Heterogeneous Action Control

文章提出了Worldscape-MoE这是首个将多种异构动作控制相机运动、机器人操作、手部关节控制统一在单一框架中的世界模型通过混合专家MoE架构实现可扩展的异构控制学习并验证了不同控制信号可以相互促进而非干扰。核心问题与动机当前世界模型的主要问题不是“缺乏可控生成器”而是控制接口的碎片化相机轨迹控制运动/导航→ 用于场景探索机器人关节动作控制操作→ 用于具身任务手部关节控制自我中心交互→ 用于第一人称操作这些模型各自独立开发数据和知识被按控制边界分割尽管它们描述的是同一个物理世界。本文的核心观察是不同的控制只是通往同一底层世界的不同接口——它们形式不同但都约束着共同的物理规律、物体恒常性和因果交互。提出的解决方案Worldscape-MoE1. 架构设计三部分分离组件功能模态感知的控制注入根据控制类型密集/稀疏设计不同的注入路径视觉token级 vs 时间调制级共享专家Shared Expert积累跨所有控制类型的通用世界知识物理规律、时空连贯性模态特定专家Control-Specific Experts专精于各自控制接口的语义细节防止跨模态干扰MoE在此不仅是容量扩展手段更是分离“共享世界演化规律”与“模态特定动作解读”的机制。2. 渐进式训练策略Worldscape-MoE Tuning分组学习率共享专家用小学习率防止过拟合最新控制新专家用大学习率快速适应分阶段扩展先从预训练视频模型出发学习运动操作再逐步引入新控制模态新专家从共享专家初始化继承世界先验这使得框架持续可扩展添加新控制无需从头训练全部模型。主要贡献问题定义将异构动作控制世界建模定位为“扩展问题”而非“单控模型缺失问题”统一架构基于DiT的Worldscape-MoE支持运动、操作、手部控制三种主流模态渐进式训练支持新控制模态的持续接入全面实验验证回答了四个研究问题RQ1–RQ4实验验证与主要结果RQ1多控制能否共存且不互相干扰运动iWorldBench得分0.7556所有基线第一操作WorldArenaEWM得分62.84超过CtrlWorld (2.86)手部控制EgoDexFID-VID 3.80FVD 110.94均最优结论异构训练提升而非削弱单项控制能力RQ2MoE是否学得有意义的专业化共享专家占整体门控加权计算的69.48%核心通用知识专用专家使用率运动20.91%、操作47.95%、手部35.97%操作和手部需要更多模态特定计算结论MoE确实分离了通用动态与模态特定语义RQ3添加新控制是否可扩展引入新模态时旧模态如运动有短暂性能下降但随训练推进恢复并保持额外实验LIBERO单臂操作显示共享专家可快速迁移到新任务结论框架提供实用的扩展路径RQ4能否泛化到分布外及组合控制在未见场景、新视觉风格、跨数据集迁移上均有良好表现可生成耦合的“运动-操作”行为靠近并操作物体说明模型学会了可组合的物理知识结论模型学习的是可迁移的世界规律而非记忆数据分布局限性计算开销大训练成本高随模态增加速度下降未优化实时部署蒸馏和加速仍是开放问题Worldscape-MoE 的核心贡献不是“在某个单项指标上刷榜”而是首次证明了异构控制可以在单一世界模型中统一学习并相互增益将此前互不相通的数据孤岛转化为可扩展的联合训练资源为世界模型从“专用工具”走向“通用基础设施”迈出了关键一步。这里是自己的论文阅读记录感兴趣的话可以参考一下如果需要阅读原文的话可以看这里如下所示官方项目主页地址在这里如下所示项目地址在这里如下所示预训练模型发布地址在这里如下所示摘要.世界模型正迅速成为具身智能体和交互式智能体的核心基础设施它们提供可控的模拟器智能体可以在其中感知、行动、预测并获取可扩展的经验。然而当前的视频生成世界模型仍然围绕孤立的控制接口组织例如相机轨迹、机器人动作或手部关节信号。这种碎片化日益成为扩展的瓶颈。核心挑战并非缺乏可控的生成器而是缺乏一个统一且可扩展的学习框架该框架能够吸收异构的动作监督同时保留共享的世界动态模型。在这项工作中我们介绍了 Worldscape-MoE一个基于扩散Transformer构建的混合专家世界模型用于可扩展的异构动作控制。我们的关键观察是不同的控制指定了通往同一底层世界的不同接口尽管它们的表示形式不同但它们都约束了共享的物理规律、场景动态和交互语义。Worldscape-MoE 通过模态感知的控制注入、共享专家和特定控制专家以及支持持续扩展到新动作模态的渐进式 MoE 调优策略将这一观察付诸实践。在运动、机器人操作和自我中心手部控制方面的实验表明异构监督能够提升而非干扰单个控制能力。Worldscape-MoE 在 WorldArena 上取得了强劲的结果改善了运动和手部控制指标展现出鲁棒的分布外泛化能力并随着更多控制数据和专家的整合而表现出扩展行为。1 引言世界模型正从研究原型向具身智能体和交互式智能体的通用基础设施迈进。基于近期高质量视频生成[1-3]的进展它们可以模拟视觉场景在动作下的演变支持交互式探索并提供超越直接在物理世界中收集的可扩展经验[4, 5]。这种角色对于必须在执行前推理行动后果的智能体尤为重要世界模型不再仅仅是视频生成器而是一个用于感知、规划、评估和策略学习的可控基础。尽管取得了这些进展当前的世界模型在很大程度上仍然因其所接受的控制形式而碎片化。交互式环境模型如 Genie [6]、Matrix-Game 系列[7-9]和 HYWorld [10, 11]主要关注相机或类导航控制。具身世界模型如Ctrl-World [12] 和 Cosmos-Predict [13]强调机器人动作条件下的操作任务[14]。自我中心交互模型包括 Hand2World [15] 和 Generated Reality [16]为第一人称人类交互引入了手部关节或手部姿态控制。尽管各有优点但这些工作路线在很大程度上仍按控制模态隔离。相机控制模型、具身操作模型和自我中心交互模型各自采用不同的架构、训练目标和数据流程进行开发。这种孤立结构意味着数据、模型容量和学习到的世界知识在控制边界上被反复分割即使它们所描述的底层场景和物理规律本质上是共享的。这种限制本质上是结构性的。核心挑战并非缺乏针对单个模态的可控世界模型而是缺乏一个可扩展的学习框架能够在共享的世界动态表示中统一异构的动作监督。相机轨迹、机器人关节动作向量和手部关节图在表示形式和调节途径上存在显著差异但它们都约束着相同的潜在世界物体持续存在交互遵循物理规律运动轨迹保持时间连贯性动作产生因果合理的场景变化。这激发了一个以分解而非隔离为中心的设计原则世界模型不应为不同的控制构建独立的模型而应将问题分解为共享的世界动态和特定控制的动作解读。为了检验异构动作控制世界模型是否能够以统一且可扩展的方式学习我们研究了四个研究问题。RQ1单个世界模型能否支持多种异构动作控制而不牺牲每种单独控制设置的性能由于现有的可控世界模型通常针对一种控制接口进行优化相机轨迹、机器人动作和手部关节控制能否在同一模型内学习而不引起跨控制干扰这仍不清楚。回答这个问题对于确定统一异构训练是否是训练独立单控模型的可行替代方案至关重要。RQ2MoE 结构是否学习到了有意义的专家路由和专业化还是增益仅仅来自于容量的增加更大的模型可能仅仅通过增加容量来提高性能但异构世界建模需要一种更结构化的容量分配方式。因此我们考察共享专家是否捕获了共同的世界动态而特定控制专家是否专注于每种模态的动作语义。RQ3当添加新的控制和数据源时异构训练是否提高了可扩展性异构控制学习的核心动机是将碎片化的数据集转化为不断增长的学习资源。这就提出了一个问题添加新的控制是否会提升整体能力还是引入优化冲突从而降低先前学习的控制性能。RQ4基于 MoE 的统一世界模型能否泛化到训练分布之外并支持运动-操作场景一个统一的世界模型不仅应独立地适应训练控制还应学习可迁移的世界规律以支持分布外的场景和动作的组合。因此我们测试学习到的表示是否能够泛化到新环境并生成耦合的运动-操作行为。为了回答这些问题我们引入了 Worldscape-MoE如图 1 所示这是一个用于可扩展异构动作控制的统一混合专家世界模型。Worldscape-MoE 使用一个共享的扩散Transformer主干带有依赖控制的注入路径并用控制感知的 MoE 结构取代了密集的前馈计算。每个训练样本激活一个共享专家该专家积累跨控制的世界知识以及一个模态特定专家该专家保持相应动作接口的精度。在这种设计中MoE 不仅被用作容量扩展设备它被用作一种机制用于分离世界演化的共享规律与动作调节的模态特定细节。图 1: Worldscape-MoE 概览。Worldscape-MoE 支持三种主流控制模态用于轨迹条件世界导航的运动控制、用于机器人动作条件具身任务的操作控制以及用于手部关节条件自我中心交互生成的动作图控制。该框架还可以扩展到其他控制注入设置。我们进一步开发了 Worldscape-MoE Tuning一种渐进式训练策略用于将预训练的视频扩散模型扩展到多种动作控制。该策略分阶段引入异构控制分支和专家从当前共享专家初始化新专家并以保守的学习率训练共享参数。这使得模型具有可扩展性新的控制模态可以被吸收而无需从头重新学习所有先前的控制。由此产生的框架将异构世界建模数据从一组断开的孤岛转变为一个联合训练资源。总之我们的主要贡献如下我们将异构动作控制世界模型建模定义为一个扩展问题并确定关键障碍在于缺乏统一的学习框架而非缺乏单个控制模型。我们提出了 Worldscape-MoE一个基于 DiT 的世界模型它结合了模态感知的控制注入、共享专家和特定控制专家以在一个架构中从运动、机器人操作和自我中心手部控制数据中学习。我们提出了Worldscape-MoE Tuning一种渐进式且可扩展的训练程序允许共享专家吸收跨控制的世界知识同时新专家专精于新引入的控制模态。我们进行了广泛的实验以回答上述研究问题涵盖异构控制性能、专家路由、MoE 有效性、可扩展性、分布外泛化和耦合的运动-操作。结果显示相较于密集混合训练我们取得了一致的提升并在操作、运动和手部动作评估中表现出强劲的性能。2 方法论Worldscape-MoE 的设计围绕一个简单的原则异构控制应为共享的世界模型提供不同的接口而不是定义独立的世界模型。因此该框架分离了三个职责。首先每种控制模态通过与其结构匹配的注入路径来表示。其次一个共享的扩散Transformer主干维护共同的时空和物理先验。第三稀疏专家将跨控制的世界知识与模态特定的动作解读分离开来。这种设计使得模型能够利用异构数据进行扩展同时避免了在直接密集混合训练中经常出现的破坏性干扰。2.1 异构动作控制世界建模这个设定提出了三个设计要求。控制保真度要求模型保留每个动作接口的语义因为轨迹控制、手部控制和机器人控制通过不同的因果路径影响场景。共享世界学习要求模型跨模态复用视觉动态、物体恒常性、接触规律和时间连贯性。可扩展性要求框架能够整合新的控制而无需重建整个模型。Worldscape-MoE 的构建旨在共同满足这些要求。2.2 异构控制数据集构建在异构控制下生成世界需要精心策划和多样化的训练数据包括高质量的控制注释、信息丰富的描述文本和时间连贯的帧序列。我们的训练语料库包含三类数据对应于三种不同的交互模态。数据处理的更详细描述见附录 C。相机控制数据。对于相机轨迹条件下的世界生成我们从多个来源策划数据。(I) 真实世界数据我们使用来自 RealEstate10K [17] 和 DL3dv-10k [18] 的视频片段以覆盖多样化的真实世界场景。(II) 仿真数据遵循 iWorld-Bench [19] 的相机文件设计和数据收集协议我们在 Unreal Engine 中使用 81 种相机运动模式在多样化环境中进行风格化数据收集。(III) 多样化世界数据我们进一步从 Sekai [20] 和 SpatialVid [21] 中选择片段并使用 VIPE [22] 重新标注其轨迹。所有收集的数据随后都通过一个统一的标注流程。对于文本描述我们采用 Matrix-Game 3.0 [8] 中引入的描述标注策略。机器人具身数据。对于机器人动作条件下的具身世界建模我们处理了大量具身片段集合。数据构建流程包括两个阶段。(I) 仿真数据生成我们在 RoboTwin [23, 24] 平台上为机器人操作场景构建了一个大规模仿真流水线。这部分涵盖了多样化的机器人任务和物体交互场景。我们使用滑动窗口沿时间维度将生成的序列分割成固定长度的样本。(II) 数据泛化为了提高具身任务的多样性和泛化能力我们进一步开发了一个基于 Seedance 2.0 [25] 和 Qwen3.6-Plus [26] 的具身数据增强流水线用于改变材质、颜色和操作对象。对于描述文本我们直接使用 RoboTwin 平台提供的具身文本描述。此外我们整合了 LIBERO [27] 数据集用于单臂操作将其演示处理为动作条件视频片段并附有对齐的任务语言和动作轨迹以支持附录 D.4 中描述的模态扩展实验。自我中心手部数据。对于手部关节条件下的世界生成我们处理了一系列自我中心手部交互片段。为了构建手部控制模态我们从大规模自我中心视频数据集中采样片段包括 EgoDex [28] 和 Ego4D [29]。由于这些数据集在标注协议和手部监督格式上存在差异我们对所有选定的帧应用 HaMeR [30] 进行统一的单目 3D 手部重建。这为每只手生成手部关节点然后使用相机内参和外参将其投影到 2D 像素坐标。最后我们将它们栅格化为与视频帧在像素级别空间对齐的手部关节动作图作为手部控制专家的监督信号。对于文本条件我们使用原始数据集提供的描述。2.3 Worldscape-MoE 的架构如图 2 所示Worldscape-MoE 主要包括异构数据表示、专家路由、堆叠的 DiT 层和 MoE 块。异构数据表示。在训练期间我们在混合控制数据上联合优化模型并根据不同控制信号的结构特性设计专用的注入路径。视频帧和参考图像首先由冻结的 VAE 编码为潜在表示作为扩散模型的基本视觉输入。文本指令由冻结的文本编码器编码以提取语义特征并通过原始交叉注意力路径注入主干网络。运动控制主要表征相机轨迹或局部视点变化。其控制信号被转换为密集的相机控制特征并由一个轻量级可训练的 Control Adapter 映射到与视频潜在特征空间对齐的特征空间之后与块级视频标记融合。手部动作以动作图的形式提供密集的时空约束。因此这些信号首先由冻结的 VAE 编码为潜在控制特征然后作为额外的视觉条件融合到条件潜在分支中供扩散主干使用。相比之下操作控制表示为指定预期操作的低维动作序列。我们使用可训练的 Action MLP 将其编码为紧凑的动作嵌入这些嵌入进一步整合到时间步嵌入及其投影的调制向量中使得操作信号通过 DiT 块的时间调节途径影响生成的动态。这种非对称注入设计是刻意的空间密集的控制通过视觉标记路径注入而紧凑的动作控制则通过时间调制注入。这些异构控制信号可以作为模态依赖的条件函数统一在共享扩散主干中图 2: Worldscape-MoE 架构。给定当前世界观察和不同形式的监督控制我们的框架在异构控制信号下生成世界动态。它同时支持自我中心的世界探索和具身任务执行。2.4 Worldscape-MoE Tuning分组学习。为了快速使模型适应新的控制能力同时保留从预训练继承的生成先验我们采用了分组学习率策略如图3 所示。新引入的或高度模态特定的模块以基础学习率优化而从预训练模型继承的共享组件如共享专家和部分适配器参数则以较小的学习率进行微调。这防止了共享专家过拟合于最新或最常见的控制类型同时允许新添加的专家和适配器快速获取特定于控制的行为。图 3: Worldscape-MoE Tuning。共享专家以较小的学习率优化而每个模态特定专家使用较大的学习率进行控制专业化。渐进式控制扩展。为了稳定地将模型扩展到多种控制能力我们采用渐进式模态增量策略而不是一次性引入所有专家和控制分支。该过程包括两个阶段。在第一阶段从预训练的视频生成模型开始我们使用相机控制和机械臂信号训练模型以建立可靠的生成先验、稳定的相机轨迹控制和具身任务能力。在第二阶段我们逐步引入新的控制模态及其对应的专家。每个新添加的专家从当前的共享专家初始化而非随机权重因此新分支在专精于自己的控制接口之前继承已积累的世界先验知识。这种分阶段设计使 Worldscape-MoE 成为一个持续可扩展的框架能够吸收用于世界模拟的异构监督信号。3 实验3.1 实验设置为了确保公平和可重复的比较我们在各模型允许其官方实现支持相应控制和分辨率设置的情况下标准化了评估协议。评估涵盖三种具有代表性的控制模式相机轨迹运动、机器人操作和自我中心手部动作。运动设置。遵循 iWorld-Bench [19] 的数据集和指标设计我们构建了一个包含 500 个案例的运动评估集并采用其轨迹跟随、生成质量和一致性指标。该设置衡量模型在保持视觉质量和时间平滑度的同时是否能遵循相机级别的动作。操作设置。对于机械臂操作我们遵循 WorldArena 评估协议 [14]。我们直接采用已发布的 WorldArena 结果并对操作基线使用相应的推理配置。该设置评估生成的视频是否保留了功能性的动作结果、物体交互和具身任务一致性。手部动作设置。对于手部动作控制我们遵循自我中心手部动作评估设置并从 EgoDex 测试集 [28] 中随机选择 100 个手-物交互样本。我们使用 FID-VID、FVD、图像级 FID 和图像质量来评估生成的视频以衡量在密集手部关节约束下的帧级外观对齐、时间连贯性和视觉保真度。3.2 总体评估结果与分析。表 1 显示 Worldscape-MoE 取得了最佳的整体运动得分 0.7556比最强基线 VideoX-Fun-Wan 提高了 0.0113并且在运动平滑度上以 0.9941 领先。这表明异构训练并未削弱相机级别的动作跟随能力。在机械臂操作方面表 2 报告了最高的 EWM 得分 62.84分别超过 CtrlWorld 和 Wan 2.6 达 2.862.86 和 3.043.04详细的各指标细分见附录表 6 和 7。对于自我中心手部动作控制表 3 显示 Worldscape-MoE 在所有评估指标上均实现了最佳性能FID-VID 为 3.80FVD 为 110.94图像级 FID 为 5.78图像质量为 0.7325。与 w/o MoE 变体相比它在 FID-VID、FVD 和图像级 FID 上分别降低了 1.59、17.93 和 9.56。在三种异构控制模式下Worldscape-MoE 在每一项主要指标上都名列第一表 1: iWorldBench 上的运动实验。比较不同模型在生成质量和轨迹跟随任务上的指标得分。图 4: 异构控制下的定性比较。在运动、操作和手部动作设置中Worldscape-MoE 比代表性基线生成了更可控且物理上更连贯的世界动态。展示了先前可控世界模型很少能达到的跨模态一致性水平。这些提升不仅限于数据量最大的模态这对于将结果解读为扩展行为而非简单的数据不平衡很重要。运动控制受益于更广泛的视觉动态操作控制受益于更强的共享物理先验而手部控制则受益于改进的时间连贯性。这些观察支持了核心主张当架构将共享的世界知识与特定控制的专业化分开时不同的控制信号可以相互增强。同样的模式在图 4 的定性比较中也很明显。3.3 MoE 的定量分析为了验证 Worldscape-MoE 学习的是控制专业化而不仅仅是扩展容量我们记录了在仅动作评估案例中每个 MoE-FFN 层的门控加权专家工作负载。该分析揭示了推理期间计算如何在共享和模态特定专家之间分配。具体来说我们为所有 MoE-FFN 路由器附加前向钩子累积每个专家在所有标记和去噪步骤上的路由权重并将得到的逐层加权标记计数归一化以绘制全专家、专用专家以及共享与专用专家负载面板。如图 5 所示共享专家在整个工作负载中仍占主导地位在采样的仅动作案例中占门控加权计算的 69.48%。专用专家表现出明显的模态依赖性使用它们在运动控制中占工作负载的 20.91%在操作控制中占 47.95%在手部动作中占 35.97%。这种模式在技术上是合理的。类似相机的运动控制可以在很大程度上由共享的时空先验处理并辅以适度的专家特定修正而操作和动作图手部控制则需要更强的模态特定计算因为它们对物体接触和细粒度手-物交互施加了更直接的约束。因此路由统计数据支持预期的分解共享专家建模共同的世界动态而专用专家专精于接口特定的动作语义。图 5: 逐层 MoE 专家负载分析。跨 MoE 层的门控加权专家工作负载。面板显示了运动、操作和手部动作控制的全体专家负载、专用专家负载以及共享与专用路由。3.4 MoE 消融实验与模态扩展MoE 的有效性。为了隔离 MoE 设计的贡献我们将 Worldscape-MoE 与一个不使用 MoE 的直接混合训练基线进行比较该基线使用相同的密集主干联合优化所有控制模态。如图 6 和图 30 所示密集基线遭受跨模态控制干扰导致控制保真度较弱和世界动态连贯性较差。尽管这个 w/o MoE 基线总体保持竞争力但在相同的训练预算下Worldscape-MoE 在运动、操作和手部动作方面取得了更高的分数。原因在于密集混合训练强制所有控制更新相同的前馈路径而 Worldscape-MoE 允许共享专家学习共同动态专用专家吸收特定于控制的残差。这种架构分离是将异构监督转化为扩展资源而非梯度冲突来源的关键。图 6: MoE 有效性的定性证据。在异构控制下Worldscape-MoE 比不使用 MoE 的直接混合训练产生了更稳定的结果。MoE 的可扩展性。我们进一步评估了所提出的框架是否可以扩展到额外的控制模态而不会损害先前获得的能力。在引入新模态后Worldscape-MoE 成功学习了新的控制信号同时在现有模态上基本保持了生成质量和控制保真度。我们观察到在扩展的早期阶段运动性能有短暂的下降这与为了吸收新控制知识而重新平衡共享和模态特定参数时的临时适应阶段一致。这种暂时效应随着训练的进行逐渐缓解原始的运动能力得以恢复。我们还在单臂 LIBERO 操作上进行了额外的扩展实验设置和定性结果见附录 D.4。参数更新动态的额外证据见附录 D.3。总体而言这些结果表明 Worldscape-MoE提供了一条实用的扩展路径可以通过扩展专家集和控制分支来添加新的控制同时保留共享的世界先验。3.5 分布外泛化与运动-操作控制如图 7 所示Worldscape-MoE 在运动、机器人操作和手部动作领域均表现出强大的分布外泛化能力。它能在大的视觉变化下生成连贯的运动展开将模拟的 Robotwin 手臂泛化到现实的家居服务场景并将从单一数据集训练的手部姿态控制迁移到多样化的未见场景。这些结果表明模型不仅仅是记忆了模态特定的数据分布。相反异构训练鼓励共享专家表示可重用的场景动态和物理规律这些可以迁移到未见领域。除了单模态控制Worldscape-MoE 还受益于从广泛且多样化的世界知识中生成而不是被限制在一种特定的控制形式上。这导致了对物理规律更强的建模如图 31 所示并进一步实现了跨不同动作的耦合推理。特别是我们观察到模型可以在多样化的环境中合成运动-操作行为如图 32 所示。这是一个重要的可扩展性定性指标一旦模型在共享的世界表示中学习了多种控制它就可以开始组合先前孤立的技能。更多定性的分布外案例见附录 D.5。图 7: 三个动作领域的分布外检测。代表性的运动、机器人操作和手部动作任务的 OOD 示例。4 相关工作用于世界建模的视频生成基础。世界建模最近受益于大规模视频生成主干的快速改进包括 Wan [1]、HunyuanVideo [2]、CogVideoX [3] 和 Cosmos [31]。这些模型提供了强大的视觉先验、时间生成能力和可扩展的扩散Transformer架构。然而通用视频生成器本身并不能解决世界建模问题具身或交互式智能体需要在动作下的可控预测而不仅仅是视觉上合理的延续。因此关键的研究问题是如何表示、注入和扩展动作监督。交互式和面向运动的世界模型。一系列工作研究了由相机运动、导航命令或类游戏动作控制的交互式环境。Genie [6]、Matrix-Game [7-9]、HY-World [10, 11]、CameraCtrl [32]、MotionCtrl [33]、CamI2V [34]、RealCamI2V [35]、VideoX-Fun-Wan [36] 和 AC3D [37] 证明了类轨迹控制可以引导视频生成走向交互式场景探索。这些方法对于世界导航和场景模拟很重要但学习的控制接口通常与相机运动绑定。因此它们的数据和学习到的动态很难直接重用于机器人动作或手部关节控制。具身操作和手部控制世界模型。另一系列工作侧重于具身动作控制。GigaWorld-0 [5]、Cosmos-Predict [13] 和 WorldArena [14] 强调机器人动作条件下的未来预测和操作的功能效用。Hand2World [15]、Generated Reality [16]、MimicMotion [38]、MagicPose [39] 和 LOME [40] 探索手部或人体运动条件下的生成。这些模型将世界建模的范围扩展到相机运动之外但它们通常仍将每种动作表示视为独立的建模问题。其结果是形成了一组专门的“控制孤岛”每个模型可能在自己的接口内有效但该领域缺乏一种将异构监督汇集到共享的、可扩展的世界模型中的机制。用于异构建模的混合专家模型。混合专家MoE架构最初是作为自适应计算机制引入的 [41]并已成为现代 Transformer 模型 [42-45] 的核心扩展策略。它们也已应用于多模态系统如 MoE-LLaVA [46] 和 DeepSeek-VL2 [47]其中专家专业化有助于管理异构的视觉-语言输入。在生成式建模中Nucleus-Image [48] 展示了稀疏专家在图像生成中的潜力而 Astra [49] 和 Wan-Animate [50] 在动作或去噪上下文中引入了专家风格的专业化。这些工作将 MoE 作为一种有用的工具但现有应用并未直接解决异构动作控制世界建模的核心问题。Worldscape-MoE 使用 MoE 将世界模型明确分解为共享的世界动态和特定于控制的动作解读将该领域从单控制孤岛推向统一且可扩展的多控制框架。5 结论与未来工作在这项工作中我们提出了 Worldscape-MoE这是第一个在单一模型中统一异构动作控制的世界模型框架。通过联合学习异构控制数据Worldscape-MoE 在物理一致性、时间连贯性和整体世界模拟质量上相较于单控制训练有所提升为缓解当前世界模型的数据瓶颈提供了一个有前景的方向。通过结合用于跨控制世界知识的共享专家和用于控制专业化的模态特定专家我们的框架在多样化的基准测试和下游任务中实现了强大的泛化能力和有竞争力的性能。在未来的工作中我们计划通过压缩 DiT 架构并将框架扩展到更广泛的控制模态进一步提高其效率和可扩展性。