维度网讯，智源研究院悟界·RoboBrain Orca Team发布技术报告Orca: The World is in Your Mind，旨在探索让模型先学习统一世界状态表征，再从中读出理解、预测和行动能力的路线。该项目主页为https://orca-wm.github.io，技术报告全文可查阅https://arxiv.org/abs/2606.30534。该发布引发海外研究社区关注，讨论焦点集中在“多模态表征世界模型”上，认为Orca尝试在统一的世界潜空间中学习不同模态背后的共同状态与演化规律。有评论指出，Orca更接近早期通用世界模型的形态，即先学习世界如何变化，再将这种表征应用于下游任务。Orca同时登上Daily Papers月度榜单。

Orca的核心理念是“下一状态预测（Next-State Prediction）”，即模型关注当前世界处于什么状态，以及该状态在自然演化、事件条件或外部干预下如何转移至另一状态。团队将学习方式抽象为两类：无意识学习（Unconscious Learning）从连续视频中学习自然、稠密的状态变化；有意识学习（Conscious Learning）引入语言和事件，使状态转移受语义条件约束。两类学习共同服务于构造能表达世界状态并支持状态转移建模的世界潜变量。

在第一类无意识学习中，模型从连续视频中学习状态变化，不依赖显式语言标注，例如物体移动、手与物体接触、场景随时间演化。第二类有意识学习则引入语言和事件约束，使模型在语言条件与当前观察之间建立联系，学习稀疏但更有意义的状态变化。

两类学习共同服务于构造一个能够表达世界状态并支持状态转移建模的世界潜变量。

Orca Team构建了自动化筛选与标注管线，从互联网数据中处理获得12.5万小时视频、1.6亿条事件标注和1150万条视觉问答（VQA）的数据库存。数据覆盖第一视角交互、第三视角物体操作、机器人执行视频、自然动态场景、事件级状态转移和通用视觉问答等多种来源，用于从真实世界信号中学习统一的世界潜空间。

训练基础设施方面，智源团队基于自研的FlagScale框架进行系统级重构，包括FSDP2升级、分块交叉熵损失（Chunked Cross-Entropy Loss）以及前向/后向预取优化。在H100集群上，这些优化将训练吞吐量提升至2.91 Samples/Sec/GPU，较StarVLA基线实现了4.4倍加速。

为验证世界表征的有效性，Orca团队在下游阶段冻结主干网络，仅训练轻量级的读出模块。实验设计了三类读出：文本读出（Text Readout）验证模型能否将世界表征转为理解和推理能力；图像读出（Image Readout）验证模型能否根据当前状态和条件预测未来视觉状态；动作读出（Action Readout）验证模型能否将世界表征迁移到真实机器人控制中。这三类能力分别对应理解、预测和行动。

实验结果显示，随着预训练数据规模增加，Orca的训练损失持续下降，且不同训练阶段的检查点显示，文本、图像和动作读出表现同步提升。所有对比结果均来自同一套预训练主干检查点，且未使用刷榜数据。

在文本生成和视觉问答任务中，Orca在4B规模下与多类视觉语言模型及世界模型对比，取得了更高平均表现，且提升集中于状态转移、事件演化、动态运动理解等维度。

图像读出实验中，Orca的图像读出强调未来状态的合理性，能更好地保持机器人形态、物体布局、场景一致性和指令约束。

在真实机器人动作读出实验中，Orca在预训练阶段未使用带动作标签的机器人轨迹。下游任务中，冻结Orca主干网络，仅接入从零训练的DiT风格动作专家，每个任务使用200条域内轨迹进行后训练。结果显示，在物体泛化和场景泛化的分布外（OOD）任务中，Orca仍能带来明显增益。

消融实验表明，无意识状态转移、有意识事件转移和VQA语言监督三类训练目标各自承担不同作用。

Orca团队在技术报告中讨论了当前限制。报告指出，世界模型不应只被某一种输出模态定义，而应学习世界如何被表征、如何变化，以及这种表征如何支持理解、预测与行动。该路线未来也可服务于物理系统、生命过程、宏观宇宙、微观量子、科学实验等领域。不同领域需要不同数据和建模方式，但“学习世界状态如何变化”这一问题本身具有更基础的意义。