维度网讯，纽约大学联合Yann LeCun初创公司AMI共同发布JEPA系列最新成果AdaJEPA，提出一种能够在部署阶段持续学习的世界模型方案。

与以往预训练结束后即冻结参数的世界模型不同，AdaJEPA采用测试时自适应机制，在与环境交互过程中实时调整世界模型的编码器和预测器参数，从而实现持续学习。

AdaJEPA的核心流程为计划、执行、观测、更新、再规划组成的闭环。系统每次只执行模型预测控制规划出的第一步动作，随后将真实环境反馈的下一帧状态作为自监督信号，用于在线更新世界模型。这样，下一轮规划所调用的模型不再是刚部署时的冻结版本，而是经过当前环境校准的模型。

这一思路类似于经典强化学习中的Dyna架构，即模型并非一次性训练完成，而是在真实交互过程中不断修正其对环境的理解。

一直以来，基于JEPA路线的隐空间世界模型默认在训练完成后冻结参数。整个流程为：模型先在离线轨迹中学习将高维图像压缩至隐空间，再在该隐空间内预测未来状态。在测试阶段，模型预测控制调用该冻结模型，在隐空间中滚动“想象”未来，优化动作序列，仅将第一步动作执行于真实环境。

该方法面临的挑战在于，当环境发生变化时，冻结的世界模型容易失准。面对测试时分布偏移，在隐空间里看似能到达目标的动作，落到真实环境中可能产生偏差。由于模型预测控制依赖短时域滚动规划，单步误差会在后续滚动中被放大。

为解决上述问题，论文提出AdaJEPA框架，其核心判断是世界模型不应训练后就固定不变，而应像真正部署中的智能体一样，一边行动，一边用新经验校准自身。

AdaJEPA的循环具体分为四步。第一步是规划，模型将当前观测编码为隐状态，利用当前世界模型进行模型预测控制，在隐空间中滚动预测，找出一串最接近目标状态的动作。第二步是执行，模型仅执行第一步动作，随后真实环境返回下一帧观测。第三步是更新，系统将此次真实状态转移存入在线缓存区，模型根据观测和动作预测下一步隐状态，并与真实状态预测编码出的隐状态对齐，通过梯度计算更新参数。第四步是再规划，更新后的世界模型立即进入下一轮模型预测控制。

在实现细节上，AdaJEPA的基础仍是联合嵌入预测架构。与传统的像素级预测世界模型不同，联合嵌入预测架构不直接预测未来图像，而是将图像压缩至更紧凑的隐空间，仅在隐空间内预测未来状态。整个模型由状态编码器、动作编码器和预测器三个核心组件构成。

在线更新在隐空间内进行。每次执行动作后，系统将真实状态转移存入在线缓存区，缓存区容量默认为最近N条转移。更新时，模型根据当前观测和动作预测下一时刻隐状态，并与真实下一帧观测编码出的隐状态对齐。为防止在线更新破坏原始表征空间，论文设置了两项限制：对目标表征使用stop-gradient，并仅更新少量参数。实验中默认只更新视觉编码器和预测器的最后几层，每次模型预测控制重规划仅进行一步梯度下降。

为验证测试时自适应的效果，论文在PushT/PushObj和PointMaze两个基准上开展了实验。在PushObj的未见形状测试中，AdaJEPA几乎将规划成功率翻倍。在PointMaze的未见布局测试中，GD规划成功率从53.3%提升至78.7%，CEM规划成功率从49.3%提升至70.7%。

值得注意的是，这种在线更新带来的额外延迟较低。由于仅更新视觉编码器和预测器的最后几层，且每次重规划只做一步梯度下降，额外延迟仅为0.01至0.03秒。这表明AdaJEPA并非通过繁重的在线训练换取成功率提升，而是在原有世界模型基础上加入一个轻量的“部署时自我校准”机制。

论文作者Ying Wang目前是纽约大学数据科学中心CILVR Lab的博士生，研究方向为世界模型，导师为Mengye Ren和Yann LeCun。作者Oumayma Bounou为纽约大学博士后研究员，研究兴趣包括世界模型、控制和优化，目前正与LeCun合作研究世界模型。纽约大学计算机科学与数据科学助理教授Mengye Ren和图灵奖获得者Yann LeCun共同担任指导作者。

参考链接：https://arxiv.org/pdf/2606.32026