在 llm 应用不断迭代升级更新的当下，图灵奖得主 yann lecun 却代表了一股不同的声音。他在许多不同场合都反复重申了自己的一个观点：当前的 llm 根本无法理解世界。他曾说过：llm「理解逻辑的能力非常有限…… 无法理解物理世界，没有持续性记忆，不能推理（只要推理的定义是合理的）、不能规划。」

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Yann LeCun 批评 LLM 的推文之一

相反，他更注重所谓的世界模型（World Model），也就是根据世界数据拟合的一个动态模型。比如驴，正是有了这样的世界模型，它们才能找到更省力的负重登山方法。

近日，LeCun 团队发布了他们在世界模型方面的一项新研究成果：基于预训练的视觉特征训练的世界模型可以实现零样本规划！也就是说该模型无需依赖任何专家演示、奖励建模或预先学习的逆向模型。

• 论文标题：DINO-WM: World Models on Pre-trained Visual Features enable Zero-shot Planning
• 论文地址：https://arxiv.org/pdf/2411.04983v1
• 项目地址：https://dino-wm.github.io/

该团队提出的 DINO-WM 是一种可基于离线的轨迹数据集构建与任务无关的世界模型的简单新方法。据介绍，DINO-WM 是基于世界的紧凑嵌入建模世界的动态，而不是使用原始的观察本身。

对于嵌入，他们使用的是来自 DINOv2 模型的预训练图块特征，其能提供空间的和以目标为中心的表征先验。该团队推测，这种预训练的表征可实现稳健且一致的世界建模，从而可放宽对具体任务数据的需求。

有了这些视觉嵌入和动作后，DINO-WM 会使用 ViT 架构来预测未来嵌入。

完成模型训练之后，在解决任务时，规划会被构建成视觉目标的达成，即给定当前观察达成未来的预期目标。由于 DINO-WM 的预测质量很高，于是就可以简单地使用模型预测控制和推理时间优化来达成期望的目标，而无需在测试期间使用任何额外信息。

DINO 世界模型

概述和问题表述：该研究遵循基于视觉的控制任务框架，即将环境建模为部分可观察的马尔可夫决策过程 （POMDP）。POMDP 可定义成一个元组 (O, A, p)，其中 O 表示观察空间，A 表示动作空间。p (o_{t+1} | o≤t, a≤t) 是一个转移分布，建模了环境的动态，可根据过去的动作和观察预测未来的观察。

这项研究的目标是从预先收集的离线数据集中学习与任务无关的世界模型，然后在测试时间使用这些世界模型来执行视觉推理。

在测试时间，该系统可从一个任意的环境状态开始，然后根据提供的目标观察（RGB 图像形式），执行一系列动作 a_0, ..., a_T，使得目标状态得以实现。

该方法不同于在线强化学习中使用的世界模型，其目标是优化手头一组固定任务的奖励；也不同于基于文本的世界模型，其目标需要通过文本提示词指定。

基于 DINO 的世界模型（DINO-WM）

该团队将环境动态建模到了隐藏空间中。更具体而言，在每个时间步骤 t，该世界模型由以下组分构成：

其中，观察模型是将图像观察编码成隐藏状态 z_t，而转移模型则是以长度为 H 的过去隐藏状态历史为输入。解码器模型则是以隐藏的 z_t 为输入，重建出图像观察 o_t。这里的 θ 表示这些模型的参数。

该团队指出，其中的解码器是可选的，因为解码器的训练目标与训练世界模型的其余部分无关。这样一来，就不必在训练和测试期间重建图像了；相比于将观察模型和解码器的训练结合在一起的做法，这还能降低计算成本。

DINO-WM 仅会建模环境中离线轨迹数据中可用的信息，这不同于近期的在线强化学习世界模型方法（还需要奖励和终止条件等与任务相关的信息）。

使用 DINO-WM 实现视觉规划

为了评估世界模型的质量，需要了解其在下游任务上的推理和规划能力。一种标准的评估指标是在测试时间使用世界模型执行轨迹优化并测量其性能。虽然规划方法本身相当标准，但它可以作为一种展现世界模型质量的手段。

为此，该团队使用 DINO-WM 执行了这样的操作：以当前观察 o_0 和目标观察 o_g（都是 RGB 图像）为输入，规划便是搜索能使智能体到达 o_g 的一个动作序列。为了实现这一点，该团队使用了模型预测性控制（MPC），即通过考虑未来动作的结果来促进规划。

为了优化每次迭代的动作序列，该团队还使用了一种随机优化算法：交叉熵方法（CEM）。其规划成本定义为当前隐藏状态与目标隐藏状态之间的均方误差（MSE），如下所示：

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情

实验

该团队基于以下四个关键问题进行了实验：

• 能否使用预先收集的离线数据集有效地训练 DINO-WM？
• 训练完成后，DINO-WM 可以用于视觉规划吗？
• 世界模型的质量在多大程度上取决于预训练的视觉表征？
• DINO-WM 是否可以泛化到新的配置，例如不同的空间布局和物体排列方式？

为了解答这些问题，该团队在 5 个环境套件（Point Maze、Push-T、Wall、Rope Manipulation、Granular Manipulation）中训练和评估了 DINO-WM，并将其与多种在隐藏空间和原始像素空间中建模世界的世界模型进行了比较。

使用 DINO-WM 优化行为

该团队研究了 DINO-WM 是否可直接用于在隐藏空间中实现零样本规划。

如表 1 所示，在 Wall 和 PointMaze 等较简单的环境中，DINO-WM 与 DreamerV3 等最先进的世界模型相当。但是，在需要准确推断丰富的接触信息和物体动态才能完成任务的操纵环境中，DINO-WM 的表现明显优于之前的方法。

下面展示了一些可视化的规划结果：

预训练的视觉表征重要吗？

该团队使用不同的预训练通用编码器作为世界模型的观察模型，并评估了它们的下游规划性能。

在涉及简单动态和控制的 PointMaze 任务中，该团队观察到具有不同观察编码器的世界模型都实现了近乎完美的成功率。然而，随着环境复杂性的增加（需要更精确的控制和空间理解），将观察结果编码为单个隐藏向量的世界模型的性能会显著下降。他们猜想基于图块的表征可以更好地捕获空间信息，而 R3M、ResNet 和 DINO CLS 等模型是将观察结果简化为单个全局特征向量，这样会丢失操作任务所需的关键空间细节。

泛化到全新的环境配置

该团队也评估了新提出的模型对不同环境的泛化能力。为此，他们构建了三类环境：WallRandom、PushObj 和 GranularRandom。实验中，世界模型会被部署在从未见过的环境中去实现从未见过的任务。图 6 展示了一些示例。

结果见表 3。可以看到，DINO-WM 在 WallRandom 环境中的表现明显更好，这表明世界模型已经有效地学习了墙壁和门的一般概念，即使它们位于训练期间未曾见过的位置。相比之下，其他方法很难做到这一点。

PushObj 任务对于所有方法来说都挺难，因为该模型仅针对四种物体形状进行了训练，这使其很难精确推断重心和惯性等物理参数。

在 GranularRandom 中，智能体遇到的粒子不到训练时出现的一半，导致图像出现在了训练实例的分布之外。尽管如此，DINO-WM 依然准确地编码了场景，并成功地将粒子聚集到与基线相比具有最小 Chamfer Distance（CD）的指定方形位置。这说明 DINO-WM 具有更好的场景理解能力。该团队猜想这是由于 DINO-WM 的观察模型会将场景编码为图块特征，使得粒子数量的方差仍然在每个图块的分布范围内。

与生成式视频模型的定性比较

鉴于生成式视频模型的突出地位，可以合理地假设它们可以很容易地用作世界模型。为了研究 DINO-WM 相对于此类视频生成模型的实用性，该团队将其与 *DC（一个基于扩散的生成式模型）进行了比较。

如图 7 所示，可以看到，在基准上训练的扩散模型能得到看起来相当真实的未来图像，但它们在物理上并不合理，因为可以看到在单个预测时间步骤中就可能出现较大的变化，并且可能难以达到准确的目标状态。

DINO-WM 所代表的方法看起来颇有潜力，该团队表示：「DINO-WM 朝着填补任务无关型世界建模以及推理和控制之间的空白迈出了一步，为现实世界应用中的通用世界模型提供了光明的前景。」

参考链接：

https://www.ft.com/content/23fab126-f1d3-4add-a457-207a25730ad9 

以上就是LeCun 的世界模型初步实现！基于预训练视觉特征，看一眼任务就能零样本规划的详细内容，更多请关注其它相关文章！

# 世界模型  # 零样本学习  # 理论  # 优化网站免费软件  # 朔州seo优化经验丰富  # 六安网站建设推广方法  # 河北省seo关键词优化排名  # 绍兴外贸网站建设推广服务  # 网站优化 推广  # 市场营销及推广赚钱吗  # 东涌网站推广  # 滁州百度关键词排名推广  # runoob seo  # 很难  # 图块  # 所示  # 可以看到  # 省电  # 进行了  # 未来  # 见过  # 离线  # 就能  # b12  # 排列  # ai  # git 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 为什么ai老是说链接面板中缺少某些文件  固态硬盘内存如何查找  为什么夸克没有动漫  如何winpe cmd命令  夸克的答案为什么不对  每日推荐电声音乐软件有哪些  单片机.lib文件怎么打开  如何查找固态硬盘  怎么更新typescript  typescript和node学哪个  单片机蓝牙怎么开启设备  哪个品牌有折叠屏手机卖  typescript中范围如何设定  如何安装tree命令  路由器power闪红绿灯闪是什么意思  跑分是什么意思  苹果16有哪些改善  typescript的文件如何执行  单片机显存怎么设置最佳  推特是什么软件国内可以使用吗  如何设置sql命令  typescript多久能学完  typescript卸载不掉怎么办  单片机蜂鸣器响了怎么停  固态硬盘颗粒如何修理  如何区别固态硬盘  2025年哪个局域网聊天软件好用  a股等权平均市盈率是什么意思  如何使硬盘升级固态硬盘  如何使用程序编译 执行的命令  如何寻找和修复无法在 AI 中找到文件的问题  win10锁屏壁纸怎么换360锁屏壁纸吗  什么是夸克模组文件格式  react怎么用typescript  html怎么使用typescript  如何给电脑加装固态硬盘  云笔记本电脑有什么用  手机拍电脑屏幕有条纹怎么解决  meet是什么意思  电脑type-c接口是什么意思  typescript能开发什么  轩逸e-power挡位b是什么意思  春运抢票需要抢几天  ssd固态硬盘如何安装  j*a怎么讲数组打印  typescript解决了什么  win10系统如何打开cmd命令  单片机引脚怎么改成上拉  电动车eco和power是什么意思  路由器上面的power红灯是什么意思