Aether 是什么

aether 是由上海 ai lab 开发的开源生成式世界模型，全部基于合成数据进行训练。aether 首次将三维时空建模与生成式建模深度结合，具备 4d 动态重建、动作条件视频预测和目标导向视觉规划三大核心功能。aether 能够感知环境、理解物体位置和运动关系，从而做出智能决策。aether 在现实世界中展示了强大的零样本泛化能力，通过虚拟数据训练高效完成复杂任务，为具身智能系统提供强大的空间推理和决策支持。

Whimsical

Whimsical推出的AI思维导图工具

182 查看详情

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Aether 的主要功能

• 4D 动态重建：从视频中重建包含时间和空间的三维场景模型，捕捉动态变化。
• 动作条件视频预测：根据初始观察和动作轨迹预测未来场景的变化。
• 目标导向视觉规划：根据起始和目标场景生成合理路径，辅助智能系统规划行动路线。

Aether 的技术原理

• 统一多任务框架：将动态重建、视频预测和动作规划三项任务整合在一个统一的框架中进行优化。通过任务交错的特征学习，实现不同任务之间的协同优化，提升模型的稳定性和鲁棒性。
• 几何感知建模：引入三维时空建模，构建几何空间提升模型的空间推理能力。使用大量* RGBD 数据（彩色图像和深度图），开发一套完整的数据清洗与动态重建流程，并标注丰富的动作序列。
• 相机轨迹作为动作表征：选择相机轨迹作为全局动作的表示方式。在导航任务中，相机轨迹直接对应导航路径；在机器人操作中，手柄相机的运动可以捕捉末端执行器的 6D 运动。
• 扩散模型与多模态融合：基于预训练的视频扩散模型，用合成 4D 数据进行后训练。将深度视频转换为尺度不变的归一化视差表示，将相机轨迹编码为与扩散变换器（DiTs）时空框架对齐的尺度不变射线图序列表示。通过动态整合跨任务和跨模态的条件信号，Aether 实现多模态信息的融合和协同优化。
• 零样本泛化能力：完全在虚拟数据上训练，实现对真实世界的零样本泛化。通过组合不同的条件输入（如观察帧、目标帧和动作轨迹），结合扩散过程，实现对多种任务的统一建模与生成。让模型在没有真实世界数据的情况下，迁移到真实场景中表现出色。

Aether 的项目地址

• 项目官网：https://www.php.cn/link/6d9d8262844bea015e2303ae58d829bf
• GitHub仓库：https://www.php.cn/link/28d672f02fcf6d9a2d550d8713e941e3
• HuggingFace模型库：https://www.php.cn/link/5e36871351666a2b5579697f3fa7556d
• arXiv技术论文：https://www.php.cn/link/e900e23359023d5eb02b90a0933dc43d
• 在线体验Demo：https://www.php.cn/link/61d5d9601b149e9c5356878a372b2921

Aether 的应用场景

• 机器人导航：帮助机器人规划路径，避开动态障碍。
• 自动驾驶：实时重建道路场景，预测交通动态。
• 虚拟现实：生成沉浸式虚拟场景，增强用户体验。
• 工业机器人：优化机器人操作路径，提高生产效率。
• 智能监控：分析监控视频，预测异常行为。

以上就是Aether— 上海 AI Lab 开源的生成式世界模型的详细内容，更多请关注其它相关文章！

# ai  # seo推广方案流程  # 赣州安远seo优化公司  # 长宁关键词排名电话  # 汉沽网站优化  # 公寓营销推广策略  # 淄博学校网站建设平台  # 营销推广当火2星优秀  # 相关文章  # 三大  # 是由  # 首次  # 多模  # 安装包  # 一键  # 变换器  # 开源  # 上海  # git  # 宝安抖音搜索优化seo  # 乐从网站建设平台  # 全站推广看什么网站好用 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 如何修改cad中的命令  如何寻找和修复无法在 AI 中找到文件的问题  市盈率ttm市盈动静是什么意思  j*a数组怎么新增值  摩托车上power是什么意思  春运抢票哪个城市好抢  mac如何使用vi命令行  手机全功能type-c接口是什么意思  多少毫安的充电宝可以带上飞机  如何安装笔记本固态硬盘  单片机log怎么看  access中如何使用常用宏命令  酷我音乐怎么改每日推荐 酷我音乐每日推荐修改方法  如何打开命令框  红米手机怎么设置变成5G手机  vivo手机爱奇艺怎么投屏到电视操作步骤  kingston是什么_kingston是什么意思  显示器的power是什么意思  单片机怎么发送can 信号  问一下市盈率是什么意思  命令不执行如何处理  51单片机怎么用flash  新找到ao3镜像网站链接入口  春运订票什么时候抢票  命令行如何打开打印机  市盈率亏损是什么意思  单片机怎么控制闪烁技术  单片机的速度怎么求  typescript是做什么用的  sql isnull函数如何使用  小屏折叠屏手机有哪些  对象数组怎么用j*a  react怎么使用 typescript  2025年哪个局域网聊天软件好用  固态硬盘装完如何使用  宵衣旰食是什么意思  j*a怎么让数组倒换  如何选择启用固态硬盘  如何创建sql命令  typescript为什么能运行  j*a怎么存放数组中  位置控制单片机怎么用的  光刻机是干什么用的  如何体验苹果16系统  忐忑不安是什么意思  bc是什么意思  命令行如何运行c  苹果16有哪些黑科技  选哪个折叠屏手机好  单片机怎么储存和显示