☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

来自中科院自动化所的团队提出 FreeVS，一个全生成式的新视角合成方法。相较于仅能在记录的车辆行驶原轨迹上渲染高质量相机视角的基于场景重建的方法，FreeVS 能够作为生成引擎渲染真实场景中任意车辆行驶轨迹下的视频。FreeVS 可被直接部署于任何测试场景，而无需负担通常耗时 2-3 小时的场景重建过程。

                             ^真实视频

                                ^{新轨迹下相机视频}

• 论文链接：https://arxiv.org/abs/2410.18079
• 项目主页：https://freevs24.github.io/

以生成模型合成真实场景中的相机成像

现有驾驶场景中的新视角合成方法多遵循「场景重建 - 新视角渲染」的管线，依靠重建得到的 NeRF 或 3D-GS 等场景表示来渲染新视角下的成像。

然而基于重建的方法具有两大瓶颈，1）无法合理渲染缺少对应观测的新视角上的图像，2）场景重建耗时长；这使得重建方法无法高效高质地在实际数据采集轨迹之外渲染大量新相机视图。

如简单的视角左右平移即会引起前有方法图像渲染质量的严重下降：

                               ^{与前有重建方法在原训练视角、训练视角右一米、训练视角上一米的视角合成效果对比。}

对此，作者提出一种新颖的完全基于生成模型的新视角合成方法 FreeVS。作者采用一简洁有效的生成管线，可严格基于已观测到的三维场景生成任意视角的相机观测，且无需进行场景重建。

                            ^{FreeVS 方法管线。生成模型基于染色点云投影恢复相机成像。}

作者采用从稀疏点云投影中恢复相机成像的生成管线，这使得生成模型的行为类似于 Inpainting 模型，基于稀疏但可靠的点云投影点补全目标图像。

在训练过程中，生成模型学习基于给定帧的三维先验生成邻近帧的相机成像。尽管训练数据中驾驶车辆在绝大多情况下走直线前行，但生成模型可沿车辆轨迹在侧向相机视角学习相机视角的横向移动。

Yaara

使用AI生成一流的文案广告，电子邮件，网站，列表，博客，故事和更多…

95 查看详情

在测试阶段，以图像信息染色的场景三维点云被投影至任意所需视角，以控制图像生成结果。

^{FreeVS 方法训练数据与推理效果示例。即使训练数据中无车辆横向移动到逆行车道的例子，生成模型仍然可依靠侧向相机的训练对（（c）->（a））学习相机的侧向移动，从而生成合理的高质量成像 (f)。}

车辆行驶模拟与场景编辑

以 Waymo 数据集中的真实场景为例，FreeVS 能够在驾驶车辆原本并未移动的场景模拟车辆移动：

                              ^真实视频

                              ^{新轨迹下相机视频}

能模拟车辆变线行驶，甚至能秒变 GTA，使车辆撞向行人：

                              ^真实视频

                              ^{新轨迹下相机视频}

能在原本直行的场景令车辆走大 Z 型前进：

                               ^真实视频

                             ^{新轨迹下相机视频}

也能对场景内容进行编辑。任意替换场景车辆，或定制车辆运动。

                               ^真实视频

                               ^{场景编辑后相机视频}

                               ^真实视频

                              ^{场景编辑后相机视频}

与前有基于重建的方法比较，FreeVS 在新车辆运动轨迹下几乎不受图像模糊、伪影等现象困扰。

                             ^{FreeVS 与前有方法在新轨迹模拟的表现对比。}

新相机模拟

除新行驶轨迹下视角合成，FreeVS 还能合成虚拟相机位置上的成像。而前有基于重建的方法难以应对虚拟相机位置上全部观测的缺失。

                                ^{新相机模拟示意图}

                                 ^{FreeVS 与前有方法在新相机模拟的表现对比。}

以上就是把Waymo玩成GTA游戏！全生成式的车辆行驶轨迹视频合成器来了的详细内容，更多请关注其它相关文章！

# 视角合成  # 浙江最大的网站推广企业  # 云南seo代理哪家好  # 响应网站建设难不难  # 景中  # 句话  # 高质量  # 五大  # 能在  # 华纳  # 南极  # 车辆行驶  # 产业  # freevs  # 中科院自动化所  # git  # ai  # 邮箱  # follow  # type  # 来了  # 神技  # 安义网站优化推广  # 洛川关键词排名优化  # 巫山律师网站推广公司  # 清溪网站推广公司好  # 丰县信息化网站建设  # 无极数据seo服务诚信经营  # 江苏seo推广价格 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： j*a数组怎么保存类  怎么在爱奇艺中投屏到电视最新方法  ao3镜像网站哪个好  一秒是多少毫秒  微信最多可以加多少好友  怎么下载360桌面壁纸  云淡风轻什么意思  萝卜快跑的收费标准是什么  sausage是什么意思  如何让固态硬盘坏掉  按键精灵datediff函数怎么用 如何使用按键精灵中的Datediff函数教程  新三板市盈率是什么意思  j*a怎么声明byte数组  市盈率为负值是什么意思  爱奇艺中下载的视频怎么在PPT中播放操作方法  雅迪电动车上的power是什么意思  ai怎么找链接文件位置教程  苹果16哪些功能好用  j*a数组怎么放字符  光猫power和pon常亮是什么意思  vs怎么编写typescript  mysql的datediff函数怎么用  苹果16要升级哪些功能  新找到ao3镜像网站链接入口  云笔记本电脑有什么用  市盈率为负数是什么意思  春运抢票如何快速抢到票  交管12123协议头不完整怎么弄  5g手机4g卡怎么没有网络  春运抢票可以抢几次啊  如何winpe cmd命令  为什么要出折叠屏手机  电脑命令如何删除账号  对应市盈率是30X是什么意思  8k是多少钱  市盈率静是什么意思  春运抢票失败怎么抢  春运什么时候开始抢票  如何查询固态硬盘寿命  华为5g手机怎么选择  显示器power接口是什么意思  单片机计时程序怎么写  安装固态硬盘如何设置  solidworks打开IGS文件作图教程  春运抢票在哪儿抢票  单片机的速度怎么求  j*a数组怎么比较abc  怎么把手机里爱奇艺的视频下载到u盘里  j*a怎么清除数组  索尼type-c接口是什么