论文：利用transformer技术进行鸟瞰摄像机和激光雷达融合的lift-attend-splat方法

请点击链接查看文件：https://arxiv.org/pdf/2312.14919.pdf

对于自动驾驶等安全关键应用来说，结合互补的传感器模态是至关重要的。最近的自动驾驶相机-激光雷达融合方法使用单目深度估计来提高感知能力，但相比直接使用激光雷达的深度信息，这是一项困难的任务。我们的研究发现，这种方法并没有充分利用深度信息，并且证明天真地改进深度估计并不能提高目标检测性能。令人惊讶的是，完全取消深度估计并不会降低目标检测性能

这表明，在相机-激光雷达融合过程中，依赖单目深度可能是一个不必要的架构瓶颈。本研究提出了一种新的融合方法，完全绕过了单目深度估计，而是利用简单的注意力机制在BEV网格中选择和融合相机和激光雷达的特征。研究结果表明，提出的模型能够根据激光雷达特征的可用性来调整其对相机特征的使用，并且在nuScenes数据集上比基于单目深度估计的基线模型有更好的3D检测性能

本研究介绍了一种名为“Lift Attented Splat”的新型相机-激光雷达融合方法。该方法避免了单目深度估计，而是利用简单的transformer在BEV中选择和融合相机和激光雷达的特征。实验证明，与基于单目深度估计的方法相比，本研究方法能更好地利用相机，并提高物体检测性能。本研究的贡献如下：

1. 基于Lift Splat范式的相机-激光雷达融合方法并没有像预期的那样利用深度。特别地，我们表明，如果完全去除单目深度预测，它们的性能相当或更好。
2. 本文介绍了一种新的相机-激光雷达融合方法，该方法使用简单的注意力机制融合纯BEV中的相机和激光雷达特征。论文证明，与基于Lift Splat范式的模型相比，它可以更好地利用相机，并提高3D检测性能。

主要结构介绍

深度预测的准确度通常较低。通过使用绝对相对误差（Abs.Rel.）和均方根误差（RMSE）来对比BEVFusion预测的深度质量与激光雷达深度图，可以进行定性和定量分析。如图1所示，深度预测不能准确反映场景的结构，并且与激光雷达深度图有明显差异，这表明单目深度没有像预期那样被充分利用。研究还发现，改进深度预测并不能提高物体检测性能！完全取消深度预测不会对物体检测性能产生影响

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

VALL-E

VALL-E是一种用于文本到语音生成 (TTS) 的语言建模方法

134 查看详情

我们提出了一种相机-激光雷达融合方法，该方法完全绕过单目深度估计，而是使用简单的transformer在鸟瞰图中融合相机和激光雷达特征。然而，由于大量的相机和激光雷达特征以及注意力的二次性，transformer架构很难简单地应用于相机-激光雷达融合问题。在BEV中投影相机特征时，可以使用问题的几何形状来大幅限制注意力的范围，因为相机特征应该只对沿其相应光线的位置有贡献。我们将这一想法应用于相机-激光雷达融合的情况，并介绍了一种简单的融合方法，该方法使用相机平面中的柱和激光雷达BEV网格中的极射线之间的交叉注意力！交叉注意力不是预测单目深度，而是在激光雷达特征沿着其光线提供的背景下，学习哪些相机特征是最显著的

我们的模型与基于Lift Splat范式的方法具有相似的总体架构，除了在BEV中投影相机特征。如下图所示，它由相机和激光雷达主干、独立生成每个模态特征的模块、将相机特征嵌入BEV并与激光雷达融合的投影和融合模块以及检测头组成。在考虑目标检测时，模型的最终输出是场景中目标的属性，包括位置、维度、方向、速度和分类信息，以3D边界框的形式表示

Lift Attented Splat相机激光雷达融合架构如下所示。（左）总体架构：相机和激光雷达主干的特征在传递到检测头之前融合在一起。（inset）我们的3D投影的几何结构：“Lift”步骤通过使用双线性采样沿z方向提升激光雷达特征，将激光雷达BEV特征嵌入投影地平线。“splat”步骤对应于逆变换，因为它使用双线性采样将特征从投影的地平线投影回BEV网格，再次沿着z方向！右边是project模块的细节部分。

实验结果

原文链接：https://mp.weixin.qq.com/s/D7xgvrp8633S2SeUfCRFXQ

以上就是全新BEV LV融合方案：超越BEVFusion的Lift-Attend-Splat的详细内容，更多请关注其它相关文章！

# 自动驾驶  # 所示  # 三大  # 提出了  # 将于  # 应用于  # 充分利用  # 并不能  # 首款  # 个月  # 模型  # 视频网站建设细节  # 铁力短视频推广营销  # 贵州网页优化seo  # seo_007  # 枣庄正规网站优化排名  # 绘本馆营销推广  # 西安关键词搜索排名  # 网站标题优化步骤怎么写  # 微店营销推广如何关闭  # 微商城推广营销界面  # 参数设置 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： vivo手机爱奇艺怎么投屏到电视操作步骤  mysql的datediff函数怎么用  2025年国外最佳语音聊天软件排行榜  linux如何调出命令行  怎么用win7系统盘重装系统  面包车收音机power是什么意思  对应市盈率是30X是什么意思  有什么基础可以学typescript  阿里云盘的会员怎么用  每日推荐电声音乐软件有哪些  5g手机怎么没视频通话功能  如何在一串数字前面去掉四位数的命令  夸克绑定设备是什么意思  手机如何运行ping命令  如何在命令提示符播放音频  typescript学会要多久  电脑type-c接口是什么意思  j*a 怎么清空数组元素  忐忑不安是什么意思  交管12123协议头不完整怎么弄  react怎么用typescript  如何看固态硬盘型号  awk命令如何对两列加分隔符  pp是什么意思  如何用好typescript  汽车收音机power是什么意思  征信信用不好如何恢复 征信信用不好如何恢复指南  索尼type-c接口是什么  征信不好如何恢复正常 征信不好要怎么样才能恢复正常教程  typescript入门要多久  如何安装大华固态硬盘  165开头的是什么电话号码  typescript的语法格式是什么  市盈率当中17A 18E是什么意思  交管12123协议头不完整是什么原因  新固态硬盘如何装系统  typescript与es6学哪个  如何通过命令检测u盘启动  cos150度等于多少  单片机的速度怎么求  单片机怎么读取电流值  旧固态硬盘如何卖出  360n6锁屏壁纸怎么设置  科技型企业成长＂十步法＂  阿里云盘共享账户怎么用  12306放票时间规律(2025)  一尺是多少厘米  混合固态硬盘如何分区  单片机加热片怎么制作  市盈率pe是什么意思