华为诺亚方舟实验室推出高效选择性注意力算法esa，攻克大模型长文本处理难题！deepseek和月之暗面在长序列技术领域取得突破后，华为诺亚方舟实验室紧随其后，发布了全新高效选择性注意力算法（esa）。该算法通过巧妙的稀疏注意力机制设计，有效解决了大模型处理长文本时面临的计算瓶颈。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://www.php.cn/link/860df126db301831a32055bea29fb4da

ESA算法在显著提升计算效率的同时，保持了与全注意力方法相当甚至更高的准确率。它能够将大模型的上下文长度有效扩展至数倍，为长序列任务的应用开辟了新的可能性。

大语言模型的长序列推理一直是业界难题。模型训练需要巨大的算力和数据，而理想的方案是将短序列训练成果外推至长序列。然而，注意力计算复杂度随序列长度平方级增长，使得高效准确的长序列推理成为巨大挑战。

ESA算法正是针对这一挑战提出的创新解决方案。它通过对query和key进行低维压缩，大幅降低了token选择的计算复杂度。ESA算法灵活高效地选择关键token进行注意力计算，有效减轻了大模型处理长文本的计算负担。尤其是在高倍外推场景下，其性能甚至超越了全注意力算法。

ESA算法的核心：

1. 高效选择: ESA采用基于query感知的token粒度选择机制，结合邻域影响力，避免了单纯选择top-ranked token导致的性能损失，精准定位关键信息。

2. 注意力计算: ESA仅使用选择的关键token进行完整query和key的注意力计算，而非所有前序token，从而大幅降低计算复杂度。

ESA算法的创新之处在于其token粒度选择性注意力机制。不同于现有方法，ESA在预填充和解码阶段动态选择关键token，而非固定block选择或永久丢弃不重要token。它将query和key压缩至原维度的约3.2%，在低维空间计算重要性分数，显著降低计算复杂度。然后，选择topk token进行注意力计算，将复杂度从平方级降低至线性级。

Reachout.ai

一个AI驱动的视频开发平台，专为忙碌的企业家和销售团队打造

142 查看详情

ESA算法示意图

ESA的具体实现细节包括：将输入序列token分为四部分，结合全局注意力和局部窗口注意力，并通过offline方式训练降维MLP，无需模型微调。 为了确保分数的相对大小，ESA对分数进行修正，并引入邻域影响力，进一步提升准确性。最终的注意力计算复杂度在长序列场景下可降低至原有的1.6%左右。

实验结果表明，ESA在多个公开的长序列基准测试中，性能优于full attention方法和其他同类型方法，尤其在多针检索任务中表现突出。

总结: ESA算法有效平衡了长序列外推场景下选择性注意力的灵活性和计算效率，在不增加模型参数的情况下扩展了上下文长度，为大模型的长序列应用带来了新的突破。 未来的研究方向将集中于探索更准确高效的token选择方法以及软硬件协同的高效外推方案。

以上就是稀疏注意力再添一员，华为诺亚推出高效选择注意力架构ESA的详细内容，更多请关注其它相关文章！

# 如何应对  # 嘉兴网站建设优化案例  # 网站文件优化方案怎么写  # 营销型网站建设推广专家  # 天津网站建设优化公司  # 模型场景网站推广方式  # 关键词排名优化搜2火星  # 营销推广是谁的工作  # 如何营销推广就选j火21星  # seo策略营销模式  # 如何推广账号的营销  # 工程  # 开源  # 你该  # 而非  # 句话  # 网易  # 诺亚  # 诺亚方舟  # 神技  # 华为  # deepseek 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 净水器上的power是什么意思  2025年哪个局域网聊天软件好用  所有删除的聊天记录都可以恢复吗？  cos150度等于多少  跑分是什么意思  分享一个稳定的ao3镜像网址  为什么夸克书架书单没了  如何开发typescript  hp固态硬盘如何安装  高市盈率是什么意思  12306放票时间规律(2025)  交管12123协议头不完整怎么弄  单片机串口接收怎么实现  如何区别固态硬盘  youtube受限模式是什么_youtube受限模式是什么意思  eraser是什么意思  j*a数组怎么保存类  直接gmV是什么意思？直接GMV:定义和概念  linux如何调出命令行  typescript如何开发  j*a怎么求数组均值  单片机for循环怎么用  intel固态硬盘如何安装  夸克还原排版是什么意思  怎么用win7系统盘重装系统  苹果16哪些型号好  轩逸e-power挡位b是什么意思  为什么进行域名解析  交管12123协议头不完整是啥意思  固态硬盘质量如何  树莓派命令行如何新建文件  typescript如何使用  壁挂炉power常亮是什么意思  ssd固态硬盘如何安装  sql isnull函数如何使用  linux如何用命令修改ip  夸克为什么会变小  如何退出数据库命令行  typescript怎么使用map  命令指示符如何打开盘符  服务器系统怎么装  mac如何使用vi命令  如何查看固态硬盘速度  单身聊天app有哪些软件 2025最靠谱的单身交友软件推荐  三星 nfc什么功能是什么意思  电信开通nfc功能是什么意思  路由器power灯一直亮是什么意思  宵衣旰食是什么意思  win10如何开启命令行  calm是什么意思