aixiv专栏是本站发布学术、技术内容的栏目。过去数年，本站aixiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近日，由北京大学人工智能研究院杨耀东课题组牵头完成的研究成果 ——「大规模多智能体系统的高效强化学习」在人工智能顶级学术期刊 Nature Machine Intelligence 上发表。

论文第一作者是北京大学人工智能研究院博士生马成栋，通讯作者为人工智能研究院杨耀东助理教授。人工智能研究院多智能体中心李阿明研究员和伦敦国王大学杜雅丽教授为共同第一作者。这一成果首次在大规模多智能体系统中实现了高效的去中心化协同训练和决策，显著提升了人工智能决策模型在大规模多智能体系统中的扩展性和适用性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：https://www.nature.com/articles/s42256-024-00879-7

在大规模多智能体系统中实现高效的可扩展决策是人工智能领域发展的重要目标之一。多智能系统主要以庞大的智能体交互数据为基础，利用大量计算资源驱动每个智能体学习如何与其他智能体合作执行复杂任务，其核心范式是多智能体强化学习。近年来，这一领域取得了显著的进展，诞生了以游戏人工智能为代表的一系列应用。现阶段两种主要的学习范式是中心化学习和独立学习，中心化学习要求每个智能体都具有全局观察能力，这大幅度增加了算法复杂性和通信成本，降低了在大规模系统中的可扩展性，而独立学习虽然降低了系统和算法的复杂性，但学习过程往往不稳定，导致决策性能较差。

值得注意的是，在游戏以外的更加真实的场景中，都存在一些客观的交互限制和不得不考虑成本因素，这使得现有方法难以扩展到大规模真实世界多智能体系统中。一个简单的例子是，当在城市交通系统中控制交通信号灯时，频繁的大规模通信操作容易增加功率损失和被信号干扰的概率，并且计算复杂性将随着交通灯数量的增多而指数级增加。因此，有必要设计能够在有限数据和客观通信约束下，将决策能力扩展到包含大量智能体的复杂真实系统中的多智能体强化学习方法。

这项研究正是以此出发点，降低了现有多智能体学习方法对于全局通信和大量交互数据的依赖性，实现了强化学习算法在复杂的大规模系统中的广泛部署与高效扩展，朝着可扩展到大规模系统的决策范式迈出了重要一步。

                                    ^{图 1，中心化学习和独立学习的区别及该研究的出发点和所涉及到的网络化系统类型}

在这项研究中，研究团队对大规模多智能体系统进行了以智能体为单位的动力学特性的解耦，将智能体之间的关系描述为一种拓扑连接结构下的网络化关系，其中包括线状，环状，网状等各种同构 / 异构节点，降低了系统处理的复杂性。在此之前，也有一些研究者以网络化的形式建模智能体之间的关系从而提升算法扩展性。但这种对于系统的分解具有较强的假设，不一定符合真实世界系统的特性。因此团队进一步提出了一种更通用的网络化系统模型用来刻画解耦后多智能体系统的动力学和真实系统动力学之间的关系，其优势在于它能够处理更广泛的合作多智能体任务。该概念弥合了标准网络系统和一般多代理系统之间的差距，为去中心化多智能体系统的研究提供了必要的理论框架和分析工具。

进一步，基于这种更一般化的网络系统，研究团队将单智能体学习中的模型学习理论扩展到多智能体系统中，使智能体能够独立学习局部状态转移、邻域信息价值和去中心化策略，将复杂的大规模决策难题转化为更容易求解的优化问题。这样，大型人工智能系统即使在样本数据和信息交互受限的情况下，也能实现令人满意的决策性能。早在上世纪 90 年代，强化学习教父 Richard Sutton 就提出了基于模型的方法来学习系统内在的动态特性来辅助策略学习，提升样本效率。在这项工作中，研究团队将本地化模型学习与去中心化策略优化相耦合，提出了一个基于模型的去中心化策略优化方法。该方法是高效且可扩展的，在较小的本地信息大小（当单个智能体与其他智能体之间的信息交互受到限制）下就能近似单调的提升智能体策略。具体而言，智能体能够使用经过充分训练得到的本地化模型来预测未来状态，并使用本地通信来传递该预测。

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情

                                         ^{图 2，网络系统结构关系及多智能体模型学习过程}

为了缓解模型预测的误差问题，研究团队采用了分支推出策略，用许多短时间线推出替换了少数长时间线推出，以减少模型学习和预测中的复合误差，促进了策略学习过程中的近似单调提升能力：

研究团队从理论上进一步证明了系统解耦后所产生的扩展值函数和策略梯度是接近真实梯度的近似值，这在去中心化模型学习和单调策略提升之间建立了重要的理论桥梁。

多项测试结果表明，该方法能够扩展到具有数百个智能体的大规模电网和交通等网络化系统中，在较低的通信成本下实现较高的决策性能。

                                           ^{图 3，研究方法在智能交通控制场景中的效果}

使用了该方法控制的信号灯能够仅通过接收相邻路口的车流信息调控复杂的交通流。这是因为在网络化结构的设计下，整体交通状况已经通过城市路网间接地传递并汇总到相邻路口，通过分析这些相邻路口的观测信息，就能推断和预测整个城市的车流变化，从而做出最优决策。在智能电网上的效果也验证了方法的可扩展性，能够在具有上百个节点的电力网络中实现较低的电能损耗。

                                           ^{图 4，研究方法在智能电网控制场景中的效果}

研究团队负责人杨耀东表示：「未来我们将继续深入推进多智能体学习理论与方法的研究，并赋能具身智能和世界模型等前沿人工智能领域，显著提升更广泛的智能系统在协作、预测和决策方面的能力，使其在复杂动态环境中更加灵活高效的执行任务。同时，我们还将推动这些研究成果在智能交通、智慧电网等领域的应用，促进科技成果的快速转化，为社会创造更大价值。」

以上就是北大领衔，多智能体强化学习研究登上Nature子刊的详细内容，更多请关注其它相关文章！

# 较低  # 长尾关键词排名的技巧  # 苏宁网站推广策划书  # 南通营销推广客服人员  # 临沂高效网站建设  # 南京网站seo优化网站  # 荣昌区可靠网站建设  # 安顺网站建设建站定制  # 临沂网站建设推广推荐  # 科技网络营销推广方案Ppt  # 河北专业的网站建设价格  # 新能源  # 工程  # 日韩  # 就能  # 降低了  # 北京大学  # 这一  # 提出了  # 扩展到  # 北大  # type  # nature  # 多智能体强化学习 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 广东春运几点抢票  shell如何执行sql脚本命令行  春运抢票在哪儿抢票  ai文件在线打开工具有哪些  单片机怎么定义字符长度  区块链的热闹将何去何从？  固态硬盘损坏如何修复  焊机上power灯闪是什么意思  typescript哪个最好  折叠屏手机为什么凉凉  交管12123协议头不完整是啥意思  j*a怎么处理json数组  单片机怎么控制闪烁技术  如何进入 dos 命令行  如何用命令连接mysql  美食音乐每日推荐怎么写  8k是多少钱  苹果16系统多了哪些  如何体验苹果16系统  typescript的语法格式是什么  夸克解压什么意思  虚拟机如何用命令清除垃圾  春运抢票可以抢几张  如何用命令提示符显示隐藏分区  苹果16promax有哪些颜色  如何把一个命令后台运行  净水器上的power是什么意思  固态硬盘如何保存  夸克网盘下载为什么要钱  如何编写一个linux命令  npm如何声明命令  望远镜上power是什么意思  春运抢票需要什么软件抢  阿里云盘扩容工具怎么用  typescript怎么添加css样式  安全的ao3镜像网站链接入口  夸克前缀后缀什么意思啊  linux如何合并分区命令  dos命令如何复制目录结构  tft单片机怎么写彩屏  怎么看手机是不是双模5g手机  intel固态硬盘如何安装  夸克*免费吗  如何学好typescript  unix时间戳是什么意思  ai文件里无法找到链接文件怎么解决  开机如何运行dos命令提示符  固态硬盘坏了如何换硬盘  win10windows资源管理器在哪里打开  如何用dos命令分区