数学，作为科学的基石，一直以来都是研究和创新的关键领域。

最近，普林斯顿大学等七家机构联合发布了一个专门用于数学的大语言模型LLEMMA，性能媲美谷歌Minerva 62B，并公开了其模型、数据集和代码，为数学研究带来了前所未有的机会和资源。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文地址：https://arxiv.org/abs/2310.10631

数据集的链接地址为：https://huggingface.co/datasets/EleutherAI/proof-pile-2

挖错网

一款支持文本、图片、视频纠错和AIGC检测的内容审核校对平台。

185 查看详情

项目地址：https://github.com/EleutherAI/math-lm 需要进行重写的是：

LLEMMA承袭了Code Llama的基础，在Proof-Pile-2上进行了预训练。

Proof-Pile-2，一个庞大的混合数据集，包含着550亿token的信息，其中包括科学论文、富含数学内容的网页数据以及数学代码。

这个数据集的一部分，Algebraic Stack，更是汇集了来自17种语言的11B数据集，覆盖了数值、符号和数学证明。

拥有7亿和34亿个参数，在MATH基准测试中表现卓越，超越了所有已知的开源基础模型。

在与Google Research开发的专门用于数学的封闭模型相比，参数量只有Minerva 62B一半的条件下，Llemma 34B获得了几乎相同的性能。

Llemma超越了Minerva在参数基础上解决问题的性能，它利用计算工具和形式定理证明，为数学问题的解决提供了无限的可能性

它能够方便地使用Python解释器和形式证明器，进一步展示了它在解决数学问题方面的能力

由于对形式证明数据的特别重视，Algebraic Stack成为了第一个展示出少样本定理证明能力的开放基础模型

图

研究人员还开放共享了LLEMMA的所有训练数据和代码。与以往的数学模型不同，LLEMMA是一个开源的、开放共享的模型，为整个科研社区敞开大门。

研究人员试图量化模型记忆效果，结果令人惊讶的是，他们发现Llemma对于训练集中出现的问题并没有变得更加准确。由于代码和数据是公开的，研究人员鼓励其他人复制并扩展他们的分析

训练数据和实验配置

LLEMMA是一个专门用于数学的大型语言模型，它在Code Llama的基础上继续在Proof-Pile-2上进行预训练。Proof-Pile-2是一个包含科学论文、含有数学内容的网页数据和数学代码的混合数据集，包含了550亿个标记

AlgebraicStack的代码部分包含了11B的数据集，其中包括17种语言源代码，覆盖数值、符号和形式数学，并已公开发布

LLEMMA的每个模型都是由Code Llama进行初始化的。Code Llama模型是一个仅包含解码器的语言模型，它是从Llama 2进行初始化的

作者对Code Llama模型在Proof-Pile-2上进行了进一步的训练，使用标准的自回归语言建模目标。对于7B模型，作者进行了200B个标记的训练，而对于34B模型，作者进行了50B个标记的训练

评估方法和实验结果

作者使用Proof-Pile-2对Code Llama进行继续预训练，并且在MATH和GSM8k等多个数学问题解决任务上对LLEMMA进行few-shot评估。

研究人员发现LLEMMA在这些任务上都有显著的提升，并且能够适应不同的问题类型和难度。

LLEMMA 34B在极高难度的数学题中展示了比其他开放式基础模型更强大的数学能力

在数学基准测试上，LLEMMA在Proof-Pile-2上的持续预训练改善了五个数学基准测试的few-shot性能。

在GSM8k上，LLEMMA 34B的改进比Code Llama高出20个百分点，在MATH上高出13个百分点。而且，LLEMMA 7B也优于相似大小的专有的Minerva模型，这证明了在Proof-Pile-2上进行预训练能有效提高大模型的数学解题能力

在解决数学问题时，利用计算工具如Python等，LLEMMA在MATH+Python和GSM8k+Python任务上都比Code Llama更出色

在使用MATH和GSM8k数据集时，LLEMMA的性能优于没有使用工具时的性能

在数学证明任务中，LLEMMA表现出色

非正式到正式证明的任务目标是在给定一个正式陈述、一个非正式的LATEX陈述和一个非正式的LATEX证明的情况下，生成一个正式证明，然后通过证明助手进行验证。

正式到正式证明则是通过生成一系列证明步骤（策略）来证明一个正式陈述。结果表明，LLEMMA在Proof-Pile-2上的持续预训练改善了这两个正式定理证明任务的few-shot性能。

LLEMMA不仅拥有令人瞩目的性能、还开放了革命性的数据集、展现了惊人的问题解决能力。

开源共享的精神，标志着数学界进入了一个新的时代。数学的未来在这里，而我们每一个数学爱好者、研究者和教育者都将从中受益。

LLEMMA的出现为我们提供了前所未有的工具，让数学问题的解决变得更加高效和创新。

此外，开放共享的理念也将促进全球科研社区更加深入的合作，共同推动科学的进步。

以上就是普林斯顿开源34B数学模型：参数减半，性能媲美谷歌Minerva，使用550亿Token进行专业数据训练的详细内容，更多请关注其它相关文章！

# 数据  # 附近营销推广公司地址  # 山东seo服务的好方法  # 仁怀网站优化推广seo  # 网店seo 核心要素  # 六安seo推广贵不贵  # 网络营销b推广找微weaurs  # 油菜花营销推广文章  # 句话  # 解决问题  # 腾讯  # 基础上  # 的是  # 进行了  # 是一个  # 数学模型  # 开源  # 普林斯顿  # llama  # 模型  # 网站优化关键词怎么写  # 成本最低的网站建设平台  # 蚌埠seo排名优化公司 

相关栏目： 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195 】

相关推荐： 电动车power灯亮红灯是什么意思  虚拟机如何用命令清除垃圾  夸克解压什么意思  苹果16哪些型号好  税负是什么意思  如何编写一个linux命令  power在录音笔上是什么意思  苹果16有哪些自带配件  360n7lite怎么设置动态壁纸  三星相机里power是什么意思  安全的ao3镜像网站链接入口  旧固态硬盘如何卖出  如何用固态硬盘做缓存  怎么在typescript写原型链  awful是什么意思  固态硬盘4k如何看  学typescript需要什么基础么  固态硬盘如何迁移系统  vi命令如何退出编辑模式  充电器上的power是什么意思  如何修改cad中的命令  j*a数组对象怎么取  如何查看邮件域名解析  今天是农历多少号  固态硬盘如何区分好坏  怎么在typescript定义集合  皓影混动仪表盘上power是什么意思  什么是泛域名解析  推特是什么软件国内可以使用吗  为什么夸克无法注销账户  电动车power灯亮是什么意思  问一下市盈率是什么意思  征信信用不好如何恢复 征信信用不好如何恢复指南  交管12123协议头不完整是啥意思  路亚竿上的power是什么意思  广东春运几点抢票  dos命令如何复制目录结构  如何用chown命令  make命令如何使用  如何以管理员身份打开命令提示符  手机如何运行ping命令  美食音乐每日推荐怎么写  j*a数组怎么存满  怎么下载360桌面壁纸  如何进入安卓命令行  苹果16主打颜色有哪些  sql isnull函数如何使用  咋免费领取爱奇艺会员 如何免费领取爱奇艺会员步骤  wps中datediff函数怎么用 WPS中DATEDIFF函数的语法和用法分享  软件命令行参数如何设置