新闻中心

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

2023-11-06
浏览次数:
返回列表

李开复指出:“要使得零一万物跻身全球大模型的第一梯队。”

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

开源大模型宇宙又有了新的重量级成员,这次是创新工场董事长兼 CE0 李开复大模型公司「零一万物」推出的「Yi」系列开源大模型。据悉,零一万物在今年 3 月底官宣成立,六七月开始运营,李开复博士为创始人兼 CEO。

11 月 6 日,零一万物正式发布「Yi」系列预训练开源大模型,包括了 Yi-6B 和 Yi-34B 两个版本,给了开源大模型社区「一点小小的震撼」。

根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单,Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型「双料冠军」,击败了 LLaMA2 和 Falcon 等开源竞品。

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

Yi-34B 也成为迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

以小博大,登顶全球英文及中文权威大模型榜单No 1

我们了解到,在 Hugging Face 英文测试公开榜单 Pretrained 预训练开源模型排名中,Yi-34B 的各项指标表现亮眼,以 70.72 的分数位列全球第一,以小博大,碾压 LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型

在参数量和性能方面,Yi-34B 相当于只用了不及 LLaMA2-70B 一半、Falcon-180B 五分之一的参数量,取得了在各项测试任务中超越全球领跑者的成绩。凭借出色表现,Yi-34B 跻身目前世界范围内开源最强基础模型之列。

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

短影AI 短影AI

长视频一键生成精彩短视频

短影AI 170 查看详情 短影AI
                                 来源:https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard

同时作为国产大模型, 李开复表示,Yi-34B 更「懂」中文,在 C-Eval 中文权威榜单排行榜上超越了全球所有开源模型

相较于大模型最强王者 GPT-4,Yi-34B 在 CMMLU、E-Eval、Gaokao 三个主要中文指标上具有绝对优势,凸显中文世界的优异能力,能够更好地满足国内市场需求。

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

从更为全面的评估看,在全球大模型各项评测中最关键的「MMLU」(Massive Multitask Language Understanding,大规模多任务语言理解)、BBH 等反映模型综合能力的评测集上,Yi-34B 表现最为突出,在通用能力、知识推理、阅读理解等多项指标评比中全部胜出,与 Hugging Face 评测高度一致。

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

不过,与 LLaMA2 一样,Yi 系列开源大模型在 GSM8k、MBPP 的数学和代码评测表现略逊 GPT 模型。未来,Yi 系列大模型将推出专攻代码能力和数学能力的继续训练模型。

上下文窗口大小突破 200k,并直接开源

在对大模型实战效果至关重要的上下文窗口方面,此次开源的 Yi-34B 发布了全球最长、支持 200K 超长上下文窗口版本,可以处理约 40 万汉字超长文本输入,大致相当于一本《儒林外史》的长度。相比之下,OpenAI 的 GPT-4 上下文窗口只有 32K,文字处理量约 2.5 万字。

李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首

如何做到的呢?据了解,零一万物技术团队实施了一系列优化,包括了计算通信重叠、序列并行、通信压缩等。通过这些能力增强,实现了在大规模模型训练中近 100 倍的能力提升。

值得一提的是,零一万物还是第一家将超长上下文窗口开源开放的大模型公司,允许开发者直接使用。

Yi-34B 的 200K 上下文窗口直接开源,不仅能提供更丰富的语义信息,理解超过 1000 页的 PDF 文档,让很多依赖于向量数据库构建外部知识库的场景都可以用上下文窗口来进行替代。Yi-34B 的开源属性也给想要在更长上下文窗口进行微调的开发者提供了更多的可能性。

独有科学训模方法,训练成本下降 40%

Yi-34B 如此强大,这要得益于以下两个关键因素,即 AI Infra 团队、自研规模化训练平台

李开复介绍称,零一万物内部设立了 AI Infra(AI Infrastructure)团队,主要负责大模型训练和部署提供各种底层技术设施,包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等,成为 Yi 系列模型训练背后极其关键的「保障技术」。

凭借强大的 AI Infra 支撑,零一万物团队实现了超越行业水平的训练效果。Yi-34B 模型训练成本实测下降 40%,实际训练完成达标时间与预测的时间误差不到一小时,进一步模拟上到千亿规模训练成本可下降多达 50%。

与此同时,零一万物实现了从「粗放炼丹」到「科学训模」方法论的转化。

经过几个月的建模和实验,零一万物自研出一套「规模化训练实验平台」,用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行,对 34B 模型每个节点的预测误差都可以控制在 0.5% 以内。模型预测能力更强,大大减少了进行对比实验需要的资源,也减少了训练误差对于计算资源的浪费。

数据处理管线和加大规模预测的训练能力建设,把以往的大模型训练碰运气的「炼丹」过程变得极度细致和科学化,不仅保证了目前发布 Yi-34B、Yi-6B 模型的高性能,也为未来更大规模模型的训练压缩了时间和成本,还有能力以领先于行业的速度将模型规模扩大到数倍。

最后,李开复也宣布,在完成 Yi-34B 预训练的同时,已经旋即启动下一个千亿参数模型的训练。
李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首
未来几个月,我们预计将看到更多的 Yi 后续大模型亮相。

以上就是李开复正式宣布推出「全球最强」的开源大模型:处理40万汉字,中英文均位居榜首的详细内容,更多请关注其它相关文章!


# 李开复  # 安宁seo网站推广  # 云南网站优化途径  # cms网站建设软件概述  # 网站建设教程价格  # 如何 做好 seo  # 铁岭市关键词seo排名优化  # 首款  # 未来  # 几个月  # 儒林外史  # 实现了  # 将于  # 榜单  # 英文  # 开源  # type  # llama  # hugging face  # 零一万物  # 产业  # 承德网站建设专业的公司  # 池州家居网站建设  # 百度seo排名信任乐云seo  # 杭州搜索关键词排名入口 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 电脑显示器上power是什么意思  access 如何输入命令  域名解析后为什么要进行域名备案  如何辨别固态硬盘坏块  typescript如何标记私有方法  如何创建sql命令  win10锁屏壁纸怎么换360锁屏壁纸吗  datediff函数怎么用视频  联想的固态硬盘如何  市盈率3.2是什么意思  夸克内测有什么好处  type-c全能接口是什么意思  一天多少分钟  put linux命令如何书写  mysql的datediff函数怎么用  什么是typescript  hp固态硬盘如何安装  雅迪电动车上的power是什么意思  单片机程序负数怎么表示  苹果16要升级哪些功能  免费恢复删除的微信聊天记录软件有哪些  个人征信不好如何恢复 个人征信不良的全面修复指南  光刻机的分类及其优缺点  交管12123协议头不完整是啥意思  一年多少周  vs如何输入命令行参数  如何加装固态硬盘  干股是什么意思  typescript怎么解析vue TypeScript在vue中的使用最新解读  显示器的power是什么意思  爱奇艺fun会员可以几个人用?  sql isnull函数如何使用  进口超级维特拉三门版power是什么意思  新网站如何填写域名解析  苹果16关闭哪些功能好  为什么进行域名解析  如何提高固态硬盘速度  苹果16会有哪些更新  typescript如何遍历map  vi命令如何退出编辑模式  望远镜上power是什么意思  小屏折叠屏手机有哪些  如何查看硬盘是固态硬盘  300秒等于多少分钟  苹果16更新了哪些功能  征信不好如何恢复正常 征信不好要怎么样才能恢复正常教程  如何安装m.2固态硬盘  考勤机power红灯是什么意思  如何查询固态硬盘寿命  征信信用不好如何恢复 征信信用不好如何恢复指南 

搜索