新闻中心

开源22万条DeepSeek R1的高质量数据!你也能复现DeepSeek了

2025-02-12
浏览次数:
返回列表

deepseek 的影响力持续发酵,中国ai军团实现了反向技术输出,引发全球复现 deepseek 的热潮。尽管 deepseek-r1 部分开源,但关键信息仍未公开。然而,技术报告已为复现提供了指导,许多团队利用小型模型取得了成功,其中 hugging face 的 open r1 项目最为引人注目。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

图片

Open R1 项目旨在完全开放复现 DeepSeek-R1,并补充所有未公开的技术细节。几周内,他们已完成 GRPO 实现、训练与评估代码以及合成数据生成器。项目地址:https://www.php.cn/link/59a6cd2175a468225a105a7cd7f20ec4

近期,Open R1 发布了 OpenR1-Math-220k 数据集,填补了 DeepSeek R1 合成数据缺口。该数据集包含 22 万条高质量数据,源自 80 万条 DeepSeek R1 推理轨迹。

图片OpenR1-Math-220k 数据集概览 数据集链接:https://www.php.cn/link/058d732557d3b439eb2ffdd074bbf347

DeepSeek R1 的优势在于其将高级推理能力迁移到小型模型的能力。DeepSeek 团队使用了 60 万条推理数据,证明了这种迁移能力,即使不使用强化学习也能实现强大的推理性能。OpenR1-Math-220k 数据集弥补了 DeepSeek 未公开合成数据的不足。基于该数据集训练的 Qwen-7B-Math-Instruct 模型,性能与 DeepSeek-Distill-Qwen-7B 相当。

OpenR1-Math-220k 数据集特点:

  • 利用 DeepSeek R1 生成 80 万条推理轨迹,筛选后保留 22 万条高质量数据。
  • 本地高效生成,利用 512 个 H100 服务器,每天生成 18 万条推理轨迹。
  • 基于 NuminaMath 1.5,专注于数学推理公式。
  • 自动过滤,通过数学验证和 Llama3.3-70B-Instruct 模型筛选,确保数据质量。

数据集分为 default (94k 问题) 和 extended (131k 问题) 两个部分。

图片

Reachout.ai Reachout.ai

一个AI驱动的视频开发平台,专为忙碌的企业家和销售团队打造

Reachout.ai 142 查看详情 Reachout.ai

Open R1 团队希望这种可扩展、高质量的推理数据生成过程能够启发其他领域。数据生成过程使用了 vLLM 和 SGLang,并对 Math-Verify 工具进行了改进,利用 Llama-3.3-70B-Instruct 模型进行二次评估,确保数据质量。数据生成脚本:https://www.php.cn/link/59a6cd2175a468225a105a7cd7f20ec4/tree/main/slurm

在 OpenR1-Math-220k 数据集上训练的 Qwen-7B-Math-Instruct 模型,与 DeepSeek-Distill-Qwen-7B 的性能相当。

图片

Open R1 项目的成果表明,少量高质量的推理数据也能实现强大的推理能力,并引发了关于 LLM 推理机制、数据规模和 CoT 长度等问题的深入探讨。 相关研究表明,更小、更高质量的数据集可能更有效。 Open R1 团队正在进行更多实验,以优化 GRPO 训练。

图片图片图片

参考链接:https://www.php.cn/link/ddc751074ed4db1ce8e65aec173d16e3, https://www.php.cn/link/6e3a0a9abe898f51ff56c491b528b302, https://www.php.cn/link/a87c3e8f9b58723ac1c4f6ab69c0d0c9, https://www.php.cn/link/0af07e9885819ecb85897611e758433b, https://www.php.cn/link/b8742743f35ad13e837cb8fc849f759d

以上就是开源22万条DeepSeek R1的高质量数据!你也能复现DeepSeek了的详细内容,更多请关注其它相关文章!


# open r1  # 未公开  # 如何应对  # 之选  # 哪家  # 你该  # 美图  # 网易  # 也能  # 高质量  # llama  # lla  # qwen  # hugging face  # deepseek  # ai  # 工具  # git  # 产业  # 开源  # 吉林淘宝网站建设电话  # 网站标题优化的常见方法  # 过度优化网站降权  # 襄阳网站推广哪里好做啊  # 电商类app营销推广的意义  # 涟水数据网站建设优化  # 烟台优化网站推广  # 优化网站兴田德润电话  # 安庆网络推广微信营销  # 宁波网站建设公司概况 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: 选哪个折叠屏手机好用  夸克加载什么要会员  华为交换机如何复制命令行  空调控制面板power灯一直亮是什么意思  苹果16更新了哪些软件  电脑type-c接口是什么意思  苹果16哪些型号好  广东春运抢票怎么抢的  power在充电器上是什么意思  怎么在typescript写原型链  三菱变频器POWER是什么意思  微信最多可以加多少好友  路亚竿上的power是什么意思  如何创建解压文件命令  云笔记本电脑有什么用  mysql的datediff函数怎么用  65寸电视长宽多少厘米  跨境电商gmv是什么意思?跨境电商GMV:理解其含义、计算方法和影响因素  如何查询固态硬盘序列  typescript变量是什么  vs如何输入命令行参数  楔子是什么意思  vb中的datediff函数怎么用 ​VB中的DateDiff函数:详尽指南  电动车充电器上的power是什么意思  开机如何运行dos命令提示符  为什么夸克下载不到  苹果16有哪些变化尺寸  广东春运几点抢票  市盈率中的19a是什么意思  市盈率静是什么意思  如何查看硬盘是固态硬盘  手机如何更改固态硬盘  如何用chown命令  笔记本如何选择固态硬盘  typescript如何使用  春运抢票可以抢几次啊  科技型企业成长"十步法"  如何打开命令框  hen是什么意思  怎么在typescript定义集合  苹果16哪些型号好用  对应市盈率是30X是什么意思  一尺是多少厘米  为什么学typescript  春运高速高铁抢票攻略  夸克投屏为什么那么卡  linux如何使用db2命令  vue怎么连接typescript  win7怎么装扫描仪  苹果16讲解有哪些功能 

搜索