新闻中心
-
08-16两个小模型互相验证,直接比肩大模型?微软的rStar甚至没用CoT和微调互相检查,让小模型也能解决大问题。众所周知,LLM很强大,但执行复杂推理的能力还不够强。举个例子,在GSM8K数据集上,Mistral-7B即使使用思维链(Co...
-
08-11给视频模型安上快慢两只眼睛,苹果免训练新方法秒了一切SOTA自从Sora发布以来,AI视频生成领域变得更加「热闹」了起来。过去几个月,我们见证了即梦、RunwayGen-3、LumaAI、快手可灵轮番炸场。和以往一眼就能...
-
08-11混合专家更有主见了,能感知多模态分情况行事,Meta提出模态感知型专家混合混合专家,也得术业有专攻。对于目前的混合模态基础模型,常用的架构设计是融合特定模态的编码器或解码器,但这种方法存在局限:无法整合不同模态的信息,也难以输出包含多...
-
08-10首届大模型顶会COLM 高分论文:偏好搜索算法PairS,让大模型进行文本评估更高效AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传...
-
08-08Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态...
-
08-07只需几个演示就能对齐大模型,杨笛一团队提出的DITTO竟如此高效人类的教育方式,对大模型而言也很适用。养育孩子时,古往今来人们都会谈到一种重要方法:以身作则。也就是让自己成为孩子模仿学习的范例,而不是单纯地告诉他们应该怎么做...

