新闻中心 
-
07-03清华系面壁智能开源中文多模态大模型VisCPM ：支持对话文图双向生成，吟诗作画能力惊艳2020年12月发布的CPM-1是国内首个中文大模型；2022年9月发布的CPM-Ant仅微调0.06%参数就能超越全参数微调效果；2023年5月发布的WebC...
-
07-03清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！将激活、权重和梯度量化为4位，有望加速神经网络训练。然而，现有的4位训练方法需要自定义数字格式，而现代硬件不支持这种格式。最近，清华朱军团队提出了一种使用INT...
-
07-02类GPT模型训练提速26.5%，清华朱军等人用INT4算法加速神经网络训练我们知道，将激活、权重和梯度量化为4-bit对于加速神经网络训练非常有价值。但现有的4-bit训练方法需要自定义数字格式，而当代硬件不支持这些格式。在本文中，清...
