新闻中心 
-
04-16极长序列、极快速度：面向新一代高效大语言模型的LASP序列并行AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传...
-
04-12一文搞懂Tokenization！语言模型是对文本进行推理的，文本通常是字符串形式，但模型的输入只能是数字，因此需要将文本转换成数字形式。Tokenization是自然语言处理的基本任务，根据特...
-
03-05ICLR 2025 Oral：长视频中噪声关联学习，单卡训练仅需1天在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信...
-
01-18新一代注意力机制Lightning Attention-2：无限序列长度、恒定算力开销、更高建模精度当前大语言模型的应用受到了序列长度限制的制约，这限制了其在人工智能领域中的应用。例如，在多轮对话、长文本理解和多模态数据处理与生成方面存在一定的挑战。造成这种限...
-
01-18Lightning Attention-2：实现无限序列长度、恒定算力成本和更高建模精度的新一代注意力机制LightningAttention-2是一种新型的线性注意力机制，让长序列的训练和推理成本与1K序列长度的一致。大语言模型序列长度的限制，极大地制约了其在人工...
-
01-14百度排序技术的探索与应用一、背景首先来介绍一下百度综合信息流推荐的业务背景、数据背景，以及基本的算法策略。1、百度综合信息流推荐百度的综合信息流包括手百APP中搜索框的列表页以及沉浸页...
