新闻中心 
-
02-16手把手教你，从零开始实现一个稀疏混合专家架构语言模型（MoE）本文介绍了实现一个稀疏混合专家语言模型（MoE）的方法，详细解释了模型的实施过程，包括采用稀疏混合专家取代传统的前馈神经网络，实现top-k门控和带噪声的top...
-
02-04不分割成token，直接从字节中高效学习，Mamba原来还能这样用在定义语言模型时，常常使用基本的分词方法，将句子分为词、子词或字符。子词分词法一直以来都是最流行的选择，因为它在训练效率和处理词汇表外单词的能力之间取得了平衡。...
-
01-30MoE大模型制作指南：零基础手打法，大神级教程揭秘传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！HuggingFace上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统...
-
01-25GRU简介及其优缺点及应用GRU代表门控循环单元，是一种类似于LSTM的循环神经网络架构，用于捕获顺序数据中的长期依赖关系。与LSTM相比，GRU具有更少的参数，从而降低了计算成本。它由...
-
01-24探讨门控循环单元及其改进方法门控循环单元（GRU）是循环神经网络（RNN）中的一种重要结构。相较于传统的RNN，GRU引入了门控机制，通过控制信息的流动和保留，有效地解决了训练中的梯度消失...
-
01-23用深度神经网络解决XOR问题的方法是什么XOR问题是一个经典的非线性可分问题，也是深度神经网络的起点。本文将从深度神经网络的角度介绍解决XOR问题的方法。一、什么是XOR问题XOR问题是指一个二元逻辑...
