替代MLP的KAN，被开源项目扩展到卷积了

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 行业资讯

替代MLP的KAN，被开源项目扩展到卷积了

2024-05-23

浏览次数：次

返回列表

本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代方法 ——KAN。

KAN在准确性和可解释性方面表现优于MLP。而且它能以非常少的参数量胜过以更大参数量运行的MLP。比如，作者表示，他们用KAN以更小的网络和更高的自动化程度重现了DeepMind的结果。具体来说，DeepMind的MLP有大约300,000个参数，而KAN只有约200个参数。

KAN 与 MLP 一样具有强大的数学基础，MLP 基于通用逼近定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。

如下图所示，KAN 在边上具有激活函数，而 MLP 在节点上具有激活函数。KAN 似乎比 MLP 的参数效率更高，但每个 KAN 层比 MLP 层拥有更多的参数。图片： [图1：示意图] 简要解释： KAN 是一种基于边的神经网络结构，每个节点都具有边的权重和激活函数。它通过边的传播来实现信息的传递和更新。 MLP 是一种基于节点的神经网络结构，每个节点都具有输入的

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

最近，有研究者将 KAN 创新框架的理念扩展到卷积神经网络，将卷积的经典线性变换改为每个像素中可学习的非线性激活函数，提出并开源 KAN 卷积（CKAN）。

替代MLP的KAN，被开源项目扩展到卷积了

项目地址：https://github.com/antoniotepsich/convolutional-kans

KAN 卷积

KAN+卷积与卷积非常相似，但不是在内核和图像中相应像素之间应用点积，而是对每个元素应用可学习的非线性激活函数，然后将它们相加。KAN+卷积的内核当于 4 个输入和 1 个输出神经元的 KAN+线性层。对于每个输入 i，应用 ϕ_i 可学习函数，该卷积步骤的结果像素是 ϕ_i (x_i) 的总和。

替代MLP的KAN，被开源项目扩展到卷积了

KAN 卷积中的参数

易标AI

告别低效手工，迎接AI标书新时代！3分钟智能生成，行业唯一具备查重功能，自动避雷废标项

135 查看详情易标AI

假设有一个 KxK 内核，对于该矩阵的每个元素，都有一个 ϕ，其参数计数为：gridsize + 1，ϕ 定义为：

替代MLP的KAN，被开源项目扩展到卷积了

这为激活函数 b 提供了更多的可表达性，线性层的参数计数为 gridsize + 2。因此，KAN 卷积总共有 K^2(gridsize + 2) 个参数，而普通卷积只有 K^2。

初步评估

作者测试过的不同架构有：

连接到 KAN 线性层的 KAN 卷积层（KKAN）
与 MLP 相连的 KAN 卷积层（CKAN）
在卷积之间进行批量归一化的 CKAN (CKAN_BN)
ConvNet（连接到 MLP 的经典卷积）（ConvNet）
简单 MLP

替代MLP的KAN，被开源项目扩展到卷积了

作者表示，KAN 卷积的实现是一个很有前景的想法，尽管它仍处于早期阶段。他们进行了一些初步实验，以评估 KAN 卷积的性能。

值得注意的是，之所以公布这些「初步」结果，是因为他们希望尽快向外界介绍这一想法，推动社区更广泛的研究。

替代MLP的KAN，被开源项目扩展到卷积了

卷积层中列表每个元素都包含卷积数和相应的内核大小。

基于 28x28 MNIST 数据集，可以观察到 KANConv & MLP 模型与 ConvNet（大）相比达到了可接受的准确度。然而，不同之处在于 KANConv & MLP 所需的参数数量是标准 ConvNet 所需的参数数量的 7 倍。此外，KKAN 的准确率比 ConvNet Medium 低 0.04，而参数数量（94k 对 157k）几乎只有 ConvNet Medium 的一半，这显示了该架构的潜力。我们还需要在更多的数据集上进行实验，才能对此得出结论。

在接下来的几天和几周里，作者还将彻底调整模型和用于比较的模型的超参数。虽然已经尝试了一些超参数和架构的变化，但这只是启发式的，并没有采用任何精确的方法。由于计算能力和时间的原因，他们还没有使用大型或更复杂的数据集，并正在努力解决这个问题。

未来，作者将在更复杂的数据集上进行实验，这意味着 KANS 的参数量将会增加，因为需要实现更多的 KAN 卷积层。