新闻中心

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发

2023-10-19
浏览次数:
返回列表

现在,ai已经能实时解读大脑信号了!

这不是耸人听闻,而是Meta的一项新研究,能够凭脑信号猜出你在0.5秒内看的图,并用AI实时还原出来。

在此之前,AI虽然已经能从大脑信号中比较准确地还原图像,但还有个bug——不够快。

为此,Meta研发了一个新解码模型,让AI光是图像检索的速度就提升了7倍,几乎“瞬间”能读出人在看什么,并猜出个大概。

像是一个站立的男人,AI数次还原后,竟然真的解读出了一个“站立的人”出来:

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

LeCun转发表示,从MEG脑信号中重建视觉等输入的研究,确实很棒。

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

那么,Meta究竟是怎么让AI“快速读脑”的?

大脑活动解码如何解读?

目前,AI读取大脑信号并还原图像的方法,主要有两种。

其中一种是fMRI(功能性磁共振成像),可以生成流向大脑特定部位的血流图像;另一种是MEG(脑磁图),可以测量脑内神经电流发出的极其微弱的生物磁场信号。

然而,fMRI神经成像的速度往往非常慢,平均2秒才出一张图(≈0.5 Hz),相比之下MEG甚至能在每秒内记录上千次大脑活动图像(≈5000 Hz)。

所以相比fMRI,为什么不用MEG数据来试试还原出“人类看到的图像”呢?

基于这一思路,作者们设计了一个MEG解码模型,由三个部分组成。

第一部分预训练模型,负责从图像中获得embeddings;

第二部分是一个端到端训练模型,负责将MEG数据与图像embeddings对齐;

第三部分是一个预训练图像生成器,负责还原出最终的图像。

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

训练上,研究人员用了一个名叫THINGS-MEG的数据集,包含了4个年轻人(2男2女,平均23.25岁)观看图像时记录的MEG数据。

这些年轻人一共观看了22448张图像(1854种类型),每张图像显示时间为0.5秒,间隔时间为0.8~1.2秒,其中有200张图片被反复观看。

NameGPT NameGPT

免费的名称生成器,AI驱动在线生成企业名称及Logo

NameGPT 119 查看详情 NameGPT

除此之外,还有3659张图像没有展示给参与者,但也被用于图像检索中。

所以,这样训练出来的AI,效果究竟如何?

图像检索速度提升7倍

整体来看,这项研究设计的MEG解码模型,比线性解码器的图像检索速度提升了7倍。

其中,相比CLIP等模型,又以Meta研发的视觉Transformer架构DINOv2在提取图像特征方面表现更好,更能将MEG数据和图像embeddings对齐起来。

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

作者们将整体生成的图像分成了三大类,匹配度最高的、中等的和匹配度最差的:

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

不过,从生成示例中来看,这个AI还原出来的图像效果,确实不算太好。

即使是还原度最高的图像,仍然受到了一些网友的质疑:为什么熊猫看起来完全不像熊猫?

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

作者表示:至少像黑白熊。(熊猫震怒!)

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

当然,研究人员也承认,MEG数据复原出来的图像效果,确实目前还不太行,主要优势还是在速度上。

例如之前来自明尼苏达大学等机构的一项名为7T fMRI的研究,就能以较高的复原度从fMRI数据中还原出人眼看到的图像。

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

无论是人类的冲浪动作、飞机的形状、斑马的颜色、火车的背景,基于fMRI数据训练的AI都能更好地将图像还原出来:

AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发图片

对此,作者们也给出了解释,认为这是因为AI基于MEG还原出来的视觉特征偏高级。

但相比之下,7T fMRI可以提取并还原出图像中更低级的视觉特征,这样生成的图像整体还原度更高。

你觉得这类研究可以被用在哪些地方?

论文地址:
https://www.php.cn/link/f40723ed94042ea9ea36bfb5ad4157b2

以上就是AI实时解读大脑信号,7倍速还原图像关键视觉特征,LeCun转发的详细内容,更多请关注其它相关文章!


# 个月  # 全网营销推广重点在哪里  # 互助推广网站模板  # 如皋外贸全网营销推广  # 丰县企业网络营销推广  # 洛龙区网站制作建设指南  # 在网站上推广怎么做的好  # 高邑百度网站推广案例  # 石嘴山推广网站优化  # 吐鲁番网站seo优化  # 智能化网站建设价格多少  # 开源  # 数据  # 相比之下  # 首款  # 时间为  # 明尼苏达大学  # 将于  # 三大  # 是一个  # 倍速  # MEG  # 数据集 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: type-c接口接地是什么意思  自己如何安装固态硬盘  typescript怎么用  如果公司ttm市盈率为负数是什么意思  5r是多少钱  如何测试固态硬盘速度  如何安装大华固态硬盘  硬盘和固态硬盘如何区分  选哪个折叠屏手机好用  typescript如何开发  油电混动车仪表盘上的power是什么意思  怎么用win7系统盘重装系统  如何拍屏幕不出条纹详细方法  交管12123协议头是什么  a03怎么根据编号找文链接入口  为什么夸克流畅播失败  typescript中文怎么读  夸克学习都有什么课程  固态硬盘如何消除缓存  单片机面包板怎么插  双十一的哪一天最优惠呢  8800日元等于多少人民币  苹果16有哪些可以设置  夸克为什么老是投屏失败  j*a中数组怎么传递  电动车仪表盘上的power是什么意思  如何查看固态硬盘速度  老电脑如何装固态硬盘  苹果16有哪些款式的  300秒等于多少分钟  一分钟等于多少秒  满射为什么没有逆映射  typescript卸载不掉怎么办  固态硬盘如何装入机箱  镜像ao3链接入口  苹果16将会带来哪些升级  羽毛球拍power9是什么意思  如何使硬盘升级固态硬盘  j*a怎么创建json数组  j*a怎么让数组倒换  如何提高固态硬盘性能  如何开发typescript  冰柜power是什么意思这个黄灯怎么不亮  春运抢票何时开始抢票的  vue项目如何用typescript  如何用dos命令分区  单片机显存怎么设置最佳  春运抢票在哪儿抢票  花呗征信不好如何恢复 如何修复不良的花呗征信  video是什么意思 

搜索