重建看到的图像 离 fMRI 再近一步 脑机接口 日本研究员根据大脑 (重建图片)

雷锋网 AI 科技评论报道:位于日本的国际电气通信基础技术研究所(ATR)的计算神经科学实验室和京都大学日前联合发布了一篇论文,他们可以借助 fMRI(功能性磁共振成像)技术和基于深度学习的算法根据人的大脑活动重建人类看到的图像。雷锋网 AI 科技评论把论文简介如下

在论文《Deep image reconstruction from human brain activity》(根据人类大脑活动进行深度图像重建)中,作者们介绍道:「这个重建算法可以从一张随机图像出发,迭代地优化其中的像素值,最终让这张图像经过深度神经网络之后产生的特征和大脑活动经过特征解码后得到的多层特征类似。最终得到的优化图像就可以看作是对大脑活动的重建。」

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

模型总体结构:用于提取图像特征的DNN网络会提取图像特征,然后与解码出的人类大脑活动特征进行对比,根据两者的误差引导用于重建图像的DGN网络迭代优化图像,最终得到重建结果。

为了收集训练数据,研究员们让被试者观看图像,用fMRI 记录下他们当时的大脑活动。观看的图像样本包括几何图形、自然世界照片和字母;采集数据前后共花了 10 个月时间。

重建出的部分图像请见下方动图。

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

逐步迭代生成重建图像

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

英文字母的重建结果

作者们用了许多不同的图像输入做了测试。可以看到每个类别的重建结果都和原图差别不小,但已经体现出了不小的区分度。考虑到fMRI能采集到的信息有限,同时人的视觉皮层的工作机理也还没完全研究明了,这样的结果已经足以令人眼前一亮了。

原论文地址:

论文摘要:用基于机器学习的方法分析人类 fMRI 的图样模式已经让可视化人类意识中的内容变得可能。不过,之前的研究都仅限于低层次的基础图像元素,或者只是成功匹配了典型样例。近期的一些工作已经展现出,人类大脑视觉皮层的活动可以被解码(翻译)为深度神经网络的不同层级的特征,这就给利用层次化视觉特征带来了新的方法。

在这篇论文中,作者们展示了一种全新的图像重建方法:在采集人类大脑活动并将其解码为多层特征之后,可以用优化手段生成新的图像,让新的图像的深度神经网络特征和前面解码出的特征相似。作者们发现,这样优化得到的图像和输入图像(fMRI 成像期间给人类测试者看的刺激图像)很类似,不仅图像本身的外观类似,对图像中内容的主观理解也类似。尽管作者们仅仅使用了日常照片训练模型,他们的方法还是可以成功泛化到人造形状的重建中,这表明他们的方法确实可以根据人脑活动「重建」或者「生成」图像,而不是简单匹配了典型样例。在生成图像过程中,生成模型附加了一些让重建的图像更且像自然图像的限制,这样就以一种高效的方法让重建的图像带有了具有语意意义的细节。根据人类观察的反馈,综合神经网络中多个不同的层的特征形成的图像比只用单个层的图像具有更高的视觉质量。总的来说,这项研究表明人类大脑的层级化视觉信息可以被高效地综合利用,重建出感知性的、主观的图像。

via NVIDIA Developer News ,雷锋网 AI 科技评论编译

DARPA 拨款 6500 万美元用于脑机接口研发,一起来看各顶尖研究机构的脑洞

近距离接触类脑计算,看脑机接口如何走向脑机融合|CCF-ADL 新课报名中

专访脑机接口研究先驱米格尔 • 尼科莱利斯:马斯克的观点我不同意

要做好脑机接口技术,马斯克和扎克伯格还差一本“菜谱”

盘点 | 过去一年拿到融资的脑机接口玩家

版权文章,未经授权禁止转载。详情见 转载须知 。

离「脑机接口」再近一步,日本研究员根据大脑 fMRI 重建看到的图像

全局中部横幅
中国教育新闻网

中国教育新闻网是教育部直属新闻出版机构中国教育报刊社主管的网络媒体。中国专业的综合教育新闻门户、主要发布高考、考研、自考、成人高考、教师招聘、就业、留学等权威的招考、招生、就业、招聘、复习、辅导等教育信息、并设有校园、博客、外语、公务员、在职硕士、民校、商城等栏目。

联系我们

华纳公司客服电话—181.8383.3331←微信同步—客服微信QQ【25778279】华纳公司客服24小时在线开户,专业的技术支持,无论玩家目前身处何处,随时可尽情享受游戏的乐趣。

环博云官网

MYB2B系统是基于PHP+MySQL的B2B(电子商务)行业门户解决方案

金刚砂

石家庄永龙金刚砂厂主要生产金刚砂、金刚砂耐磨地坪、除锈金刚砂、金刚砂骨料等,质量好,价格低。

贵阳钢模

贵州攀志兴钢模加工厂专业贵州钢模、贵阳钢模厂家,加工生产销售各种贵州建筑钢模、预埋件、隧道台车、钢支撑以及相关配套附件等,贵州本地企业,十年老品牌,诚信经营,品质保证,欢迎来电咨询!

真空泵

淄博博山北园真空泵厂专业制造:真空泵,水环式真空泵,真空机组等设备.上百个种类,性能稳定,品质精良,使用寿命长,适用范围广,实际操作简单.能够满足多数的客户需求,设备均通过质检的检验.

拉卡拉pos机办理官网

POS机办理就上拉卡拉官网旗舰店,正规最新刷卡插卡手机POS机免费办理中心提供银联个人POS机购买,拉卡拉po机申请办理业务。全国皆有网点服务个人及企业,拉卡拉0.35费率扫码机免费赠送活动正在活动中,欢迎咨询办理!

江湖聊天室

醉江湖源于2000年前后的世纪江湖,是在周公的仙剑江湖基础上开发出来的,包含:泡点升级、PK打架、江湖婚姻等功能的文字武侠游戏。您可以在醉江湖里:聊天交友,谈情说爱,也可以仗剑江湖,创建门派,成为一代大侠!经多年修改优化并结合侠剑江湖和楚天江湖的优点,是现今最好的江湖游戏。厌倦网页游戏,何不回归江湖?

律师咨询

冷律网,专业的律师法律咨询网站,为寻求法律咨询及聘请律师的朋友提供快捷、高效的找律师、在线咨询律师和查法律知识等服务!

深圳活动策划公司

千禧晨是94年成立的深圳活动策划公司,专注于各类活动策划、创意年会策划、周年庆典策划、会议策划、品牌&产品发布会策划、上市答谢酒会策划、开业开幕策划、会议会务策划、公益活动策划、签约启动仪式策划、奠基仪式策划、乔迁庆典策划、落成庆典策划、封顶仪式策划、揭牌仪式策划、开工仪式策划、房地产活动策划等大型活动公关策划执行。

糖糖句子网

糖糖句子网内容涵盖范文,协议,文秘,语录,文章,好句。分享文章,分享快乐。

首页

成立于2010年6月,注册资金18亿元。经过多年的快速发展,目前已经成长为多元业务并行发展的城市服务综合运营商,业务涉及农副物流园区建设、园区运营、城市综合配套开发、酒店运营管理、农副产品贸易、大宗产品购销、产业规划、建筑设计、物业运营、工程施工、创新金融服务、私募基金以及产业投资等多个领域。

全局底部横幅