近日，机械工程与自动化学院博士研究生纪龙成在生物医学工程领域国际顶级期刊Medical Image Analysis发表文章，文章题目为Memory Like the Human Brain: A Framework for Decoding Multimodal Learning of Brain-Visual-Linguistic Features，第一作者为博士研究生纪龙成，通讯作者为机械学院王宏教授，论文唯一的署名单位为东北大学机械工程与自动化学院。
人脑如何理解眼前的图像与文字？这项研究试图让机器也学会这种理解。这篇文章提出了MLHuB（Memory Like the Human Brain）模型，实现了脑电信号-视觉-语言三模态深度对齐。该模型模仿了人类大脑的学习机制，是一种负责读取和更新已学习文本-图像特征的内存单元巩固所学知识的方法；同时，引入了一种正交投影机制来分离共享表征和模态特定表征，并采用互信息最大化来确保跨模态的一致对齐。在多个基准数据集上的测试表明，MLHuB取得了最优性能，并提供了一种更具可解释性和泛化能力的方法来理解大脑如何解码视觉和语言信息。
视觉解码技术可让机器直接感知人类意图，在神经康复、智能假肢控制、人机交互等领域具有广阔应用前景。
