记者13日从澳门科技大学获悉，由澳科大医学院、四川大学华西医院、香港大学等机构研究人员组成的研究团队，率先提出一个基于人工智能的多模态融合肺部影像医疗诊断模型“IRENE”，这是一个使用统一的人工智能模型对多模态临床信息同时进行整体表征学习的医学辅助诊断方法。

相关研究报告已发表于最新一期的《自然·生物医学工程》。

在医学临床实践中，医生通常需要综合考虑多种不同模态的医学信息来做出诊断，比如病人病历、血液检查、影像报告等等，这种综合分析能力需要医生有丰厚的医学专业知识和长期临床实践经验。

如果能利用人工智能获得这种综合分析的能力，辅助医生诊断，将极大提高医疗效率、缓解医疗资源短缺。基于人工智能的医学图像诊断近年来取得了很大的进展，但如何让计算机将医学图像及其相关的临床信息综合起来解读仍是一个较大的难题。

为解决上述问题，澳门科技大学教授张康领衔的团队开发了“IRENE”。该模型包含了统一的数据输入处理模块和双向的跨模态注意力机制模块，旨在通过共同学习不同信息间的整体特征和其关联性来做出决策。该模型可以有效整合医学图像、非结构化的病历信息和实验室检测数据，运用统一的跨模态分析流程，实现综合处理不同数据，从而做出更为准确的判断。

据张康介绍，团队将统一模型应用到了识别肺部疾病和预测新冠不良临床症状。相较于只使用图像的模型和非整合的多模态诊断模型，在识别肺部疾病方面的准确率分别提升了12%和9%，在预测新冠患者的不良临床结果方面提升了29%和7%。

张康表示，这一新开发的医学辅助诊断方法，为缓解医疗资源紧张提供了有力工具，同时也为后续以医学人工智能整合任何多模态信息提供了新的思路。