宁波材料所在基于人工智能技术的医学影像辅助疾病诊断研究方面取得新进展

发布：2022-07-01

点赞：

字号：小大打印：

　　第25届医学图像计算与计算机辅助干预国际权威会议MICCAI 2022，将于2022年9月18日至22日在新加坡世界会议中心举行。近期，中国科学院宁波材料技术与工程研究所智能医学影像团队分别以“Unsupervised Lesion-Aware Transfer Learning for Diabetic Retinopathy Grading in Ultra-Wide-Field Fundus Photography”和“NerveFormer: A Cross-Sample Aggregation Network for Corneal Nerve Segmentation”为题的相关研究被该会议接受录用。第一作者分别为硕士研究生白艳苗和陈佳玉同学，赵一天研究员和张炯副研究员为论文通讯作者。

　　根据世界卫生组织2019年10月发布的《世界展望报告》，全球有超过4.18亿人患有青光眼、糖尿病视网膜病变（DR）、老年性黄斑变性（AMD）或其他可致盲的眼病。早期眼疾患者通常意识不到无症状病情的加重，因此利用眼底图像对眼部疾病进行早期筛查具有重要的临床意义。近年来，由于深度学习强大的性能，在相关应用中越来越受欢迎，例如病变分割、生物标志物分割、疾病诊断和图像合成等。

　　在“Unsupervised Lesion-Aware Transfer Learning for Diabetic Retinopathy Grading in Ultra-Wide-Field Fundus Photography”中研究人员探索了基于一种新的眼底照片-超广角眼底彩照（UWF）的糖尿病视网膜病变自动诊断算法研究。UWF相比于30°-60°的传统彩色眼底图像（图1A），它的成像范围可以一次性达到200°，可覆盖80%的眼底区域，成像速度快，并且一些已发表的临床文章证明了UWF图像在糖尿病视网膜病变等相关眼底疾病方面的诊断相比传统彩色眼底图像拥有更大的优势。但可用于深度学习训练的高质量的专家标注的UWF数据仍然非常稀缺，智能医学影像团队构建了一个包含904张具有图像级标签的图像，并针对该问题搭建了一个仅使用少量无标注的UWF图像在无监督训练的情况下，利用传统彩色眼底图像的辅助进行糖尿病视网膜病变自动诊断的模型。此外，研究人员考虑到在真实的临床场景中，人类专家通过观察病变的详细特征来进行DR诊断。基于此，他们提出了一种无监督病变感知迁移学习框架（ULTRA），如图2。该模型由3部分组成，首先由病灶生成模块处理UWF图像从而输出与DR相关的病灶特征，如图3所示。同时在框架中嵌入了一个病变外部注意模块（LEAM），通过LEAM及时将中间层不同层次的病灶信息嵌入到分级模块中。最后，由一个基于ResNet-50的分级模块，在先验病灶知识的辅助下对UWF图像的糖尿病视网膜病变做出精准的自动诊断。大量实验结果表明，所提出的方法优于目前最先进的方法，并获得了一个令临床医生在分类性能和可解释性方面均满意的自动诊断模型。

　　在“NerveFormer: A Cross-Sample Aggregation Network for Corneal Nerve Segmentation”中智能医学影像团队提出了一种新的基于活体角膜共聚焦显微镜图像的（in Vivo Cornea Confocal Microscope, CCM）角膜神经分割方法，称为NerveFormer网络，整体结构如图4所示。其中所用到的CCM设备以激光为光源，具有分辨率高、图像清晰、无创伤性等优点，并可用于观察视网膜上皮完整的早期病变，因此广泛用于目前的角膜神经图像研究领域。在CCM模态的图像基础上，该研究提出的基于深度学习的算法模型（NerveFormer）旨在解决角膜神经图像分割任务中存在的分割断裂不连续、背景细胞干扰两大问题。整体方法设计基于ResNet34框架，并加入了中间部分核心的DEAM模块。其中，DEAM包含了TDA和TEA两个子模块。TDA用于高效学习单个样本的特征，TEA用于学习外部样本的特征。该方法在已经公开的角膜神经数据集（CORN-1）上得到了充分验证，实验结果如图5所示，表明NerveFormer在角膜神经图像中已获得了不错的分割效果。

　　此外，角膜神经的分割为后续量化评估（如角膜神经弯曲度分级、角膜神经长度、角膜神经密度等）提供基础。而量化评估对于后续眼部疾病（如感染性角膜炎、干眼病、圆锥角膜、糖尿病周围神经病变等）诊断和治疗带来很大便捷。因此角膜神经分割工作对于眼科临床方面的辅助治疗具有重要意义。

　　这些论文代表了医学图像分析领域最新的科研进展，全面体现了研究团队在AI算法领域的持续创新能力，对于推动解决医疗健康行业面临的痛点难点，提升医疗诊断效率具有重要意义。

　　以上工作得到了中国科学基金国家自然科学基金（62103398）、浙江省自然科学基金（LR22F020008）、中科院青年创新促进会（2021298），宁波市重大科技任务项目（2021Z054）等项目的资助。