机电学院智慧医疗实验室在医学影像人工智能顶刊发表4项研究成果

近日，必威官方客服机电学院智慧医疗实验室（HiLab）在医学影像人工智能领域的国际顶级期刊IEEE Transactions on Medical Imaging（IEEE TMI）连续发表了四篇医学影像人工智能方面的最新工作。机械与电气工程学院2022级硕士生钟岚烽、2020级硕士生翟书唯、赵乾飞、2019级博士生顾然分别为第一作者，王国泰老师为通讯作者，必威官方客服为第一完成单位。

IEEE TMI是国际上公认的人工智能医学影像分析TOP期刊，在中科院SCI分区中为工程技术大类学科1区期刊。在Radiological and Ultrasound Technology方向60种SCI期刊中排名第1， 在Computer Science方向398种SCI期刊中排名第9，影像因子11.037，年文章数为324。

这四篇论文均于2023年1月至4月发表或接收，包括一篇病理图像分割方面的研究和三篇三维医学影像分析方面的研究。这些研究都集中在基于深度学习的医学图像处理领域，探索了如何减少深度学习模型的标注成本，提高模型的效率、精度和跨领域迁移能力。这些技术的应用可以帮助医生更准确地进行疾病诊断和制定治疗计划，对于疾病智能诊疗具有重要意义。相关研究成果简介如下：

1.HAMIL: High-resolution Activation Maps and Interleaved Learning for Weakly Supervised Segmentation of Histopathological Images

病理图像的自动分割对于肿瘤的精确诊断具有重要价值。目前最先进的基于深度学习技术的分割方法需要大规模的标注数据进行训练。然而，病理图像由于尺寸过大（超过10000x10000）、不同组织间的边缘复杂等因素，获得训练集的分割标注是十分困难和耗时的。

 为了减少标注成本，本文设计了一种基于图像级别标签的弱监督分割方法，仅利用图像块（大小为256X256左右）的分类标签进行模型训练，得到高质量的分割模型。为了从图像级别标签中学习，本文提出了一种轻量化的多分支分类网络，通过舍弃传统分类网络中过多的下采样层和最后的全连接层，得到高分辨率的类别激活图，从而得到高质量的分割伪标签。然后，本文设计了一种新的噪声标签学习方法从分割伪标签中学习，通过三个分割网络的相互知识蒸馏，得到高性能的分割模型。在肺癌病理图像上的实验表明，本文的方法显著优于现有的弱监督图像分割方法。

2.Efficient Multi-Organ Segmentation from 3D Abdominal CT Images with Lightweight Network and Knowledge Distillation

卷积神经网络已在三维医学图像自动分割中展现出强大的性能，然而三维卷积神经网络面临模型参数多、计算量大、对计算设备要求高等问题。因此实现神经网络的轻量化，得到分割精度高、效率高的分割模型，在实际应用落地中具有巨大需求。

针对这个问题，本文提出了一个轻量化的卷积神经网络LCOV-Net。该神经网络结合时空分离卷积和注意力特征校正，在减少模型参数的同时可以保持良好的分割性能。为了进一步提高该轻量化网络的分割精度，本文设计了两种知识蒸馏方法（基于类别关系的知识蒸馏和多尺度知识蒸馏），从性能较高、参数较多的教师模型中将知识蒸馏到LCOV-Net。基于腹部多器官分割数据集的实验表明，所提出的LCOV-Net的参数量仅为常规的3D UNet的五分之一左右，在知识蒸馏的帮助下，LCOV-Net的分割精度可以达到甚至超过教师模型。

3.PA-Seg: Learning from Point Annotations for 3D Medical Image Segmentation using Contextual Regularization and Cross Knowledge Distillation

近年来，性能优越的三维医学图像分割模型通常依赖于大量训练图像的像素级标注，然而一幅三维图像中病灶或器官的分割标注通常需要几十分钟的时间，导致模型训练的标注成本十分高昂。本文提出了一种新颖的点标注方法（PA-Seg）用于肿瘤病灶分割，标注一张三维医学图像只需要7个点：6个依次分布在目标区域前、后、上、下、左、右方向的背景点和一个位于目标中心附近的前景点，因此仅需要数秒的时间就可以完成标注。

为了充分利用这7个种子点进行模型训练，PA-Seg的训练流程分为两个阶段。首先，对前景种子点通过测地线距离变换进行扩张，得到更多的含标注信息的像素。为了利用其余未标注像素进行模型训练，本文提出多视角条件随机场损失（multi-view CRF loss）和方差最小化损失（Variance Minimization loss）两个正则项，从而该模型可以为训练图像生成高质量的伪标签。在第二个阶段，为了进一步从伪标签中学习，本文引入一个辅助模型来协同训练主分割模型。在胶质瘤分割数据集BraTS上的实验表明，该方法在第一阶段学习后取得的平均Dice达到84.2%，经过第二阶段学习，进一步提高到85.6%，在同样的标注成本下性能显著优于现有弱监督方法，并且和全标注学习方法的性能较为接近（87.7%）。

4.Contrastive Semi-supervised Learning for Domain Adaptive Segmentation Across Similar Anatomical Structures

现有的深度学习模型在跨领域迁移时，由于数据分布的差异导致性能下降明显。为了提高医学图像分割模型在迁移到新的领域时的性能和减少标注成本，本文针对一个在含完整标注的源域数据集上训练的模型，利用目标数据集（目标域）中的少量标注，提出了一种新型的基于对比学习的半监督领域适应模型。

如图4所示，本文采用教师-学生网络作为半监督学习的骨干网络，以充分利用目标域中无标注的图像。通过共享的卷积层参数和域特异性的批归一化参数，实现跨域结构特征的提取，并降低不同数据域的分布差异的影响。本文还提出一种跨域对比学习策略，以鼓励模型捕捉相似解剖结构的域不变特征，克服不同数据域中的域特异性特征的干扰。在实验中，本文将眼底图像血管分割模型迁移到X光图像中的血管分割任务，在目标数据集仅含10%的标注的情况下，本文方法的分割性能接近全监督训练的分割性能，并且优于现有的半监督方法和领域适应方法。

机械与电气工程学院智慧医疗实验室专注于人工智能技术与医疗大数据的前沿方向，围绕更加智能、精准的疾病诊断与治疗方法进行创新性研究，研究范围覆盖医学图像分析、计算机视觉、人工智能等多个方向。近五年在IEEE TMI、IEEE JBHI、Medical Image Analysis等领域Top期刊和会议AAAI、IPMI、MICCAI等发表论文30余篇。实验室学生多次在领域国际顶级会议MICCAI的医学图像分割挑战赛中斩获国际冠军、亚军，多名学生获得研究生国家奖学金、四川省优秀毕业生等荣誉。