Nature子刊：上海科技大学钱学骏团队开发多模态AI模型，实现多层级乳腺癌风险预测

编辑丨王多鱼

排版丨水成文

乳腺癌是全球最常见的癌症之一，且是女性癌症死亡的第一大原因。据统计，每年全球约有230万女性被诊断为乳腺癌，导致约68.5万人死亡，其中中国女性的乳腺癌发病率远高于世界平均水平。因此，开发基于疾病严重程度的乳腺癌风险分层策略（如短期随访、长期随访、活检确认或及时手术）对于提高生活质量、减少死亡率至关重要。

在亚洲女性群体中，乳腺组织致密度较高且乳腺癌呈现低龄化趋势。超声检查因其便捷、无辐射、经济实惠等优势，成为我国乳腺癌筛查和诊断的首选手段。然而，超声检查在早期筛查中存在局限性，特别是对微小钙化灶的检出率不够理想。为此，临床实践中逐渐形成了"钼靶+超声"的黄金检查组合：常规体检时可选择其一，而在门诊就医时则根据具体情况灵活选用，对于病灶不明确的病例则需两种方法联合检查。除影像学检查外，临床医生还需综合评估患者主诉、既往病史、触诊等多项临床指标。这种诊断模式不仅流程繁琐、信息庞杂，且诊断结果的准确性也难以保证。因此，运用人工智能技术实现精准分层诊断，已成为当前亟待解决的关键问题。

2024年12月4日，上海科技大学生物医学工程学院钱学骏团队在Nature Biomedical Engineering期刊发表了题为：A multimodal machine learning model for the stratification of breast cancer risk 的研究论文。

研究团队基于临床乳腺癌筛查与诊断的黄金标准（即多数情况下选择超声或钼靶检查，少数情况两者兼用）并融入了患者主诉、病史等重要临床指标，构建了结合传统卷积神经网络与Transformer的混合深度学习框架，并创新的引入不同癌变风险等级的乳腺疾病树，实现了多层级乳腺癌风险预测。结果显示模型的预测能力超越了资深放射科医生，初步达到了资深病理科医生的水准，为更广泛的乳腺癌筛查和诊断提供了新的技术途径。

该研究是钱学骏教授团队与安徽医科大学第一附属医院裴静主任团队继2021年在Nature Biomedical Engineering上发表的多模态超声乳腺工作后的又一重要进展。

再喝祥最新研究中，研究团队开发了一款专门面向乳腺癌风险分层的多模态人工智能系统——BMU-Net模型（图1）。该模型巧妙融合了卷积神经网络在特征提取方面的高效性，以及Transformer在高层特征融合与跨模态整合方面的卓越性能。通过在大规模钼靶和超声数据集上进行迁移学习预训练，再结合多模态匹配数据集进行精细化调优，显著提升了模型的通用性和复用价值。创新性地采用随机掩码训练策略（图2），使BMU-Net能够灵活处理不同模态的输入数据，有效应对临床实践中因患者隐私保护等原因导致的数据缺失问题。

图1：基于乳腺疾病树构建的BMU-Net模型及多层级乳腺癌风险评估策略

研究团队利用5025名患者的19360张乳腺影像开展模型开发和测试工作。通过与资深放射科医生在158例钼靶检查和146例超声检查中的诊断结果进行对比，发现BMU-Net在肿瘤良恶性分类方面与专家水平相当，在组织病理学分级诊断方面（根据癌变风险设计的breast disease tree）超越了人类专家的表现。

该研究还证实，临床数据（尤其是年龄和体重指数）对乳腺癌风险精准分级具有重要意义，这与现有的乳腺癌风险因素研究相互印证。在包含187名患者的前瞻性多模态数据验证中，BMU-Net取得了90.1%的准确率，已接近病理学家通过活检切片分析获得的92.7%的准确率。

BMU-Net的突出优势还体现在其开发过程中特别关注了具有挑战性的BI-RADS 4类病例（癌症可能性介于2%-95%之间）。尤其在处理BI-RADS 4a类病例（癌症可能性为2%-10%）这一诊断难度较大的不确定区间时，模型提供了极具价值的判断依据。例如，通过将BI-RADS 4a降级为BI-RADS 3，可以帮助患者避免不必要的侵入性活检。

图2：在不同临床测试环境下的BMU-Net的稳定性与准确性

总的来说，结合临床指标、钼靶与超声检查的黄金组合，是公认最经济有效和可行的乳腺癌筛查与诊断选择。研究团队构建的BMU-Net模型，为临床医生提供了多层级的乳腺癌风险评估工具，旨在改善患者生存质量，具有重要的临床和社会意义。

鉴于该研究取得的重要突破，Nature Biomedical Engineering期刊同期发表了Research Briefing评述文章——Advancing breast cancer risk stratification using multimodal AI，总结和点评了该研究的发现和意义。

上海科技大学钱学骏教授为论文通讯作者，安徽医科大学第一附属医院裴静主任、韩春光医师为该论文共同第一作者。上海科技大学沈定刚教授、安徽医科大学第一附属医院郑慧主任等为该研究提供了指导，上海科技大学高性能计算共享服务平台提供了平台支持。 该研究获得了国家级高层次人才计划青年项目、国家自然科学基金面上项目等的支持。

钱学骏教授致力于开发新型超声影像成像技术及医学超声数据挖掘与智能辅助筛诊工作，至今已在国际权威期刊Nature Biomedical Engineering（3篇）、Nature Communications、IEEE TMI/TBME/UFFC等发表论文30余篇。课题组长期招聘博士后、助理研究员等各类工作人员，欢迎有志者加盟！

论文链接：

https://www.nature.com/articles/s41551-024-01302-7