中科院香港创新院AI中心发布多模态手术大模型，回答准确度达95%

21世纪经济报道记者 张伟泽 香港报道

中国科学院香港创新院AI中心于3月11日发布了一款面向医疗垂直领域的AI多模态大模型CARES Copilot 1.0。中国科学院香港创新院AI中心执行主任刘宏斌教授在发布会上表示，该大模型以可信性和可解释性为研发理念，显著区别于其他通用大模型。目前，该大模型在国际医学大模型测评榜单结果中排名第一，其对问题回答的准确度能达到95%，远高于其他开源算法普遍达到的60%左右的正确率。

刘宏斌介绍，作为垂类领域大模型，CARES Copilot1.0与其他通用大模型不同的方面在于其可以追溯检索信息来源，以确保信息准确性。该大模型主要针对神经外科领域，在研发阶段使用3000多本国内外的神经外科教材以及指南训练，每一个回答都能够追溯到对应的来源验证。

刘宏斌指出，CARES Copilot1.0的多模态信息处理能力是其突出特点，可以精确识别动作、影像以及生命体征等信息。该大模型采用大模型加小模型的方式，将其识别的图片和视频进行语义提取，将提取出的信息运用语言大模型的能力进行更高级的理解，包括手术风险的评估以及手术阶段的理解等，最终形成手术报告工程、手术质量评估等面向临床专家的服务。

刘宏斌进一步表示，该大模型可以在手术中为医生提供判断参考，例如关键解剖结构的识别以及手术中危险区域的提示等，通过辅助信息让医生操作更为安全。

参与该项目的北京协和医院神经外科主任医师冯铭对21世纪经济报道记者表示，CARES Copilot1.0的功能可以帮助优质医疗资源下沉，包括疾病筛查和预先问诊，以弥补医疗资源不足的问题。他透露，目前该大模型已经在小范围内进行了初步应用。

对于该模型未来的商用前景，刘宏斌表示，技术商业转化是科研机构实现可持续发展的关键步骤。目前该大模型有两种可能性较大的转化模式，一种是将大模型嵌入医院的管理流程中，通过为医院降本增效获得回报；另一种商业模式是与医院的设备供应商合作，研究所与企业可以形成共赢共生的生态，利用人工智能大为医疗器械赋能，提升其医疗器械的附加值。

对于未来发展，刘宏斌指出，未来CARES Copilot将会推广到更多医院进行测试，希望能够总结出人工智能对效率提升的量化数据，为商业化奠基。对于技术发展层面，他希望CARES Copilot2.0/3.0版本希望能够与医疗器械融合，实现具身的智能效果，让医生与器械的互动更为高效。