5月20日，智慧眼发布了全球首款支持医疗领域文本、图像、视频和音频输入的多模态大模型“砭石”。
智慧眼创始人、董事长邱建华介绍：
砭石，是古代的医疗工具，「医源于砭」这句话出自《山海经》，也是智慧眼「砭石」大模型的取名由来，承载了今天我们对大模型快速迭代、走向医疗人工智能的期待。
在发布会现场，邱建华实测了砭石的智能问诊、辅助阅片、面诊舌诊、生理指标预测、睡眠监测五大技能，展现了砭石在中西医相结合，多模态相融合的全新交互体验。
智慧眼成立于2009年，自成立以来，一直从事计算机视觉、自然语言处理、智能大模型、隐私计算等核心技术研究，积极推动人工智能技术和行业应用落地，致力于AI计算驱动生命健康。
三大创新，创造核心价值
相较于通用大模型，垂直领域的专业化大模型需要更多的行业沉淀、更强的专业性、更丰富的知识积累。如何将大模型技术与具体的应用场景相结合，对行业和应用场景的理解，以及行业经验、行业数据治理和结构化处理能力提出了较高的要求。
据悉，“砭石”医疗大模型采用知识图谱与大模型相结合的技术路线，克服了仅仅通过大模型技术在医疗领域的信息准确度低的核心痛点，突破了隐私计算条件下的大模型联邦训练、基于知识图谱的大模型知识增强等核心技术，同时能够实现对问诊的文本数据、医疗影像数据、用户的面部体征视频数据和用户睡眠音频数据的多模态处理，实现医疗辅助诊断、智能认知、健康管理等多样化的任务，革新医疗健康行业传统单一任务的辅助诊断模式，形成核心价值。
智慧眼介绍，在构建砭石大模型的过程，实现了以下三方面创新：
一、采用知识图谱与大模型相结合的技术路线，提升医疗诊断准确性。知识工程和大模型是当前实现认知智能的两个主要的途径，两者各有优劣，医学领域非常尊重循证，在医疗决策中将临床证据、个人经验与患者的实际状况和意愿三者相结合。智慧眼通过在训练过程中加入知识图谱对训练过程进行知识增强，结合RLHF技术，在500亿参数条件下比单纯使用大模型技术，医学问题回答准确度提升近10%。
二、隐私计算条件下的大模型联邦训练，充分释放高质量数据要素价值。高价值医疗数据都是在医院等高价值行业用户手中，如何实现这些高价值用户的敏感隐私数据的脱敏，真正做到数据的“可用不可见”、“数据不出域”安全应用是极具挑战性的问题。通过解决保护隐私的分布式知识迁移和联邦图谱推理的问题，可以实现分布式数据孤岛的知识汇聚，以及基于分布式数据的联邦大模型训练，支撑了用户数据价值的释放。
三、医疗领域多模态视觉处理技术，实现多样化任务。砭石医疗大模型是医疗领域多模态生成式预训练大模型，能够支持医疗领域多模态的输入，包括医疗领域文本、图像、视频和音频形式的输入，具体形式覆盖智能问诊，辅助阅片，面诊舌诊，生理指标预测，睡眠监测几个方面，它的输出是结构化的文本，包括健康状态的简要描述、诊断描述和治疗建议等，可以方便医疗机构更好地理解分析，提高了医疗信息处理的效率和准确性。
Model as a Service，赋能每一个场景
关于”砭石”的定位，智慧眼称砭石大模型将是医疗健康垂直领域场景落地的重要底座。在未来应用应用方面，智慧眼研究院负责人表示，砭石将坚持模型即服务（Model as a Service）的理念，以大模型为基础，在场景化应用中快速迭代，将医学人工智能“润物细无声”般衔接医疗健康的每一个场景，包含决策支持、医保控费、医药服务、健康管理、保险支付等患者服务全过程。
赋能基层医疗，AI为基层医务人员提供病历质控、辅助诊断、合理用药、医学知识检索等技术支持，缓解医疗压力，提升基层医生的医技能力，推动优质医疗资源下沉延伸。
赋能医保监管，砭石大模型搭建风险控制模型，能够以更为常态化、高效精准的方式挖掘数据之下的欺诈骗保行为，通过对购药、门诊、健康理疗等行为进行自动化的分析、监管和预警，有效打击欺诈骗保问题，提高医保基金使用效率。
赋能慢病管理，基于砭石大模型开发的云慢病患者服务管理系统，联通诊前、诊中、诊后实现慢病管理的闭环。
赋能医药链条，将“人工智能+互联网”技术赋能给实体医药机构，打通医疗服务的需求方、服务方、支付方和药品提供方，提供诊疗一站式服务，并且基于循证医学，将医生的经验转化为AIaaS（AI 即服务），贯穿预防、诊断、治疗和康复的核心环节，赋能大健康产业高质量发展。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
