恶性肿瘤作为一种复杂且凶险的疾病，近年来呈现出年轻化、发病率上升的态势，是威胁人类健康的“头号杀手”。随着国家医疗水平的提升和居民健康意识的增强，癌症的筛查和诊断逐渐受到重视，随之而来的是病理科等科室医生日益饱和的工作量和骤升的诊断压力。
面向临床病理诊断的真需求，从2020年起，浙江大学计算机学院宋明黎教授团队联合浙江大学附属第一医院章京教授团队，依托丰富的数据和算力资源，组建起一支计算机+医学的学科交叉团队，致力于用AI技术赋能临床精准诊断，提高医生工作效率和医疗质量。
近日，团队发布视觉与语言模型融合的AI病理助手——OmniPT。该病理助手已在浙大一院病理科多个高发病率癌症开展临床验证，1-3秒内就能锁定病理图中癌症病灶。
今天，让我们一起走进他们的故事，了解他们如何为癌症诊断装上智能“大脑”。
让机器“听懂”医生的话
对于计算机背景的宋明黎团队来说，学习基础的医学知识、理解病理学的复杂性和多样性是开展交叉研究的第一大挑战。
“与普通X光或CT的读片相比，病理诊断的难度在于依据复杂多样的关键组织结构进行精准定性及定量分析。”浙大一院病理科副主任医师张秀明介绍，癌症组织的单个切片虽然只有指甲盖大小，但多切片的扫描图像有着惊人的尺寸——数10亿像素，是手机照片的数千倍。
病理医生观察细胞形态诊断肿瘤疾病
上亿个细胞图像背后隐藏着无数的生命信息和医学奥秘。医生在分析病理切片时，需要耗费大量时间观察微观细节，在长期读片的工作中，容易出现视觉疲劳。而且早期癌症的病变细胞数量少，漏诊也是医生们最为担心的问题之一。
浙一病理数字切片扫描系统
AI助手的加入，无疑为病理科医生和病人们来了新的希望。宋明黎团队研读大量的医学文献，与章京团队长期深入交流，逐渐构建起病理学的知识框架。
然而，如何将人类的知识理念转化为机器能够“听”得懂的语言？
团队成员们归纳癌症病理结构的形态特征，在图像上进行精细的标注和分类，反复打磨细胞检测、组织分割等算法工具，磨合人-机的沟通方式，4年间，从无到有建立起多个癌症病种的诊断分析专用模型，OmniPT就此诞生。
为了提高推理效率，OmniPT在处理超大尺寸病理图像时采用了一种跨层级的快速锁定技术：先抓取大范围的可疑区域，再对这些可疑部分逐级放大，分析细节。
软件学院副教授冯尊磊说，这种“抓重点”的读图模式模仿了病理科医生在临床诊断时的思路，实现病理智能诊断分析效率的大幅提升。人工耗时至少10多分钟分析的图像，OmniPT只需要1-3秒就能快速锁定病灶区域。
OmniPT框架与覆盖任务
经过无数次的尝试和优化，OmniPT突破了超大尺寸病理图秒级推理、精准分析的难题，在胃癌、结直肠癌和宫颈癌等十余个高发病率癌种上取得了95%以上诊断准确性，为病理科医生带来了强大的助力，也为患者争取到了更快、更准的诊断结果。
人机交互，助力科研
“OmniPT的设计也充分考虑了医生的使用习惯和需求，融入了文本和视觉的强对齐功能。”冯尊磊说，这使它更像是一位懂得“察言观色”的智能伙伴。
医生可以通过输入文本或框选图像的方式，快速标注出需要重点关注的区域，跨层级的高效特征锁定技术为医生和OmniPT之间搭建了一座沟通的桥梁，实现了真正的人机“交流”。医生可以随心所欲地引导OmniPT，让它聚焦于自己关心的每一个细节，使读片诊断变得更加智能、更具针对性。
病理AI助手辅助病理医生诊断分析任务演示
实现了0到1，如何推动1到100？
随着临床案例的积累和算法模型的不断成熟，OmniPT学习了近10种高发癌症的上万病例，逐渐成长为具有预后分析能力的“资深顾问”。它根据患者的具体情况和病理特征，为其提供个性化治疗方案，并预测相应的治疗效果。
有这样一位“资深顾问”坐镇，医生们可以结合它的建议，给出更加全面、更有可信度的治疗方案。
从临床到科研，OmniPT在癌症的发生和发展机制中，越发聚焦到微观层面的本质问题。
章京教授病理年会分享病理大模型研发与应用进展
肿瘤标志物作为癌症诊断和治疗监测的重要生物指标，其表达水平与肿瘤的生物学行为及临床预后具有相关性，可为个体化治疗方案的选择提供重要参考依据。OmniPT通过其高性能计算分析能力，对细胞形态学特征和组织结构特征进行定量解析，从大规模高分辨率病理图中成功识别出多个具有潜在临床应用价值的新型肿瘤标志物。“这些标志物在肿瘤的早期诊断、分型及预后评估中具有重要价值。”张秀明说。
此外，OmniPT还揭示了这些标志物与肿瘤发生、发展之间的潜在关联，为肿瘤的诊断、治疗和药物设计提供了新的思路和方法，为未来的科研工作奠定了坚实的基础。
“我们的这项工作将助力推动临床诊疗指南的更新，为指南的制定提供更加科学、系统的依据。”冯尊磊说，这有助于提高诊疗的规范性和有效性，为患者带来更好的治疗效果。
AI医生是否会取代人类医生？
面对这一备受关注的问题，团队成员们给出了答案：不会。OmniPT的定位非常清晰，在医疗诊断中它只是医生的助手。“医学是一门复杂的学科，医生是诊断的责任主体，数据和算法固然重要，但最终还是需要回归到医生的经验和判断。”章京说。
病理医生使用病理AI助手分析胃癌数字病理切片
对于未来，宋明黎团队有着更加长远的规划和愿景。依托于工信部和国家药监局联合审批的数字病理人工智能医疗器械临床试验中心，他们希望通过OmniPT的临床应用和底层数字病理扫描设备的结合，深度推动病理科的高效、精准诊断分析。同时，他们还计划将OmniPT拓展到更多癌种及非肿瘤疾病中，构建一个智能化的病理生态。
“我们的目标是构建一个智能化的病理生态。”宋明黎说，“在这个生态中，AI技术将与医学知识深度融合，为医生提供更加便捷、高效的辅助工具。同时，我们也希望这个生态能够推动医学的进步和发展，为患者带来更好的治疗效果和生活质量。”
从组建团队到研发OmniPT，从拓展应用领域到构建智能化病理生态，宋明黎团队用他们的智慧和汗水，书写了一段传奇。他们不仅为癌症诊断装上了智能“大脑”，更为医学的进步和发展注入了新的活力。
