DeepMind推出AMIE视频版：临床问诊得分83%超越人类医生
Towards Expert-level Medical AI for Real-time Video Consultations
在医疗人工智能的演进历程中，基于文本的大语言模型已经展示了令人瞩目的疾病诊断和医学推理能力。然而，真实的医患问诊从来不是一个纯粹的文本交换过程。在临床实践中，医生通过观察患者的面部表情、倾听咳嗽的音色、评估患者的体态和动作（如呼吸困难或静息震颤），不断捕获关键的非语言线索。这些视听维度的信息不仅构成了临床推理的基石，更是建立医患信任、共情和治疗依从性的核心要素。
ArXiv URL：https://arxiv.org/abs/2608.09861v1
现有的纯文本医疗AI系统虽然在测试集上表现优异，但在实际应用中却面临着不可忽视的感官维度缺失问题。当患者被迫将复杂的身体症状转化为文字描述时，不仅会丢失大量潜意识的诊断信息，还会引入主观描述的偏差。同时，纯文本交互对患者的数字素养和健康认知提出了较高要求，无形中建立了一道医疗公平性的门槛。尽管早期研究尝试将医疗AI扩展到音视频交互领域，但受限于延迟、多模态处理能力和系统鲁棒性，这些系统始终未能达到专业临床医生的水平。
为了突破这一瓶颈，Google DeepMind团队正式推出了AMIE（Articulate Medical Intelligence Explorer）的视频版本——AMIE (Video)。这是一款基于Gemini大模型底座构建的多代理异步协作系统，首次在实时视频临床问诊中证明了AI可以达到甚至超越人类专家的水平。在一项包含100个临床场景的大规模随机客观结构化临床考试（OSCE）中，独立临床评估专家为AMIE给出的整体表现评分为83%，大幅领先于参与测试的执业初级保健医生（68%）。这一研究不仅标志着医疗AI正式跨越了从文本走向实时多感官交互的鸿沟，也为未来的远程医疗范式提供了全新的技术蓝本。
要让一个AI系统在实时视频中扮演医生，工程团队面临着一个根本性的技术矛盾：低延迟的流畅对话与深度的临床推理及高强度的视频流解析之间存在算力与时间的直接冲突。如果系统在每次回复前都要对过去几分钟的视频进行详细的视觉分析和医学逻辑推演，患者就会面临难以忍受的对话延迟；而如果为了降低延迟只做表面回应，AI就会丢失关键的医学判断甚至遗漏患者展示的体征。
为了解决这一矛盾，DeepMind为AMIE (Video) 设计了一个由三个专用代理（Agent）组成的异步多代理架构。这三个代理在底层分别基于未公开的Gemini 3 Flash和Gemini 3.1 Pro模型，通过精密的异步协同机制，实现了对话、推理与感知的完美解耦：
-
Talker Agent（对话代理）： 这是直接面向患者的“前台”系统，其最高优先级是保证对话的低延迟与流畅性。为了实现极速响应，Talker代理在生成即时回复时，仅处理最近5秒的视频帧。它利用了类似Project Astra的基础架构，能够敏锐地感知用户的语音输入，在检测到用户停顿后迅速接话，并且在用户打断时立即停止输出，从而还原了最自然的人类对话轮换节奏。Talker本身也是整个系统的协调者，它会在后台不断拉取其他两个代理的最新状态，将其与对话历史融合，生成最终的语音回复。
-
Planner Agent（规划代理）： 这是隐居幕后的“临床大脑”，负责管理系统的长期医学目标。它的设计灵感来源于早期AMIE版本中的管理推理代理。Planner维护着一个持久的临床记忆库，包括患者症状总结、鉴别诊断列表、管理计划以及当前活跃的“对话里程碑”。这些里程碑可能是需要收集的信息（如“询问胸痛的放射部位”），也可能是要求患者执行的动作（如“指导患者展示肩部活动度”）。由于深度医学推理耗时较长，Planner的运行与Talker完全异步。每当收到新的用户输入，Planner就会触发状态更新，但为了平衡模型负载，深度的推理调用被限制为每10秒最多一次。这种设计确保了系统在保持对话不中断的同时，能够持续修正其医学诊断轨迹。
-
Perception Agent（感知代理）： 它是系统的“眼睛和耳朵”，专门调用推理能力更强的Gemini 3.1 Pro模型，负责处理连续的音视频流。在快节奏的问诊中，Talker为了降低延迟极易忽略那些稍纵即逝的非语言线索。Perception代理通过在更长的时间窗口内进行视觉和听觉推理，弥补了这一缺陷。它会在后台默默建立一个随时间累积的“临床线索观测日志”。例如，如果患者在问诊的前两分钟表现出轻微的干咳，Perception代理会将其永久记录在案，确保Planner在后续的诊断推理中能够调用这一关键体征。
通过这种巧妙的异步设计，AMIE系统能够在听觉上保持机敏，在视觉上保持专注，在医学逻辑上保持严谨。当用户在讲述病情时，系统其实正在并行处理多项任务：Talker在准备下一句安抚的话语，Perception在分析患者皱眉的微表情，而Planner正在将刚刚收集到的症状与知识库中的数百种疾病进行比对，并为Talker生成下一步的提问提纲。
为了确保AMIE (Video) 能够真正在复杂的临床环境中发挥作用，DeepMind团队并没有直接将其投入测试，而是首先从医学文献和体格检查协议中提取了一套详尽的远程医疗音视频临床能力分类法。他们将临床体征细分为可以在远程视频中合理观察到的类别，并进一步区分为被动观察项和需要医生引导患者执行的检查动作。在此基础上，研究团队构建了一个多层级的自动化评估框架。
在单轮评估阶段，团队为系统设置了大量的“单元测试”。例如，向系统输入一段患者举起右手的视频并提问“我向你展示的是什么？”，系统必须准确识别出解剖部位和偏侧性（右侧）。通过这种方式，研究人员隔离并验证了AI在特定视听维度的感知能力。而在多轮评估阶段，团队则利用带有“舞台指示”的文本模拟器，对系统的端到端对话能力进行了大规模压力测试，确保其能在漫长的问诊中准确切入红旗症状（Red-flag symptoms）识别和分诊决策。
在经历了严密的内部测试后，研究团队开展了一项在医疗AI领域极具标杆意义的随机多臂客观结构化临床考试（OSCE）研究。OSCE是医学界评估医生临床能力的黄金标准。在这项研究中，团队招募了15位经过专业训练的标准化病人演员，他们能够根据生物学性别精准模拟特定的情感状态、生理体征以及指导下的体格检查动作。研究共设计了100个涵盖极其广泛的临床场景。
作为对照组，研究招募了10名拥有美国执业资格、平均具备4.5年住院医师后临床经验的初级保健医生（PCP）。他们与AMIE (Video) 以及AMIE的纯文本版本（AMIE Text）一起，平行地为这100个场景中的患者进行视频或文本问诊。为了保证评估的客观性与专业性，DeepMind另外聘请了一个由20名执业初级保健医生组成的独立临床评审团。评审团在盲测条件下，对问诊的录像、文字记录以及问诊后生成的病历和诊断计划进行背靠背打分。
这场人机临床较量的结果不仅令人瞩目，更在多个维度上颠覆了传统对医疗AI的认知。
首先是最硬核的临床专业指标。在由20名独立医生组成的评审团看来，AMIE (Video) 的临床表现在各项指标上都达到了专家级水平。在涵盖病史采集、鉴别诊断、治疗管理以及体格观察与检查的6个特定案例评分域中，AMIE (Video) 的得分不仅全面持平，甚至在统计学意义上显著优于真实的人类执业医生。具体而言，AMIE在复杂临床量表上获得了83%的整体得分，而参与测试的人类医生平均得分为68%（调整后P值达到极其显著的1.32 × 10^-9）。特别值得一提的是，在问诊后的诊断推理环节，AMIE利用了推理时计算扩展（Inference-time compute scaling）和多草稿合成技术，展现出了极其严密的鉴别诊断能力。
其次是来自标准化病人的主观体验反馈。这是一个极具张力的结论：在这场对比中，机器和人类各自展现出了不可替代的优势。患者演员们在问卷中明确表示，他们更喜欢AMIE评估病情和解释病情的方式。这主要是因为AMIE在知识的广度、解释的详尽程度以及对话逻辑的清晰度上表现出了极高的稳定性，它总是能用有条不紊的方式拆解复杂的医学术语，让患者感到自己的症状得到了全面而科学的审视。
然而，在“建立融洽关系（Building rapport）”和“建立伙伴关系（Building partnership）”这两个维度上，人类医生依然赢得了患者的青睐。这一结果深刻揭示了当前AI系统的局限所在——尽管AMIE可以通过语音和视频与患者交互，但在细微的情感共鸣、微妙的眼神交流节奏以及人性化的安抚方面，人类医生展现出的天然温度依然是硅基生命难以模仿的。机器可以完美地解释为什么胸痛需要做心电图，但人类医生一句带着关切眼神的叹息，更能让患者在心理层面上感受到被治愈的希望。
除了与人类医生的对比，这项研究还进行了一项极其重要的模态消融实验：对比AMIE的视频问诊与纯文本问诊。实验数据压倒性地证明了视频交互的优越性。患者演员在沟通有效性、交互便利性以及“感到被理解”的倾听体验上，都显著偏好视频界面而不是文本聊天。这一消融实验的结果彻底证伪了“文本大模型足以解决医疗咨询问题”的行业错觉。它证明了在医疗场景中，界面形态不仅是信息的载体，更是医疗服务质量本身的一部分。视频交互让患者免去了将生理痛苦转化为精确文本的认知负担，这种便利性对于提升低收入群体或老年群体的医疗可及性具有深远的社会价值。
尽管AMIE (Video) 在这项涵盖100个场景的OSCE测试中大放异彩，但这篇论文也秉持了严谨的科学态度，明确指出了系统目前存在的视觉感知短板。
第一，AI在精细解剖学精度上依然存在局限。虽然它能识别大范围的动作和明显的体征，但当要求其判断极小区域的皮损细节或微小的关节形变时，现阶段的视觉模型仍不够敏锐。第二，对于高频动作的捕捉能力不足，例如在神经系统检查中，系统很难精准分辨不同类型、不同频率的震颤（如静息震颤与动作性震颤的区别）。第三，则是前文提到的微妙情感细微差别的缺失，这在一定程度上阻碍了AI与患者建立更深层次的医患互信。
这些局限性意味着，AMIE (Video) 距离真正的现实世界临床部署仍有较长的路要走。在真实的临床环境中，环境光线的变化、网络延迟的波动、患者方言口音的干扰，以及非标准化病人更为复杂甚至混乱的叙事方式，都将给系统带来指数级上升的挑战。
但毫无疑问，DeepMind的这项工作在医疗人工智能领域树立了一个重要的里程碑。它首次证明了，通过精巧的多代理架构设计和底座模型的多模态能力跃升，AI系统完全有能力跨越临床实践的感官复杂性，在实时视频流中与人类进行高质量的医学博弈与交互。这不仅是将大模型从“打字机”解放为“全科医生”的关键一步，更让我们清晰地看到了未来远程医疗的终极形态：在资源匮乏的偏远地区，或者在深夜急诊的居家环境中，一个能够看懂你的表情、听懂你的咳嗽、并在医学逻辑上比肩顶尖专家的AI医生，正变得触手可及。