【医学大模型】MEDDM LLM-Executable CGT 结构化医学知识: 将临床指导树结构化，便于LLM理解和应用

 

---

提出背景

论文：https://arxiv.org/pdf/2312.02441.pdf

现有的大型语言模型（LLM）在临床决策支持方面缺乏专业化和结构化的决策路径，无法进行深度的医学诊断推理。

因为LLM通常设计为通用的问答模型，而不是为特定的领域如医学诊断定制的，它们缺少能够理解和遵循临床实践中使用的详细决策树的能力。

医学决策通常非常复杂，涉及多个变量和条件的判断，需要丰富的医学知识和经验，而这些是传统LLM不具备的。

当前的医学LLMs无法通过多轮询问获取完整信息，从而无法提供具体的医疗建议，而是仅仅像一个医学问答系统一样询问一些常见症状并给出一般性回应。

在传统的LLMs系统中，可能只能提供一些基本的建议或通用的信息，如建议患者休息和多喝水，或提示可能需要看医生，但缺乏深入分析和个性化的诊断建议。

解法：LLM-Executable Clinical Guidance Tree (CGT)。

• 特征1：使用自然语言表示树节点的决策树结构，允许LLM执行CGT上的推理，从而生成更可信的医疗响应。
• 特征2：构建医学诊断决策制定数据集（MedDM），通过从临床实践指南中的流程图转换而来。
• 特征3：采用先进的图像处理和文本识别技术，如Faster R-CNN和CnOCR，来识别流程图中的基本结构和文本内容。
• 特征4：提出一个决策检索基础的生成框架来处理医学决策知识。

完整流程：

1. 构建决策树（CGT）：首先，通过自然语言表示法构建一个可以由LLM执行的临床指导树，使LLM能够理解并遵循医疗决策过程。
2. 数据集构建（MedDM）：然后，通过从医学指南中提取流程图并转换为CGT格式，创建一个专门的医学诊断决策数据集。
3. 图像和文本处理：使用图像识别和文本识别技术来精确地识别和解析流程图中的信息，确保数据集的准确性和可用性。
4. 决策检索与生成：最后，通过决策检索基础的生成框架，利用CGT和MedDM数据集来生成针对具体医疗询问的专业化响应。

通过结合结构化的决策树和丰富的医学知识数据集，提高LLMs在医学诊断和咨询中的性能和准确性。

假设有一位患者向医学LLM（如ChatGPT）咨询关于持续性咳嗽和呼吸困难的症状。

1. 初步询问：

   • LLM通过CGT开始询问患者具体症状的细节，例如咳嗽的性质（干咳或湿咳）、持续时间、伴随症状（如发热、胸痛）、以往医疗历史等。

2. 症状分析：

   • 根据患者的回答，LLM利用MedDM数据集中的信息，通过决策树结构定位到具体的诊断路径。
   • 例如，如果患者描述了伴随发热和持续性干咳，LLM可能会考虑流感、COVID-19或其他呼吸道感染的可能性。

3. 进一步的诊断建议：

   • 接下来，LLM会根据CGT的指导，提出进一步的检查建议，如建议患者进行肺部X光检查或血液检测，以排除或确认某些疾病的可能性。

4. 个性化建议：

   • 根据所有收集的信息和分析结果，LLM会提供个性化的建议，例如建议患者就近访问专业的呼吸系统疾病医生，同时提供一些即时缓解症状的建议，比如使用蒸汽吸入或特定的药物（前提是在专业医疗人员指导下）。

从收集症状细节开始，到利用决策树进行深入分析，再到提出进一步诊断和个性化建议的过程，展示了一个从初步询问到专业化建议的连续流程。

CGT为LLM提供了一个明确的决策路径，而MedDM数据集则为这一路径提供了必要的医学知识支持，使得LLM能够根据具体的医学信息生成更准确、个性化的回应，从而解决了传统LLMs在医学诊断场景中专业化不足的问题。

 

---

对比传统医学大模型

克服传统医学大模型在深度、互动性和个性化医疗建议提供方面的限制。

传统医学大模型：通常侧重于从大量医学文献、临床案例和指南中学习，以生成响应或提供诊断。

这些模型可能缺乏针对特定临床决策路径的明确结构化指导。

MEDDM:LLM-Executable CGT：结合了决策树的结构化表示和大型语言模型（LLM）的自然语言处理能力。

它通过具体的、预定义的临床指导路径（CGT）来引导诊断和治疗决策过程，使得LLM能够在医疗咨询中进行更加结构化和深入的推理。

 
传统医学大模型：更多地依赖单次输入输出的交互模式，缺乏深入的对话式询问过程，因而在提供个性化诊断和治疗建议方面可能不如CGT结构化方法有效。

MEDDM:LLM-Executable CGT：提供了一种更加互动的咨询体验，通过多轮对话收集症状信息，基于决策树逐步缩小诊断范围，并给出个性化建议。这种方法模拟了医生与患者之间的实际交互。

 

MEDDM:LLM-Executable CGT：通过结构化的决策树直接引入了临床实践中的决策逻辑，使得模型能够更精确地模拟医生的诊断思维过程，提供针对特定情况的深度分析和建议。

传统医学大模型：虽然能够访问广泛的医学知识，但在没有明确决策路径的指导下，其推理和建议的深度可能受限，难以达到CGT方法的个性化和精确度。

 
MEDDM:LLM-Executable CGT：其设计允许快速适应新的指南和治疗建议，通过更新CGT可以轻松集成最新的医学知识和临床实践。

传统医学大模型：虽然更新医学知识库可以提高模型的准确性和相关性，但在没有结构化决策支持的情况下，适应新的临床指南和实践可能需要更复杂的模型重新训练。

 

---

流程步骤

1. 临床指导树：利用文本基的表示方法定义指导树，以改进医学实践中的决策树。
2. 流程图识别：将流程图识别分为手写识别和机器生成识别两大类，专注于机器生成的流程图识别。
3. 临床决策支持系统：为医生提供病人咨询时的指导和建议。

• 解法1（临床指导树）：

  • 特征1：基于医学专家规则和医学文献提取的Text2DT数据集构建，采用二叉树表示，节点信息以三元组形式表示。

• 解法2（流程图识别）：

  • 特征1：区分文本识别和图形识别两个任务，分别训练模型进行检测。
  • 特征2：提出基于变换器架构的多任务模型，实现文本和图形的同时识别，实现端到端的流程图识别。

• 解法3（临床决策支持系统）：

  • 特征1：基于临床指南开发的规则引擎，用于管理慢性病。
  • 特征2：利用分组的电子病历数据提供个性化治疗，展示在实际案例中的有效性。
  • 特征3：结合临床指南和电子病历数据，构建嵌套决策树，为患者提供分组和治疗建议。

假设一个场景，其中一个医生需要对患有慢性病的病人进行诊断和治疗建议：

1. 临床指导树：医生首先利用临床指导树进行初步判断，该树基于专家规则和医学文献，为医生提供一个结构化的诊断流程。

2. 流程图识别：通过机器生成的流程图识别，医生能够快速理解复杂的诊断流程和治疗指南，尤其是在处理电子PDF格式的医学文献时。

3. 临床决策支持系统：结合患者的电子病历数据和临床指南，医生使用临床决策支持系统对病人进行个性化的治疗建议，利用规则引擎管理慢性病，并根据嵌套决策树进行更细致的分组和治疗建议。

在整个过程中，医生通过这些技术特征的相互作用，能够更系统、高效地进行诊断和制定治疗计划，这些技术特征之间形成了一个互补和增强的网络，而不是简单的顺序链条。

 

---

属于哪个部分 临床决策支持系统、流程图识别、临床指导树

临床指导树

以呼吸困难（气促）为主诉的差异诊断临床指导树。

说明了一个决策流程图，从根症状（气促）开始，分支到条件节点（如“你有发热吗？”或“你胸部感到疼痛吗？”），根据患者的回答指向动作节点，这些节点提出了可能的诊断。

流程图识别

如何收集和构建医学诊断决策制定数据集（MedDM），包括从医学书籍、治疗指南和其他医学文献中收集临床指导树的方法。

涉及三个步骤：收集医学文献并筛选出流程图、识别流程图中的基本形状、连接线和文字，并将它们重构为流程图，以及对流程图识别结果进行人工验证。

• 特征1（医学文献收集和流程图选择）：
  • 收集约5,000本发布的权威医学教科书、治疗指南和专家共识文档。
  • 使用PyMuPDF工具和PaddleOCR的布局分析算法自动捕获医学文献中的所有流程图，获取约100,000张图片，经过筛选，得到约2,200张流程图。
  • 通过一组选择标准，最终得到大约1,202张高质量流程图。

从医学书籍中筛选和识别流程图的整体框架。

它概述了收集书籍的过程，使用布局分析过滤掉非流程图内容，预检测过滤，手动筛选，以及流程图识别的步骤，如形状检测，轮廓检测，以及将文本与图形合并以重构流程图。

• 特征2（流程图识别管道）：
  • 形状检测：使用Faster R-CNN模型识别流程图中的基本形状，如处理、决策、开始/结束、扫描和箭头，并检测它们的位置、边界框和分类。
  • 连接线识别：使用OpenCV的轮廓检测和DBSCAN聚类算法识别每个连接线的起点和终点。
  • 文字识别：使用CnOCR模型识别基本形状中的文本信息。
  • 节点整合：将每个形状及其对应的文本合并为一个节点，并分析节点之间的连接，以重构完整的流程图。

 

特征1和特征2是关于流程图识别的部分。

从医学文献中收集流程图的过程以及如何将这些流程图转换为可以被LLM执行的临床指导树（CGT）。

• 特征1 涉及的是数据收集阶段，这是构建LLM可执行的CGT之前的准备工作，包括从医学文献中提取相关的流程图信息。
• 特征2 描述了流程图识别和处理阶段，这是数据处理的一部分，旨在从提取的图像中识别和构建用于LLM的结构化决策支持信息。

两者共同为构建LLM可用的临床决策支持系统提供了必要的数据和预处理步骤，但它们直接关联的是流程图的识别和数字化处理，而不是最终的临床决策支持系统或CGT本身。

临床决策支持系统会使用这些经过识别和处理的流程图数据来帮助决策。

 

1. 医学文献收集：首先从各种医学领域收集约5,000本权威文献，包括急诊医学、内科、外科等，涵盖了胃癌、肺炎、糖尿病等多种疾病的治疗指南。

2. 流程图自动捕获：通过PyMuPDF和PaddleOCR技术自动转换文献页面为图片，并从中提取出流程图。通过预训练的Faster R-CNN模型筛选出含有基本流程图形状的图片，最终得到约2,200张流程图。

3. 流程图选择：一组五名研究生根据一组标准审查每张流程图，确保它们从疾病或症状开始，以诊断的疾病或治疗计划结束，过程详尽、清晰易懂，最终选出约1,202张高质量流程图。

4. 流程图识别管道：利用Faster R-CNN模型进行形状检测，OpenCV和DBSCAN进行连接线识别，CnOCR进行文字识别，最后将检测到的形状、文字和连接线整合成节点和边，重构为完整的流程图。

这个链条清晰展示了从收集、筛选到重构流程图。

整个过程，每一步都为下一步提供了必要的基础，最终构建了一个可用于LLM执行的医学诊断决策制定数据集（MedDM）。

 

临床决策支持系统

如何通过LLM执行CGT进行临床决策推理的方法。我们将按照要求逐步拆解这一解决方案。

• 问题：提高LLM在临床诊断决策中的参与度和准确性。
• 解法：LLM-executable Clinical Guidance Tree (CGT)。

解法拆解

• 特征1：使用自然语言表示节点内容，提高信息的清晰度和LLM的直接兼容性。
• 特征2：采用增强的、半结构化的决策树表示方法，便于LLM理解和执行。
• 特征3：CGT采用多树结构，包含根节点、条件节点和动作节点。
• 特征4：存储框架将边关系直接集成到节点结构中，通过父子节点ID定义关系。
• 特征5：开发了LLM-interactive If-Elif-Else Tree (IEET)结构，以更贴近人类的认知模式呈现节点内容及其关系。
• 特征6：提出了基于LLM-executable CGT的推理引擎（CDM引擎），能够进行逐步推理并根据不同的推理结果采取不同的措施。

 

特征1 和 特征5 关注于如何使LLM能更自然和直观地理解和处理临床信息。

特征2、特征3 和 特征4 强调CGT的结构性和存储方式，以优化LLM的执行和推理路径。

特征6 描述了利用这些结构的推理引擎，它利用LLM的分析能力和提供的病人信息进行决策。

这些特征共同构建了一个能够与LLM互动的临床决策支持系统，使其能够在临床诊断场景中提供更加精确和可行的推理和诊断。

 

假设有一个患者咨询关于呼吸困难（Dyspnea）的问题：

1. 定义问题：首先通过CGT的根节点确定核心问题为“呼吸困难”。
2. 逐步推理：接着，LLM使用条件节点（如“有发热症状吗？”）进行逐步推理。
3. 动作节点决策：根据条件节点的判断，LLM最终到达一个动作节点，该节点可能表示确诊的疾病或需要进行的检查和治疗程序。
4. IEET结构转换：在遇到“不确定”的回答时，CDM引擎会将CGT的相关部分转换为LLM-interactive IEET格式，让LLM生成可能的诊断。
5. 生成进一步的问题：CDM引擎根据LLM的判断生成后续问题，与患者进行多轮对话，以获得更多的患者信息，并最终做出准确的决策。

从初始咨询到最终决策的整个流程，强调了LLM-executable CGT在提高LLM参与临床决策制定中的作用，以及如何通过结构化的决策支持和自然语言处理来实现更准确的医疗咨询和诊断。

 

---

总结

假设一位患者出现了胸痛和呼吸困难的症状，并且正在使用一个基于LLM-executable CGT的系统寻求帮助。

解决方案设计

• CGT设计: 研究团队首先从医学文献中收集相关的流程图，使用图像处理技术提取症状和决策路径。
• IEET结构: 将流程图转化为If-Elif-Else树形结构，这种结构能被LLM理解并用于模拟决策过程。

数据收集与处理

• 流程图收集: 从医学文献中提取出与胸痛和呼吸困难相关的流程图。
• 流程图识别: 使用Faster R-CNN模型识别图中的形状、连接线，并使用CnOCR模型识别形状中的文本。

系统实施

• CDM引擎: 患者通过与LLM对话，描述他们的症状。LLM使用CGT进行推理，并根据决策树中的节点提出问题，如“你有发热吗？”。
• 用户交互: 患者的回答将被用来在CGT中导航，以确定下一个条件节点或动作节点。

临床决策支持

• 患者表示没有发热，但胸痛很严重。
• LLM结合CGT，推断患者可能需要进一步的检查，如心电图或胸部X光片，并建议患者前往急诊室。

LLM-executable CGT被用来模拟一个详细的临床决策路径，CDM引擎根据患者的回答和决策树提供了相应的诊断和建议。