--- name: audit-roc-calibration-figures description: 完整解读并核验ROC曲线和校准曲线。当用户上传相关科研图表、询问模型表现、准备引用图表结论,或希望检查AI是否遗漏子图、误读数值、参考线、数据集和统计含义时使用。 --- # ROC与校准曲线完整识别及证据约束型自检 ## 目标 在保留完整图表识别结果的基础上增加专业解释与自检。不得为了简洁省略原图中可见的子图、坐标、图例、颜色、线型、数值、参考线、置信区间、数据集、结局、时间点或其他视觉元素。 默认使用“完整模式”。只有用户明确要求简短时,才可以压缩解释部分;即使简短,也不能省略关键数值、对象对应关系、重要不确定性和结论边界。 本Skill只对ROC曲线和校准曲线提供专用规则。遇到其他图表时可以完成通用信息清点,但不得假称已完成该图表类型的专业核验。 ## 证据边界 只使用用户提供的图像、图注、正文摘录、数据或说明。每项主要判断标记为: - **A 直接事实**:图中或用户材料明确显示; - **B 合理解释**:由已确认的图形关系和统计规则支持; - **C 无法确定**:需要图注、正文、原始数据、分析代码或额外检验。 不要把B写成A,也不要把C补成确定事实。图中没有显示某项信息时,只能说“当前材料未提供”,不能推断研究本身没有报告。 ## 执行流程 ### 1. 建立图像与子图清单 先为每张输入图像编号,再清点其中的所有子图。不得把结构相似的子图合并后跳过逐图记录。 对每个子图记录: - 子图标签与图表类型; - 横纵坐标名称、方向、范围和刻度; - 图例、颜色、线型、点型、阴影与对应对象; - 模型、分组、队列、结局和时间点; - 训练集、测试集、内部验证、外部验证或无法判断; - 图中明确标注的数值、置信区间和评价指标; - 参考线、误差带、置信区间、分箱点、直方图或概率分布; - 裁剪、遮挡、重叠、模糊和无法可靠辨认之处。 每项标记为“已明确提供”“当前材料未提供”或“存在但无法可靠辨认”。若图中只写 training 或 testing,只能原样记录;testing 不自动等于独立外部验证。 ### 2. 选择专用核验规则 - 发现ROC曲线时,读取并应用 [references/roc.md](references/roc.md)。 - 发现校准曲线时,读取并应用 [references/calibration.md](references/calibration.md)。 - 一张图同时包含两类曲线时,分别应用两个模块。 - 无法可靠判断类型时,不套用专用规则,说明确认类型还需要什么信息。 不要仅凭论文主题或图形外观确定类型;应结合坐标轴、图例、标注和参考线。 ### 3. 先转录,后解释 对每个关键数值记录: - 原样数值; - 所属图像和子图; - 对应模型、颜色、数据集、结局或时间点; - 图中位置或可见依据; - 读取置信度:高、中、低。 分辨率不足时使用“约为”“可能为”或“无法精确辨认”。不得把估读值伪装成精确值。置信区间必须与点估计和对象正确配对。 ### 4. 解释图形语义 只在坐标、图例、参考线和数据集性质得到确认后解释。区分: - 图形或数值上的描述性差异; - 有适当统计检验支持的差异; - 当前材料不能判断的差异。 比较多个模型或数据集时,不因任务要求强行排序。曲线接近、交叉、置信区间不清或缺少统计检验时,降低判断强度。 ### 5. 建立判断与证据对应关系 每项主要判断必须标记A、B或C,并指出具体图像依据。找不到可定位证据的结论必须删除、降级或移入“无法确定”。 ### 6. 执行结论权限检查 形成总结前,逐项排除以下错误: - 将AUC写成准确率; - 将AUC数值更高写成统计学显著更优; - 仅凭置信区间重叠断言两组无显著差异; - 将校准检验不显著写成已经证明校准良好; - 将训练集结果写成泛化能力; - 将 testing 标签自动写成独立外部验证; - 因训练集和测试集AUC接近而断言泛化能力良好、模型稳定或不存在过拟合; - 将内部验证写成外部有效性; - 将区分能力或校准表现直接写成临床应用价值; - 将相关关系写成因果关系; - 推测未提供的样本量、研究设计、统计方法或验证方式。 训练集与测试集结果接近时,最多作描述性陈述,例如:“在图示数据中,两组AUC数值接近。”是否存在性能差异、过拟合或外部泛化,需要研究设计、重采样或独立验证及相应统计分析。 ### 7. 独立复核并修正 完成初稿后重新检查: 1. 是否逐一覆盖所有图像和子图; 2. 是否遗漏坐标、图例、颜色、线型、参考线、置信区间或附属直方图; 3. 模型、数值、队列、结局和时间点是否一一对应; 4. 训练集、测试集、内部验证和外部验证是否混淆; 5. 参考线是否已识别并实际用于解释; 6. 统计术语是否正确; 7. 是否出现图中和用户材料没有的信息; 8. 是否把低置信度估读写成精确事实; 9. 是否因AUC接近或置信区间重叠而推断无过拟合、无差异或泛化良好; 10. 前后表述是否矛盾,最终结论是否超过证据边界。 发现问题时先修正最终回答,再报告简洁的自检结果。不要展示冗长的内部推理过程。 ## 强制输出格式 除非用户明确指定其他格式,按以下顺序完整输出。不得用概括性段落替代第一张表,也不得因为多个子图相似而合并省略。 ### 1. 逐图逐子图完整转录表 | 图像/子图 | 图表类型及通常用途 | 坐标轴名称、方向与范围 | 图例、颜色、线型及对象对应 | 可见数值与置信区间 | 参考线、误差带及附属元素 | 数据集/验证性质 | 无法辨认或未提供的信息 | |---|---|---|---|---|---|---|---| 表中以原图信息为主,不在这一部分加入泛化、临床价值或显著性结论。 ### 2. ROC曲线专业解读 逐个ROC子图说明区分能力、参考线、可见AUC及其对象。明确哪些是A类事实、哪些是B类解释、哪些属于C类待核验信息。 ### 3. 校准曲线专业解读 逐个校准子图说明坐标、理想线、模型曲线、局部偏离方向、不确定性区间和样本分布。只有确认坐标方向后才能判断高估或低估。 ### 4. 主要判断与证据表 | 主要判断 | 等级A/B/C | 图像或材料依据 | 解释边界 | |---|---|---|---| ### 5. 整组图的核心信息 概括当前图像能够支持的主要发现,并保留必要限定条件。 ### 6. 一句话受限定结论 只写图像能够支持的结论。不得用“泛化良好”“无过拟合”“显著更优”“可用于临床”等超出当前证据的措辞,除非用户提供了相应证据。 ### 7. 图像呈现与解读风险 说明坐标、裁剪、分辨率、图例、重叠、不确定性展示或样本分布可能造成的风险。没有明确迹象时写“未发现图像层面明确的误导迹象”,不要强行挑错。 ### 8. 当前材料不能得出的结论 列出统计显著性、过拟合、外部泛化、临床价值、因果关系及其他不能仅凭图像确认的内容。 ### 9. 引用前需要核对的信息 列出需要回到图注、正文、原始数据或代码核对的研究设计、样本量、验证方式、统计比较和精确数值。 ### 10. 自检记录 | 自检项目 | 结果 | 修正或限制 | |---|---|---| | 图像与子图完整性 | 通过/未通过/无法判断 | | | 坐标、图例和视觉编码 | 通过/未通过/无法判断 | | | 数值与对象对应 | 通过/未通过/无法判断 | | | 参考线解释 | 通过/未通过/不适用 | | | 数据集与验证性质 | 通过/未通过/无法判断 | | | 统计概念 | 通过/未通过 | | | 结论边界 | 通过/未通过 | | | 前后一致性 | 通过/未通过 | | ## 可靠性原则 - 完整识别与证据约束同等重要;不能用“更谨慎”作为省略图中信息的理由。 - 本Skill降低误读风险,不保证答案必然正确。 - 自检不是独立事实验证;关键结论仍应回到论文、数据或代码核对。 - 用户提供图注、正文或原始结果时,应使用它们交叉核验并注明信息来源。 - 对研究者自己生成的图,优先使用生成图表的原始统计输出核对精确数值。 - 不把未经测试的其他图表类型描述为本Skill已经验证的能力。