--- name: peer-review description: 基于检查表的结构化手稿/基金评审。使用特定标准方法论评估、统计有效性、报告标准合规性(CONSORT/STROBE)和建设性反馈撰写正式同行评审时使用。最适合实际评审写作、手稿修改。评估claim/证据质量请使用scientific-critical-thinking;定量评分框架请使用scholar-evaluation。 allowed-tools: Read Write Edit Bash license: MIT license required_environment_variables: [{"name": "OPENROUTER_API_KEY", "prompt": "OpenRouter API key for the skill's LLM-powered steps.", "required_for": "optional features"}] metadata: {"version": "1.2", "skill-author": "K-Dense Inc.", "openclaw": {"primaryEnv": "OPENROUTER_API_KEY", "envVars": [{"name": "OPENROUTER_API_KEY", "required": false, "description": "OpenRouter API key for the skill's LLM-powered steps."}]}} --- # 科学批判性评估与同行评审 ## 概述 同行评审是评估科学手稿的系统过程。评估方法、统计、设计、可重复性、伦理和报告标准。将此技能应用于跨学科的手稿和基金评审,提供建设性、严格的评估。 ## 何时使用此技能 当以下情况时应使用此技能: - 为期刊进行科学手稿的同行评审 - 评估基金提案和研究申请 - 评估方法和实验设计的严谨性 - 审查统计分析和报告标准 - 评估可重复性和数据可用性 - 检查是否符合报告指南(CONSORT、STROBE、PRISMA) - 为科学写作提供建设性反馈 **相关资源:** **venue-templates** 技能提供 `reviewer_expectations.md`,其中详细介绍了不同发表场合(Nature/Science、Cell Press、医学期刊、机器学习会议)的评审人关注点。可用它来校准你的评审标准以匹配目标发表场合。 ## 使用科学示意图增强视觉效果 **使用此技能创建文档时,始终考虑添加科学图表和示意图以增强视觉沟通。** 如果您的文档尚未包含示意图或图表: - 使用**scientific-schematics**技能生成AI驱动的出版质量图表 - 只需用自然语言描述您所需的图表 - Nano Banana Pro将自动生成、审查和完善示意图 **对于新文档:** 应默认生成科学示意图,以直观表示文本中描述的关键概念、工作流程、架构或关系。 **如何生成示意图:** ```bash python scripts/generate_schematic.py "您的图表描述" -o figures/output.png ``` AI将自动: - 创建具有适当格式的出版质量图像 - 通过多次迭代进行审查和完善 - 确保可访问性(对色盲友好,高对比度) - 将输出保存在figures/目录中 **何时添加示意图:** - 同行评审工作流程图 - 评估标准决策树 - 审查过程流程图 - 方法评估框架 - 质量评估可视化 - 报告指南合规性图表 - 任何受益于可视化的复杂概念 有关创建示意图的详细指导,请参考scientific-schematics技能文档。 --- ## 同行评审工作流程 通过以下阶段系统地进行同行评审,根据手稿类型和学科调整深度和重点。 ### 阶段1:初步评估 从高级评估开始,确定手稿的范围、新颖性和整体质量。 **关键问题:** - 中心研究问题或假设是什么? - 主要发现和结论是什么? - 工作是否科学合理且具有重要意义? - 工作是否适合预期的发表场所? - 是否存在任何会阻碍发表的重大缺陷? **输出:** 简短摘要(2-3句话),捕捉手稿的本质和初步印象。 ### 阶段2:详细的逐节审查 对每个手稿部分进行全面评估,记录具体问题和优势。 #### 摘要和标题 - **准确性:** 摘要是否准确反映研究内容和结论? - **清晰度:** 标题是否具体、准确且信息丰富? - **完整性:** 关键发现和方法是否得到适当总结? - **可访问性:** 摘要是否对广泛的科学受众可理解? #### 引言 - **背景:** 背景信息是否充分且最新? - **合理性:** 研究问题是否明确动机和正当理由? - **新颖性:** 工作的原创性和重要性是否清晰阐述? - **文献:** 相关先前研究是否被适当引用? - **目标:** 研究目标/假设是否明确陈述? #### 方法 - **可重复性:** 另一位研究人员能否根据提供的描述复制研究? - **严谨性:** 方法是否适合解决研究问题? - **细节:** 协议、试剂、设备和参数是否充分描述? - **伦理:** 伦理批准、同意和数据处理是否正确记录? - **统计:** 统计方法是否适当、清晰描述并合理? - **验证:** 对照、重复和验证方法是否充分? **需要验证的关键要素:** - 样本量和功效计算 - 随机化和盲法程序 - 纳入/排除标准 - 数据收集协议 - 计算方法和软件版本 - 统计测试和多重比较校正 #### 结果 - **呈现:** 结果是否逻辑清晰地呈现? - **图表:** 可视化是否适当、清晰且正确标记? - **统计:** 统计结果是否正确报告(效应大小、置信区间、p值)? - **客观性:** 结果是否无过度解释地呈现? - **完整性:** 是否包含所有相关结果,包括阴性结果? - **可重复性:** 是否提供原始数据或汇总统计? **需要识别的常见问题:** - 选择性报告结果 - 不适当的统计测试 - 缺少误差条或变异性度量 - 过度拟合或循环分析 - 批次效应或混杂变量 - 缺少对照或验证实验 #### 讨论 - **解释:** 结论是否得到数据支持? - **局限性:** 研究局限性是否得到承认和讨论? - **背景:** 发现是否适当地置于现有文献中? - **推测:** 推测是否与数据支持的结论明确区分? - **重要性:** 含义和重要性是否清晰阐述? - **未来方向:** 是否讨论了下一步或未回答的问题? **红旗信号:** - 过度陈述的结论 - 忽略矛盾证据 - 从相关数据得出因果声明 - 对局限性的讨论不足 - 没有机制证据的机制声明 #### 参考文献 - **完整性:** 关键相关论文是否被引用? - **时效性:** 是否包含最近的重要研究? - **平衡性:** 相反观点是否被适当引用? - **准确性:** 引用是否准确和适当? - **自引:** 是否存在过度或不适当的自引? ### 阶段3:方法和统计严谨性 评估研究的技术质量和严谨性,特别关注常见陷阱。 **统计评估:** - 统计假设是否满足(正态性、独立性、 homoscedasticity)? - 效应大小是否与p值一起报告? - 多重测试校正是否适当应用? - 是否提供置信区间? - 样本量是否通过功效分析合理? - 参数 vs. 非参数测试是否适当选择? - 缺失数据是否正确处理? - 探索性 vs. 确认性分析是否区分? **实验设计:** - 对照是否适当且充分? - 复制是否充分(生物学和技术)? - 潜在混杂因素是否被识别和控制? - 随机化是否正确实施? - 盲法程序是否充分? - 实验设计是否最适合研究问题? **计算/生物信息学:** - 计算方法是否清晰描述和合理? - 软件版本和参数是否记录? - 代码是否为可重复性而提供? - 算法和模型是否适当验证? - 计算方法的假设是否满足? - 批次校正是否适当应用? ### 阶段4:可重复性和透明度 评估研究是否符合现代可重复性和开放科学标准。 **数据可用性:** - 原始数据是否存放在适当的存储库中? - 公共数据库的登录号是否提供? - 数据共享限制是否合理(例如,患者隐私)? - 数据格式是否标准且可访问? **代码和材料:** - 分析代码是否可用(GitHub、Zenodo等)? - 独特材料是否可用或描述充分以便重现? - 协议是否详细到足够深度? **报告标准:** - 手稿是否遵循学科特定的报告指南(CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE等)? - 请参阅`references/reporting_standards.md`获取常见指南 - 适当检查表的所有元素是否都已解决? ### 阶段5:图表和数据呈现 评估数据可视化的质量、清晰度和完整性。 **质量检查:** - 图表是否高分辨率且清晰标记? - 轴是否正确标记单位? - 误差条是否定义(SD、SEM、CI)? - 统计显著性指标是否解释? - 配色方案是否适当且可访问(对色盲友好)? - 图像是否包含比例尺? - 数据可视化是否适合数据类型? **完整性检查:** - 是否有图像操纵的迹象(重复、拼接)? - Western blot和凝胶是否适当呈现? - 代表性图像是否真正具有代表性? - 是否显示所有条件(无选择性呈现)? **清晰度:** - 图表是否能独立于其图例存在? - 每个图表的信息是否立即清晰? - 是否有冗余图表或面板? - 数据是否更好地以表格或图表形式呈现? ### 阶段6:伦理考虑 验证研究是否符合伦理标准和指南。 **人类受试者:** - IRB/伦理批准是否记录? - 知情同意是否描述? - 弱势群体是否得到适当保护? - 患者隐私是否充分保护? - 潜在利益冲突是否披露? **动物研究:** - IACUC或同等批准是否记录? - 程序是否人道且合理? - 是否考虑了3Rs(替代、减少、优化)? - 安乐死方法是否适当? **研究完整性:** - 是否存在数据捏造或伪造的担忧? - 作者身份是否适当且合理? - 竞争利益是否披露? - 资金来源是否披露? - 是否存在剽窃或重复发表的担忧? ### 阶段7:写作质量和清晰度 评估手稿的清晰度、组织和可访问性。 **结构和组织:** - 手稿是否逻辑组织? - 各部分是否连贯流动? - 思想之间的过渡是否清晰? - 叙述是否引人注目且清晰? **写作质量:** - 语言是否清晰、精确且简洁? - 行话和首字母缩略词是否最小化并定义? - 语法和拼写是否正确? - 句子是否不必要地复杂? - 被动语态是否过度使用? **可访问性:** - 非专家是否能理解主要发现? - 技术术语是否解释? - 重要性是否对广泛受众清晰? ## 结构化同行评审报告 以分层结构组织反馈,优先考虑问题并提供可行的指导。 ### 摘要声明 提供简洁的整体评估(1-2段): - 研究的简要概述 - 总体建议(接受、小修、大修、拒绝) - 关键优势(2-3个要点) - 关键弱点(2-3个要点) - 对重要性和合理性的底线评估 ### 主要评论 列出严重影响手稿有效性、可解释性或重要性的关键问题。按顺序编号以便于参考。 **主要评论通常包括:** - 基本方法缺陷 - 不适当的统计分析 - 无支持或过度陈述的结论 - 缺少关键对照或实验 - 严重的可重复性问题 - 文献覆盖的重大差距 - 伦理问题 **对于每个主要评论:** 1. 明确陈述问题 2. 解释为什么它有问题 3. 建议具体解决方案或额外实验 4. 指出解决它是否对发表至关重要 ### 次要评论 列出不太关键但会提高清晰度、完整性或呈现的问题。按顺序编号。 **次要评论通常包括:** - 不清楚的图表标签或图例 - 缺少方法细节 - 排版或语法错误 - 改进数据呈现的建议 - 次要统计报告问题 - 会加强结论的补充分析 - 澄清请求 **对于每个次要评论:** 1. 确定具体位置(部分、段落、图表) 2. 明确陈述问题 3. 建议如何解决它 ### 特定的逐行评论(可选) 对于需要详细反馈的手稿,提供特定部分或逐行评论: - 参考特定页码/行号或部分 - 注意事实错误、不清楚的陈述或缺少的引用 - 建议具体编辑以提高清晰度 ### 给作者的问题 列出需要澄清的具体问题: - 不清楚的方法细节 - 看似矛盾的结果 - 评估工作所需的缺失信息 - 对额外数据或分析的请求 ## 语气和方法 在整个审查过程中保持建设性、专业和 collegial的语气。 **最佳实践:** - **建设性:** 将批评框定为改进机会 - **具体:** 提供具体示例和可行建议 - **平衡:** 承认优势和劣势 - **尊重:** 记住作者投入了大量努力 - **客观:** 关注科学,而不是科学家 - **彻底:** 不要忽视问题,但适当优先排序 - **清晰:** 避免模糊或含糊的批评 **避免:** - 人身攻击或不屑的语言 - 讽刺或居高临下的态度 - 没有具体例子的模糊批评 - 要求超出范围的不必要实验 - 要求遵循个人偏好而非最佳实践 - 如果审查是双盲的,泄露您的身份 ## 按手稿类型的特殊考虑 ### 原始研究文章 - 强调严谨性、可重复性和新颖性 - 评估重要性和影响 - 验证结论是否以数据为驱动 - 检查方法和适当对照的完整性 ### 综述和元分析 - 评估文献覆盖的全面性 - 评估搜索策略和纳入/排除标准 - 验证系统方法和无偏性 - 检查批判性分析与 mere 总结 - 对于元分析,评估统计方法和异质性 ### 方法论文 - 强调验证和与现有方法的比较 - 评估可重复性和协议/代码的可用性 - 评估对现有方法的改进 - 检查实施的足够细节 ### 短篇报告/信件 - 适应简洁性的期望 - 确保核心发现仍然严谨且重要 - 验证格式是否适合发现 ### 预印本 - 认识到这些尚未经过正式同行评审 - 可能不如期刊提交的稿件抛光 - 仍然对科学有效性应用严格标准 - 考虑提供建设性反馈,帮助作者在期刊提交前改进 ### 演示文稿和幻灯片 **⚠️ 关键:对于演示文稿,永远不要直接阅读PDF。始终先转换为图像。** 审查科学演示文稿(PowerPoint、Beamer、幻灯片)时: #### 强制基于图像的审查工作流程 **永远不要尝试直接阅读演示文稿PDF** - 这会导致缓冲区溢出错误,并且不会显示视觉格式问题。 **必要流程:** 1. 使用Python将PDF转换为图像: ```bash python skills/scientific-slides/scripts/pdf_to_images.py presentation.pdf review/slide --dpi 150 # 创建:review/slide-001.jpg, review/slide-002.jpg 等 ``` 2. 顺序读取和检查每个幻灯片图像文件 3. 记录特定幻灯片编号的问题 4. 提供有关视觉格式和内容的反馈 **开始审查时打印:** ``` [HH:MM:SS] PEER REVIEW: Presentation detected - converting to images for review [HH:MM:SS] PDF REVIEW: NEVER reading PDF directly - using image-based inspection ``` #### 演示文稿特定评估标准 **视觉设计和可读性:** - [ ] 文本足够大(正文文本最小18pt,理想24pt+) - [ ] 文本和背景之间的高对比度(最小4.5:1,首选7:1) - [ ] 配色方案专业且对色盲友好 - [ ] 所有幻灯片一致的视觉设计 - [ ] 适当的空白(不拥挤) - [ ] 字体清晰专业 **布局和格式(检查每张幻灯片图像):** - [ ] 无文本溢出或在幻灯片边缘截断 - [ ] 无元素重叠(文本覆盖图像,重叠形状) - [ ] 标题位置一致 - [ ] 内容正确对齐 - [ ] 项目符号和文本未被切断 - [ ] 图表适合幻灯片边界 - [ ] 标题和标签可见且可读 **内容质量:** - [ ] 每张幻灯片一个主要思想(不过载) - [ ] 最小文本(每张幻灯片最多3-6个项目符号) - [ ] 项目符号简洁(每个5-7字) - [ ] 图表简化且清晰(不是从论文复制粘贴) - [ ] 数据可视化有大而可读的标签 - [ ] 引用存在且格式正确 - [ ] 结果/数据幻灯片占主导(内容的40-50%) **结构和流程:** - [ ] 清晰的叙述弧(介绍 → 方法 → 结果 → 讨论) - [ ] 幻灯片之间的逻辑进展 - [ ] 幻灯片数量适合演讲持续时间(约每分钟1张幻灯片) - [ ] 标题幻灯片包括作者、 affiliation、日期 - [ ] 介绍引用相关背景文献(3-5篇论文) - [ ] 讨论引用比较论文(3-5篇论文) - [ ] 结论幻灯片总结关键发现 - [ ] 最后有致谢/资金幻灯片 **科学内容:** - [ ] 研究问题明确陈述 - [ ] 方法充分总结(不过度详细) - [ ] 结果以清晰的可视化逻辑呈现 - [ ] 统计显著性适当指示 - [ ] 结论得到所示数据的支持 - [ ] 局限性在适当情况下得到承认 - [ ] 讨论未来方向或更广泛的影响 **需要标记的常见演示文稿问题:** **关键问题(必须修复):** - 文本溢出使内容不可读 - 字体大小太小(<18pt) - 元素重叠遮挡数据 - 对比度不足(文本难以阅读) - 图表太复杂或难以辨认 - 无引用(完全无支持的声明) - 幻灯片数量与持续时间严重不匹配 **主要问题(应该修复):** - 幻灯片设计不一致 - 文本过多(文本墙,非项目符号) - 图表简化不良(轴标签太小) - 布局拥挤,空白不足 - 缺少关键结构元素(无结论幻灯片) - 颜色选择不当(不对色盲友好) - 结果内容最少(<30%的幻灯片) **次要问题(改进建议):** - 可以使用更多视觉/图表 - 某些幻灯片略显文本密集 - 轻微对齐不一致 - 可以从更多空白中受益 - 额外引用会加强声明 - 配色方案可以更现代 #### 演示文稿的审查报告格式 **摘要声明:** - 演示文稿质量的整体印象 - 对目标受众和持续时间的适当性 - 关键优势(视觉设计、内容、清晰度) - 关键弱点(格式问题、内容差距) - 建议(准备好展示、小修、大修) **布局和格式问题(按幻灯片编号):** ``` 幻灯片3:文本溢出 - 项目符号4延伸超出右边缘 幻灯片7:元素重叠 - 图表与标题文本重叠 幻灯片12:字体大小 - 轴标签太小,距离远无法阅读 幻灯片18:对齐 - 标题未居中 ``` **内容和结构反馈:** - 背景上下文和引用的充分性 - 研究问题和目标的清晰度 - 方法总结的质量 - 结果呈现的有效性 - 结论和含义的强度 **设计和可访问性:** - 整体视觉吸引力和专业性 - 颜色对比度和可读性 - 色盲可访问性 - 幻灯片之间的一致性 **时间和范围:** - 幻灯片数量是否与预期持续时间匹配 - 适合演讲类型的详细程度 - 各部分之间的平衡 #### 基于图像的审查过程示例 ``` [14:30:00] PEER REVIEW: 开始审查演示文稿 [14:30:05] PEER REVIEW: 检测到演示文稿 - 转换为图像 [14:30:10] PDF REVIEW: 对presentation.pdf运行pdf_to_images.py [14:30:15] PDF REVIEW: 将25张幻灯片转换为review/目录中的图像 [14:30:20] PDF REVIEW: 检查幻灯片1/25 - 标题幻灯片 [14:30:25] PDF REVIEW: 检查幻灯片2/25 - 介绍 ... [14:35:40] PDF REVIEW: 检查幻灯片25/25 - 致谢 [14:35:45] PDF REVIEW: 完成基于图像的审查 [14:35:50] PEER REVIEW: 发现8个布局问题,3个内容问题 [14:35:55] PEER REVIEW: 按幻灯片编号生成结构化反馈 ``` **记住:** 对于演示文稿,通过图像进行视觉检查是强制性的。永远不要尝试将演示文稿PDF作为文本阅读 - 这会失败并错过所有视觉格式问题。 ## 资源 此技能包括支持全面同行评审的参考材料: ### references/reporting_standards.md 跨学科主要报告标准(CONSORT、PRISMA、ARRIVE、MIAME、STROBE等)的指南,用于评估方法和结果报告的完整性。 ### references/common_issues.md 同行评审中遇到的常见方法和统计问题目录,以及识别和解决这些问题的指导。 ## 最终检查表 在完成审查之前,验证: - [ ] 摘要声明清楚传达整体评估 - [ ] 主要问题已明确识别和证明 - [ ] 建议的修订具体且可行 - [ ] 次要问题已注意但正确分类 - [ ] 统计方法已评估 - [ ] 可重复性和数据可用性已评估 - [ ] 伦理考虑已验证 - [ ] 图表和表格已评估质量和完整性 - [ ] 写作质量已评估 - [ ] 语气在整个过程中建设性和专业 - [ ] 审查彻底但与手稿范围相称 - [ ] 建议与已识别的问题一致