Checklist

清单的价值不在于让方案变复杂，而是提前暴露“上线后一定会问”的问题：数据从哪来、失败怎么算、谁能审批、怎么回滚。

Prompt / 上下文检查

• [ ] 任务目标、输入、输出格式是否写清？
• [ ] 是否区分系统指令、开发者约束、用户内容和引用资料？
• [ ] 是否有 5-20 个固定样本做回归？
• [ ] 是否处理空输入、冲突信息、越权请求和不确定答案？
• [ ] 如果要求 JSON/schema，是否用结构化输出或解析校验？

相关阅读：Prompt 基础、上下文工程。

RAG 上线检查

• [ ] 文档来源、更新时间、权限和删除策略是否明确？
• [ ] chunk 大小、重叠、元数据是否经过样本对比？
• [ ] 是否有关键词/向量/混合检索与 rerank 的取舍记录？
• [ ] 答案是否强制引用来源，并能在缺证据时拒答？
• [ ] 是否有召回、引用准确性、幻觉样本和人工复核流程？

相关阅读：文档切分、RAG 评估、RAG 生产实践。

Agent 生产检查

• [ ] 每个工具是否有 schema、权限、超时、重试和幂等策略？
• [ ] 高风险动作是否需要人工确认？
• [ ] 是否记录计划、工具调用、结果、失败和最终回答？
• [ ] 是否限制循环次数、预算、上下文膨胀和工具连锁调用？
• [ ] 是否有回放机制和安全测试样本？

相关阅读：工具调用、异常处理、Agent 安全。

微调 / 对齐检查

• [ ] 是否证明 Prompt/RAG/规则无法解决问题，才选择训练？
• [ ] 数据是否去重、脱敏、分训练/验证/测试集？
• [ ] 是否记录模型版本、数据版本、超参和训练日志？
• [ ] 是否比较 SFT、LoRA、DPO/RLHF 与基线模型？
• [ ] 是否有安全、偏见、幻觉和退化任务评估？

相关阅读：训练数据、SFT、DPO、训练评估。

MCP 集成检查

• [ ] 是否说清 Host、Client、Server 的边界？
• [ ] Server 暴露的工具是否最小权限？
• [ ] 工具描述是否包含参数、返回、错误和安全约束？
• [ ] 是否有本地/远程连接的鉴权与审计策略？
• [ ] 是否能在不同 Host 中复用，而不是绑定单一客户端？

相关阅读：MCP 快速入门、MCP 核心概念。

发布前检查

• [ ] 是否有“不能回答/不能执行”的策略？
• [ ] 是否记录成本、延迟、错误率和用户反馈？
• [ ] 是否有灰度发布、回滚和人工接管路径？
• [ ] 是否有数据保留、隐私和合规说明？
• [ ] 是否把上线后的失败样本回流到评估集？

可配合 模板 建立发布记录。

把勾选项变成可复查证据

每个发布条目配上负责人、证据位置和未通过时的处置。未测过不能勾选“通过”；不适用则写明原因。

检查项	可接受的证据示例	未通过时的动作
撤权及时生效	相同文档撤权前后的检索与缓存测试	停用相关缓存或阻止发布
写工具不会重复执行	注入响应丢失后，业务记录仍只有一份	补幂等和结果查询
模型升级可回滚	新旧模型/提示/索引版本与回退演练	保存旧版本并验证切换
指标可比较	固定样本、评分说明与逐条结果	补齐基线后再判断收益
日志足够且不过度留存	能定位失败，敏感字段已脱敏或受控	修复日志字段与访问权限

多模态检查

• [ ] 文档 ID、页码、图像区域或视频时间戳能否追溯到回答？
• [ ] 小字、旋转、低清、表格与跨页内容是否分别测试？
• [ ] OCR、图像压缩和采样策略是否记录版本？
• [ ] 文本与图像证据冲突时是否有明确处理和复核路径？
• [ ] 是否在真实分辨率、帧数和并发下测过成本与延迟？

相关阅读：多模态数据、部署与评测。