实践项目

学习 LLM 最容易掉进“看懂了但不会做”的坑。这里按难度列出项目，你可以把它们当成每个模块的验收题：做完一个，再回去补理论。

实践项目的目标不是堆更多 SDK，而是建立一套能复盘的工程闭环：输入样本、系统 trace、评估指标、失败分类和下一步实验。只要这五件事缺一件，项目就很难从 demo 走向可靠系统。

此外，我也把 截至 2026-08-27 收录的 30 篇 CSDN 文章做了站内全文镜像：偏 Agent、Prompt、RAG、MCP、Training、多模态的文章会进入对应知识模块，偏文件上传、连接池、SSRF、Celery、权限系统等工程主题的文章收在 CSDN 镜像 / 工程实践。

先跑通一个完整案例

可运行知识助手 提供固定文档、带标准证据的问题、检索、受控工具调用、trace 与离线评估。核心流程无需 API Key；可选 MCP 适配器使用独立依赖。先复现正常回答和无答案处理，再替换自己的检索或生成组件。

python3 examples/knowledge-assistant/main.py demo

这是用于理解系统边界的透明教学基线，真实模型能力与生产收益需要另行评测。

入门项目

结构化摘要器

• 目标：把长文本压缩成固定 JSON/Markdown 结构。
• 建议阅读：Prompt 基础、上下文工程。
• 验收标准：同一输入多次运行时，结构稳定且字段可解析。

文档问答 Demo

• 目标：上传 5-20 篇文档并回答问题。
• 建议阅读：RAG 全景、文档切分。
• 验收标准：答案带引用，缺少证据时能明确说“不知道”。

简单工具调用

• 目标：让模型调用计算器、搜索或内部 API。
• 建议阅读：工具调用。
• 验收标准：工具参数可校验，失败时能重试或给出降级回答。

进阶项目

可评估 RAG

• 目标：建立 query 集、人工答案和自动指标。
• 建议阅读：RAG 评估、评估指标。
• 验收标准：每次改 chunk、召回或重排，都能看到指标变化。

多步骤 Agent

• 目标：让 Agent 拆任务、调用工具并生成执行记录。
• 建议阅读：规划、异常处理。
• 验收标准：支持中途失败、重试、人工确认和执行回放。

MCP 小服务

• 目标：把一个本地/业务能力封装成 MCP server。
• 建议阅读：MCP 快速入门、核心概念。
• 验收标准：Host 能发现工具，并按权限边界调用。

LoRA 小实验

• 目标：用小数据集微调一个轻量模型。
• 建议阅读：训练数据、LoRA。
• 验收标准：有训练/验证拆分、基线对照和失败样本分析。

生产级项目

企业知识库 RAG

• 目标：支持权限、增量索引、引用和反馈闭环。
• 建议阅读：RAG 生产实践、Checklist。
• 验收标准：有召回评估、引用审计、成本/延迟监控和回滚策略。

客服/运营 Agent

• 目标：多工具协作，关键动作需要确认。
• 建议阅读：Agent 安全、评估与监控。
• 验收标准：有审批流、工具白名单、失败回放和人工接管路径。

模型评估平台

• 目标：管理样本、指标、回归和模型版本。
• 建议阅读：训练评估、评估指标。
• 验收标准：能比较版本，并阻止明显回归发布。

多模态知识助手

• 目标：对图表、截图或视频片段做检索和问答。
• 建议阅读：多模态 RAG 与 Agent。
• 验收标准：图文引用可追溯，错误样本可复盘。

做项目时的记录模板

每个项目至少记录这些信息：

1. 目标：要解决谁的什么问题。
2. 数据：来源、规模、清洗规则、敏感信息处理。
3. 模型：版本、参数、上下文长度、调用成本。
4. 评估：样本集、指标、人工复核规则。
5. 失败案例：至少 10 个真实失败样本和原因分类。
6. 下一步：继续优化前，先说明最可能的瓶颈。

可复用模板见 模板。

项目质量评分

维度	低分表现	高分表现
可复现	只在本机手动跑通过	有固定样本、配置和运行说明
可观察	只保存最终回答	保存检索、上下文、工具调用和错误
可评估	靠主观感觉判断好坏	有离线样本、指标和失败分类
可控风险	模型输出直接写入系统	有权限、校验、人工确认和回滚
可迭代	改一次就不知道哪里变好	每次实验都能比较基线和新版本

给每个项目一份可复现的实验说明

下面的规模用于起步练习，不是统计充分性或上线保证。先固定输入和验收，再扩大数据量。

项目	建议起步数据	必须保留的产物	至少一个失败用例
结构化摘要器	20 条含空值、冲突与长文本的材料	schema、提示版本、逐字段结果	文本中没有必填事实
文档问答	10 份文档，20 个带证据标注的问题	文档版本、片段、回答、引用	原文没有答案
简单工具调用	一个只读工具和 10 个参数案例	schema、执行日志、错误分类	合法结构但无权限资源
可评估 RAG	按术语、语义、例外条款分桶的问题	候选、重排、上下文与评分	召回正确但上下文截断
多步骤 Agent	有依赖的三个步骤	任务状态、动作 ID、恢复记录	写入成功而响应丢失
MCP 小服务	tool、resource、prompt 各一个	依赖版本、list/call/read 测试	初始化或能力不兼容
LoRA 小实验	按来源分开的训练/验证/测试样本	数据卡、基线、超参、评估	目标改善但旧任务退化
企业知识库	两类用户与可撤权文档	权限用例、索引版本、回退记录	答案缓存绕过撤权
客服 Agent	查询、草稿、提交三类动作	审批与幂等记录	重复提交同一业务动作
模型评估平台	正常、失败与评分器异常样本	数据集和评分规则版本	评分器报错被误计为及格
多模态知识助手	扫描件、表格与截图	页码/区域证据和错误分类	小字误读或跨页表头丢失

示例实验：为什么问答漏掉了适用条件

1. 选一份含表格和例外条款的制度，写出问题、标准证据和必须出现的条件。
2. 使用当前切分方式作为基线，保存实际送入模型的片段。
3. 只改变切分方式：让表头和适用条件随数据行一起进入片段，其余配置固定。
4. 对同一批问题比较证据完整性、答案正确性、引用和 token 消耗。
5. 将效果不变或变差的样本一起保留，判断问题是否其实出在召回或生成。

如何交付项目

交付目录至少包含运行说明、固定样本、配置版本、结果表和失败案例。演示视频可以辅助展示，但不能替代这些材料。建议用 实验记录模板 写下一个被数据支持的结论，再进入下一轮优化。