前置知识
这份清单不是“入场考试”。它更像一张地图:你可以先用 API 做出东西,再按遇到的问题补课。真正影响学习速度的,通常不是会不会背 Transformer 公式,而是能不能把问题拆开、验证结果、读懂文档。
最小必备
| 能力 | 需要到什么程度 | 会在哪些模块用到 |
|---|---|---|
| Python | 会写脚本、调用 API、处理 JSON/CSV、管理依赖与虚拟环境 | Prompt、RAG、Agent |
| HTTP/API | 理解请求、响应、鉴权、状态码、超时与重试 | Agent 工具调用、MCP |
| Git | 能提交、分支、回滚小改动,读懂 diff | 所有实践项目 |
| 基础数据处理 | 能清洗文本、去重、切分、抽样检查 | RAG 文档切分、训练数据 |
| 实验记录 | 能记录输入、版本、指标和结论 | 评估、部署与评测 |
按方向补的知识
应用开发方向
优先补工程能力。你需要知道模型输入输出如何被系统包起来,以及失败时如何定位问题。
- API 调用:鉴权、限流、重试、结构化输出。
- 文档处理:Markdown/PDF/网页抽取、chunk 策略、元数据。
- 数据库:至少理解关系数据库、KV、向量检索的适用边界。
- 可观测性:日志、trace、错误样本、延迟和成本统计。
推荐顺序:Prompt 基础 → RAG 概述 → Agent 工具调用 → MCP 快速入门。
算法工程方向
如果你想进入微调、对齐或多模态,需要补更多机器学习基础。
- 线性代数与概率:向量、矩阵、分布、采样。
- 深度学习:反向传播、优化器、过拟合、验证集。
- NLP 基础:tokenization、embedding、语言模型目标。
- Transformer:attention、位置编码、KV cache、长上下文。
- 训练工程:数据质量、显存估算、分布式训练、推理 serving。
推荐顺序:训练数据 → SFT → LoRA → DPO → 评估。
模块前置关系
| 模块 | 建议先掌握 | 不掌握会卡在哪里 |
|---|---|---|
| Prompt | 基本 API 调用、任务描述能力 | 难以稳定复现实验结果 |
| RAG | Embedding、文本切分、检索直觉 | 只会“接向量库”,不会调召回与可信度 |
| Agent | Prompt、工具调用、错误处理 | 容易做出能演示但不可靠的自动化 |
| MCP | Agent 工具调用、协议/客户端概念 | 分不清 Host、Client、Server 的职责 |
| 训练与微调 | ML/DL、数据集、评估 | 难以判断该微调还是该改数据/提示/RAG |
| 多模态 | Transformer、视觉编码、RAG/Agent | 难以理解图文对齐和多模态检索 |
快速补课资源
| 主题 | 建议资源 | 读法 |
|---|---|---|
| Python | Python 官方教程 | 重点看数据结构、模块、异常、虚拟环境 |
| Transformer | The Illustrated Transformer 与 Attention Is All You Need | 先看图解,再回论文确认 Q/K/V 与 attention |
| API 设计 | OpenAPI Specification | 理解 schema、参数、响应和错误建模 |
| 向量检索 | FAISS 文档 | 关注 index 类型、召回/速度权衡 |
| 评估方法 | OpenAI Evals | 学习如何把主观体验变成可重复样本 |
常见误区
- “必须先懂全部深度学习才能开始”:应用开发可以先从 API 和评估做起。
- “RAG 等于向量数据库”:真正的难点通常在数据清洗、chunk、召回、重排和引用。
- “Agent 越自主越高级”:生产系统里,边界、审批和可观测性往往比自主性更重要。
- “微调能解决所有问题”:如果知识经常变、答案要引用来源,优先考虑 RAG 或工具调用。
- “指标越多越好”:先选能反映业务失败的少数指标,再扩展评估集。