# 321

**Repository Path**: lemonlen/321

## Basic Information

- **Project Name**: 321
- **Description**: No description available
- **Primary Language**: Unknown
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-06-30
- **Last Updated**: 2026-07-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# "三——二——一"计划

> 计划时间：2026.7.1 - 2026.7.31（31 天）
> 筹划时间：2026.6.30
> 计划目的：尽可能系统化掌握大模型智能体方向的知识，覆盖三大主题——
> ① 部署服务（vllm 部署、transformer 部署原理与应用、SDK 调用）
> ② 智能体构建
> ③ 大模型原理（微调、强化学习等算法实现）

可参考链接：
https://juejin.cn/user/3140624091453053/columns

---

## 一、每日节奏（3 - 2 - 1）

每天 **约 5–6 小时**（熟悉的主题可提前收工，不必硬凑满），拆成三段。基础定位：**较熟**（做过微调/部署，目标是把零散知识系统化、补全盲区），所以各天负荷天然**不均**——会的快过、生的多花时间，别为了"填满时间"而拖。算力：**单卡本地 GPU**，训练/部署环节尽量动手跑；**凡涉及多卡的实验一律降级为"读源码 + 原理推导 + 单卡模拟"**（见 7.7、7.8）。

| 时段 | 时长 | 含义 | 做什么 |
|---|---|---|---|
| **三** | 3h | **主线**：大模型原理与算法 | 当天最硬核、最需要连续专注的内容（Transformer 内部 → 微调 → 强化学习）。先推导原理，再手写关键模块。|
| **二** | 2h | **平行专题**：工程与应用 | 一条和主线**区分开的独立线**——部署（vLLM / SDK）+ 智能体（框架 / RAG / 多体）。每天 2h 增量推进，偏动手。|
| **一** | 1h | **今日总结** | ① 整理当天笔记成"概念卡片"；② 主动做概念辨析（区分相似方法的异同）；③ 预习明天；④ 周日改为本周整合复盘。|

> **两条线为什么这么分**：主线 A 是"懂原理、能手写"，平行线 B 是"能部署、能用起来"。A 训出来的东西，B 负责让它跑在服务里、被 Agent 调用——**第五阶段（7.27-7.31）刻意让两条线汇合成一个综合项目**。

---

## 二、五个阶段总览

| 阶段 | 日期 | 天数 | 主线 A（3h）原理与算法 | 平行线 B（2h）部署与智能体（工程深水区） |
|---|---|---|---|---|
| 一·夯基 | 7.1 - 7.5 | 5 | Transformer 手撕 + 推理基础 | vLLM 内部机制（PagedAttention/调度器/连续批/KV cache）|
| 二·预训练与 SFT | 7.6 - 7.12 | 7 | 预训练 / 分布式 → 全量 SFT | 推理优化 + 生产级部署（剖析/量化/多卡/监控/引擎横评）|
| 三·高效微调 | 7.13 - 7.19 | 7 | LoRA / QLoRA / PEFT 家族 + 量化 | LangGraph 工程深水区（状态机/错误恢复/评估/记忆/多代理/可观测）|
| 四·对齐与 RL | 7.20 - 7.26 | 7 | RLHF / PPO / DPO / GRPO | 高级 RAG 工程（chunking/检索优化/RAGAS/GraphRAG/Agentic RAG）|
| 五·推理增强与综合 | 7.27 - 7.31 | 5 | test-time compute / 评测 / 蒸馏合并 | 多智能体协议 + MCP 工程 + **综合项目** |

---

## 三、逐日拆解

> 每天结构固定为：**主线 A（3h） + 平行线 B（2h） + 总结（1h）**。下表只列 A、B 当天重点；总结 1h 按上面的固定仪式执行。

### 阶段一·夯基（7.1 - 7.5）
主线目标：把 Transformer 每个组件吃透、能手写，并搞懂"**怎么生成(解码采样)**"与"**上下文窗口/KV cache**"两块核心；平行线**直接攻 vLLM 内部机制**（跳过 HF 入门，已有基础）。

| 日期 | 主线 A（3h） | 📝 主线作业（今日产出） | 平行线 B（2h） | 🔧 平行作业（今日产出） |
|---|---|---|---|---|
| 7.1 三 | Transformer 总览（自回归/Decoder-only）；Self-Attention 数学推导（QKV、缩放点积）；**因果掩码 causal mask 与 padding mask**（自回归为何必须遮住未来 token）；softmax 数值稳定 | **手写 self-attention**：纯 numpy/torch 实现 `attention(Q,K,V)`，输入序列输出加权结果；**加上因果掩码**验证第 i 个 token 看不到它之后的 token；画一张 QKV 数据流图 | vLLM 架构总览 + PagedAttention 原理（KV cache 分页、block table、物理/逻辑块） | **读 vLLM 源码画 PagedAttention 数据结构图**，手算一个 KV cache 分页的例子（多少 block、block table 怎么映射）|
| 7.2 四 | 多头注意力 MHA / MQA / GQA；**KV Cache 原理（自回归推理为何缓存 K/V、显存随上下文线性增长——这正是 MQA/GQA 要省的东西）**；**手写 attention 前向** | 把手写的 attention 扩展成 **MHA→MQA→GQA** 三版，打印三者的参数量与输出 shape 对比 | 连续批处理（continuous batching）机制 + vLLM scheduler 调度循环 | **剖析 vLLM scheduler 源码**，画调度循环图；写一个静态批 vs 连续批的吞吐估算模型并对比 |
| 7.3 五 | 位置编码：绝对/相对、RoPE、ALiBi；长度外推；**上下文窗口 (context window)：注意力 O(n²) 复杂度、长上下文为何又贵又慢、外推 vs 重训的取舍** | **实现 RoPE** 并接到自己的 attention 上；用代码验证"内积只依赖相对距离"这一性质 | KV cache 显存管理 + prefix caching 实现 + prefill/decode 显存测算 | **实现一个简化版 block manager**（或手推 KV cache 显存公式）；实测 prefix caching 加速比 |
| 7.4 六 | 归一化 LayerNorm/RMSNorm、Pre/Post-LN；FFN 与 SwiGLU；**MoE 混合专家（稀疏 FFN、router/门控、top-k 路由——DeepSeek/Qwen/Mixtral 都在用）**；残差与初始化 | **实现 RMSNorm + SwiGLU FFN**，组装成一个完整 Transformer block（attn+ffn+残差+norm）；**(选做)把 FFN 换成一个 2-expert 极简 MoE,理解 router 怎么选专家**| prefill vs decode 不对称 + chunked prefill + 投机解码（speculative decoding）原理 | **写一个最小投机解码 demo**（小模型+草稿模型），或剖析 vLLM 投机解码实现，提交加速比 |
| 7.5 日 | **整合**：手写 mini-GPT（nanoGPT 级）跑通训练+生成；**解码与采样策略（greedy/beam、temperature/top-k/top-p、重复惩罚）**；**语言建模目标与困惑度 perplexity（交叉熵 loss 怎么读、和 ppl 的换算）**；**embedding 层与输入输出权重绑定 (weight tying)**；BPE/BBPE tokenizer 原理；**多模态视角：ViT（视觉 Transformer）**——图像 patch 化即 token，和文本 Transformer 同源 | **跑通 mini-GPT**：在 tiny-shakespeare 上训练并生成一段文本，提交生成样本 + 训练 loss 曲线；**调 temperature/top-k/top-p 各生成一版对比效果，并把 loss 换算成 perplexity**；**画一张 ViT 与 GPT 架构对比图**（patch embedding vs token embedding）| 整合：vLLM 全链路 + 推理吞吐/延迟调优 | **端到端压测 vLLM**：出一份吞吐-延迟-并发调优报告（不同 batch/并发下的 QPS、TTFT、TPOT）|

### 阶段二·预训练与 SFT（7.6 - 7.12）
主线目标：理解预训练与分布式，完成一次全量 SFT；平行线攻**推理优化与生产级部署**（跳过起服务入门）。

| 日期 | 主线 A（3h） | 📝 主线作业（今日产出） | 平行线 B（2h） | 🔧 平行作业（今日产出） |
|---|---|---|---|---|
| 7.6 一 | 预训练流程、语料清洗与配比；Scaling Law | **写数据预处理脚本**：清洗+tokenize+pack 成训练样本；手算一张"给定算力求模型大小/数据量"的 scaling 估算表 | 推理性能剖析 + 算子优化（FlashAttention、融合算子、kernel 融合）| **用 profiler 找 vLLM 推理瓶颈**，写一份瓶颈分析（哪一步最慢、为什么、怎么优化）|
| 7.7 二 | 分布式训练：DP / DDP、数据并行原理、通信原语（all-reduce）——**只读原理+源码，不跑多卡** | **画一张数据并行通信流程图**（梯度如何 all-reduce）；并用**梯度累积在单卡上模拟"大 batch 数据并行"**，记录显存/吞吐变化 | 量化推理路径：GPTQ/AWQ 在 vLLM 的实现 + 精度-速度-显存权衡 | **同模型多量化方案压测**：出精度(ppl)-速度-显存三维对比表，给出选型建议 |
| 7.8 三 | FSDP / ZeRO-1/2/3 显存切分（**手推显存公式,理解每阶段切掉什么**）；混合精度、梯度累积、梯度检查点 | **手推 ZeRO-1/2/3 各阶段显存节省公式**；给单卡训练脚本依次加上**混合精度 + 梯度累积 + 梯度检查点**，记录每加一项的显存/速度变化表 | 多卡并行推理：tensor / pipeline parallel 原理 + 通信开销（**读 vLLM 源码,不跑多卡**） | **读 vLLM TP 源码画权重切分+通信图**，纸面推演不同并行度下显存/通信量如何变化，给出该模型的理论最优并行度 |
| 7.9 四 | SFT 原理：loss 与 label mask、样本 packing、chat template；**多模态视角：视觉指令微调（LLaVA 范式）= CLIP 视觉编码器 + 投影层 + LLM** | **手写 SFT loss**（带 label mask）+ 写一个 chat template，用自己写的 loss 跑一个 toy SFT 验证；**画 LLaVA 架构图**（图像→ViT→投影→LLM）| 生产级部署：高可用、负载均衡、监控（metrics）、限流、优雅退出 | **搭一个带监控+限流的 vLLM 服务**：接 Prometheus metrics + 限流中间件，提交监控截图 |
| 7.10 五 | 指令数据构造；用 LLaMA-Factory 或自写 trainer 跑一次全量 SFT | **构造一份小指令数据集**（≥200 条），用 LLaMA-Factory 跑通全量 SFT，提交训练曲线 | 推理引擎架构横评（源码级）：vLLM(PagedAttention) vs SGLang(RadixAttention) vs LMDeploy(TurboMind) | **读 SGLang RadixAttention 源码**，对比 PagedAttention，出一份架构差异 + 适用场景对比报告 |
| 7.11 六 | SFT 调参实操：lr / warmup / epoch；过拟合与欠拟合观察 | **跑 3 组对照**（不同 lr/epoch），记录过拟合/欠拟合现象，写一份调参观察笔记 | 长文本/高并发调优 + 自定义算子/Triton kernel 入门 | **针对长文本场景调优 vLLM**（max_model_len/chunked prefill/显存），或写一个简单 Triton kernel |
| 7.12 日 | **整合**：SFT 模型跑通基础评测；小数据集复现一次完整流程 | 产出一份**"从数据到模型"完整流程图** + 给 SFT 模型做几个测试 prompt 的人工评分记录 | 整合：把自己 SFT 的模型部署成生产级服务；**多模态部署：vLLM 对 VLM 的支持（Qwen2-VL 等）** | **把自己 SFT 的模型用 vLLM 部署成生产级服务**（量化+并发+监控），出一份部署文档；**用 vLLM 跑通一个 VLM 推理**（图+文输入），提交输出 |

### 阶段三·高效微调 PEFT 与量化（7.13 - 7.19）
主线目标：LoRA/QLoRA 原理能手写、实操能跑通；平行线攻 **LangGraph 工程深水区**（已有基础，直接上生产级难点）。

| 日期 | 主线 A（3h） | 📝 主线作业（今日产出） | 平行线 B（2h） | 🔧 平行作业（今日产出） |
|---|---|---|---|---|
| 7.13 一 | LoRA 数学原理（低秩分解、A/B 矩阵、秩 r、alpha、缩放）；**手写 LoRA 层** | **手写 LoRA 层**（A/B 矩阵+缩放），接到一个线性层上，验证前向输出且只训练 LoRA 参数 | LangGraph 内部机制：状态机 / checkpoint / 中断恢复 / 持久化 | **读 LangGraph 源码**画 state+checkpoint+recovery 机制图；实现一个可断点续跑的 Agent |
| 7.14 二 | LoRA 实操（peft 库）；权重合并与推理 | 用 peft 跑 LoRA 微调，再**把 LoRA 权重 merge 回 base**，验证合并前后输出一致 | Agent 工程难点：错误重试 / 超时控制 / human-in-the-loop 审批 | **给 Agent 加重试+超时+human-in-the-loop 审批**，提交一个带这些机制的工程 |
| 7.15 三 | QLoRA：4bit NF4 量化、双重量化、paged optimizer | 用 bitsandbytes **加载 4bit 模型**，打印显存占用，做 16bit vs 4bit 的显存/精度对比 | Reflection 自我反思 + Agent 评估（轨迹评估、成功率、token 成本） | **实现 Reflection 工程 + 写一个 Agent 评估脚本**（轨迹+成功率+成本），提交评估报告 |
| 7.16 四 | PEFT 家族对比：Adapter / Prefix-tuning / P-tuning v2 / IA³ / DoRA（**辨析重点**）；**多模态视角：多模态 PEFT（冻结 LLM+ViT，只调投影层/LoRA）** | **做一张对比表**（参数量/显存/效果/适用场景），并至少跑 2 种方法对比同一任务 | 记忆工程：短期/长期/向量记忆 + 上下文管理（压缩、摘要、滑动窗） | **实现分层记忆 + 上下文压缩**，测长对话的上下文管理效果，提交对比 |
| 7.17 五 | 量化原理：GPTQ / AWQ / bitsandbytes；量化对精度的影响 | 对同一模型分别做 **GPTQ / AWQ / bnb4bit 量化**，跑推理对比（显存/速度/ppl），产出对比表 | 多代理工程：supervisor / swarm + 消息传递 + 死锁/上下文爆炸治理 | **实现一个 supervisor 多代理并解决上下文爆炸**，提交协作图 + 问题分析 |
| 7.18 六 | Unsloth 加速；**实操 QLoRA 微调一个 7B 模型**；**多模态实操：用 LLaMA-Factory/Unsloth 微调一个 VLM（如 Qwen2-VL/LLaVA）做视觉指令任务** | **用 Unsloth 跑通 7B QLoRA 微调**，提交训练曲线 + 一段生成样本；**跑通一次 VLM 微调**（小规模图文数据），提交前后对比 | 生产级 Agent：可观测性（LangSmith 追踪）+ 成本控制 + prompt 版本管理 | **给 Agent 接 LangSmith 追踪 + 成本统计**，提交一次完整 trace 的分析 |
| 7.19 日 | **整合**：对比 全量SFT vs LoRA vs QLoRA 的效果/显存/速度，写对比报告 | 产出 **《全量 SFT vs LoRA vs QLoRA 对比报告》**（显存/速度/效果/适用），带自己的实验数据 | 整合：交付一个生产级 Agent（工具+记忆+多角色+可观测+错误恢复） | **交付生产级 Agent demo**，提交可运行代码 + 工程文档（含架构、错误处理、可观测性说明）|

### 阶段四·对齐与强化学习（7.20 - 7.26）
主线目标：把 RLHF 全链路与主流偏好优化算法吃透并实操一次；平行线攻**高级 RAG 工程**（跳过基础 RAG）。

| 日期 | 主线 A（3h） | 📝 主线作业（今日产出） | 平行线 B（2h） | 🔧 平行作业（今日产出） |
|---|---|---|---|---|
| 7.20 一 | 对齐总览；RLHF 三阶段（SFT → RM → RL）；偏好数据构造 | **构造一份偏好数据**（chosen/rejected 对，≥100 条）+ 画一张 RLHF 三阶段流程图 | chunking 深入：语义切分 / 父子分块 / late chunking / 上下文重构 | **实现 3 种 chunking 策略对比检索质量**，出对比报告（召回率/上下文完整性）|
| 7.21 二 | 奖励模型 RM：Bradley-Terry、pairwise loss；训练一个 RM | 用 TRL **RewardTrainer 训一个 RM**，验证它对 chosen 打分 > rejected（提交打分对比）| 检索优化：reranker 选型/微调 + 混合检索（BM25+向量）权重学习 | **接 reranker + 混合检索**，测召回率提升，出 rerank 前后 + 混合权重调优对比 |
| 7.22 三 | PPO 原理：策略梯度、优势函数、clip、KL 惩罚；实现要点 | **手写/梳理 PPO loss**（策略梯度+优势+clip+KL），用最小代码或伪代码实现核心部分 | RAG 评估：RAGAS / 检索召回率 / 生成忠实度 / 答案相关性 | **用 RAGAS 评测自己的 RAG**，出评测报告（召回/忠实/相关），定位薄弱环节 |
| 7.23 四 | DPO 原理：从 RLHF 推导、隐式奖励；TRL 实操 DPO（**辨析 PPO/DPO**）| 用 TRL **DPOTrainer 跑一次 DPO**，对比对齐前后同一 prompt 的输出差异 | GraphRAG / 知识图谱增强检索 | **搭一个 GraphRAG 或 KG 增强的 RAG**，对比纯向量 RAG 效果，出对比报告 |
| 7.24 五 | GRPO（DeepSeek）/ RLOO / KTO / ORPO 对比 | **做一张对比表**（PPO/DPO/GRPO/KTO/ORPO：有无 RM/显存/数据要求/适用）+ 梳理 GRPO 与 PPO 核心区别 | Agentic RAG：自决定检索策略 + query rewrite / 路由 / 多步检索 | **实现 Agentic RAG**（自决定是否检索/检索几次/结果合并），提交一个复杂 case 的运行日志 |
| 7.25 六 | **实操**：用 TRL 或 OpenRLHF 跑一次 DPO 或 GRPO | **跑通一次 GRPO**（小模型+简单 reward 即可），提交训练曲线 + 前后对比样本 | 生产级 RAG：增量索引 / 多租户 / 权限控制 / 缓存 | **给 RAG 加增量索引 + 缓存**，提交生产级工程改造 + 性能对比 |
| 7.26 日 | **整合**：画对齐方法全景图；评测对齐前后效果 | 产出一张**"对齐方法全景图"**（SFT→RM→PPO→DPO→GRPO 关系）+ 对齐前后简单评测对比 | 整合：交付一个 Agentic RAG 系统（自决定检索+多步推理+引用来源） | **交付 Agentic RAG 系统 demo**，提交可运行代码 + 一个多跳问答的演示 |

### 阶段五·推理增强、评测与综合项目（7.27 - 7.31）— 双线汇合闭环
主线目标：补上 test-time compute / 推理模型 / 评测 / 模型合并；平行线攻**多智能体协议 + MCP/Skill 能力扩展**。
**本阶段双线汇合**：把主线训出的模型（SFT→QLoRA→DPO/GRPO 对齐）用平行线的工程（vLLM 部署 + LangGraph Agent + Agentic RAG + MCP 工具 + Skill + 视觉理解）包成一个端到端产品级 demo——这是整套"区分学习"的收口。

| 日期 | 主线 A（3h） | 📝 主线作业（今日产出） | 平行线 B（2h） | 🔧 平行作业（今日产出） |
|---|---|---|---|---|
| 7.27 一 | 推理时扩展：CoT、self-consistency、ToT；test-time scaling | **实现 self-consistency 或 ToT 最小 demo**，对比普通 CoT 的效果（同一题正确率）| 多智能体协议/模式深入：A2A、swarm、hierarchy + 复杂协作设计 | **实现一个复杂多体协作**（如 研究-写作-审校 流水线），提交协作图 + 协作日志 + 失败案例分析 |
| 7.28 二 | 推理模型原理：o1 / DeepSeek-R1、用 RL 激发 long-CoT | **画 R1 训练流程图**（SFT+RL）+ 写一份"纯 RL 如何激发推理"的要点笔记 | **MCP + Skill 双范式**：MCP=工具/执行（"手"），Skill=程序性知识/SOP（"脑"）；生产级 MCP server + Skill 封装 | **写一个生产级 MCP server**（多工具+错误处理+安全）**+ 封装一个 Skill**（把某领域 SOP 写成可复用技能包），接入 Agent 跑通，提交代码 + 调用日志 + 两者对比 |
| 7.29 三 | 评测：benchmark、LLM-as-judge、lm-eval 等评测框架 | 用 **lm-eval-harness 跑一次 benchmark**（如 MMLU 子集）出报告 + 用 LLM-as-judge 评一组回答 | **汇合点①**：综合项目架构设计——主线模型 + 平行线工程全栈（含多模态） | **出综合项目架构设计文档**：系统架构图（**自己微调对齐的模型** + vLLM 部署 + LangGraph Agent + Agentic RAG + MCP 工具 + Skill + **视觉理解能力**）+ 选型理由 + 数据流 + 瓶颈/成本分析 |
| 7.30 四 | 知识蒸馏；模型合并（mergekit：SLERP / TIES / DARE）| **用 mergekit 合并两个模型**（SLERP/TIES），跑评测看合并效果；或做一次简单蒸馏 | **汇合点②**：综合项目开发——把主线模型用平行线工程串起来 | **搭通端到端全链路**：①主线对齐后的模型用 vLLM 部署 → ②LangGraph Agent 调用它 → ③Agent 按需调 Agentic RAG + MCP 工具 + Skill + **能看图（接 VLM）** → 提交可运行的核心代码 + 一次完整调用链日志 |
| 7.31 五 | **全月主线复盘** + 知识图谱整理 | 产出**全月主线知识图谱**（Transformer→SFT→PEFT→对齐→推理增强 脉络图，含多模态分支）+ 自我评估（掌握/薄弱）| **汇合点③**：综合项目收尾 + demo + 全月总复盘 | **交付综合项目 demo**：自己微调对齐的模型 + Agent + RAG + MCP + Skill + **视觉理解** 端到端跑通，提交演示录屏 + 全月工程总复盘（含双线如何汇合的说明）|

---

## 四、阶段里程碑（每阶段一个可交付产出）

1. **阶段一**：手写 mini-GPT 跑通 + vLLM 内部机制剖析（PagedAttention/调度器源码图）。
2. **阶段二**：完成一次全量 SFT，并把模型用 vLLM 部署成生产级服务（监控+并发）。
3. **阶段三**：完成 QLoRA 微调，产出《全量 vs LoRA vs QLoRA 对比报告》+ 一个生产级 Agent（工具+记忆+多角色+可观测）。
4. **阶段四**：完成一次 DPO/GRPO 对齐 + 一个 Agentic RAG 系统（带 RAGAS 评测）。
5. **阶段五（双线汇合闭环）**：把主线训出的模型（SFT→QLoRA→DPO/GRPO 对齐）用平行线工程（vLLM 部署 + LangGraph Agent + Agentic RAG + MCP 工具 + Skill 能力包 + 视觉理解）包成**一个端到端产品级 demo** + 全月知识图谱。

> **双线汇合闭环示意**（主线 A → 平行线 B 的产物在阶段五被串起来）：
> ```
> 主线 A 产物：  Transformer手撕 → SFT模型 → QLoRA模型 → DPO/GRPO对齐模型（+ VLM 微调）
>                                                          ↓ （阶段五汇合）
> 平行线 B 工程：vLLM部署(阶段二,含多模态) + LangGraph Agent(阶段三) + Agentic RAG(阶段四) + MCP工具+Skill(阶段五)
>                                                          ↓
> 综合项目：  对齐后的模型 → vLLM服务 → LangGraph Agent 按需调用 → Agentic RAG 查资料 + MCP 工具 + Skill 能力 + 看图(VLM) → 端到端 demo
> ```
> 主线训出来的东西，平行线负责让它跑在服务里、被 Agent 调用、能查资料、能用工具、有专业技能、能看图——这就是"区分学习"的最大价值：**两条线各自深挖，最后汇合成一个你能拿出去演示的产品**。

---

## 五、配套资源

> 📚 **每个主题的精选学习资料(官方文档 / 经典论文 / 博文教程 / 代码仓库,**不含书籍**)已整理在 [学习资料.md](学习资料.md),与下面各阶段一一对应;并附「7.1-7.31 每日资料对照表」,每天该看哪份直接查表。**

- **原理/手写**：karpathy 的 nanoGPT / build-nanogpt、Illustrated Transformer、RoPE 详解
- **微调**：HuggingFace Transformers / PEFT / TRL 官方文档；LLaMA-Factory；Unsloth；LoRA/QLoRA 论文+实战博文
- **强化学习/对齐**：TRL 文档、OpenRLHF；RLHF/DPO/GRPO 中文长文；论文 InstructGPT、DPO、DeepSeekMath/R1
- **部署**：vLLM 官方文档、SGLang、LMDeploy、Ollama / llama.cpp；PagedAttention 论文
- **智能体**：LangChain / LangGraph / LlamaIndex；CrewAI；MCP 官方文档；All-in-RAG(中文)
- **必读论文**：Attention is All You Need、LoRA、QLoRA、InstructGPT、DPO、DeepSeek-R1
- **实验管理**：wandb 或 swanlab（记录训练曲线，养成实验管理习惯）

---

## 六、执行建议与避坑

- **笔记成体系**：用 Obsidian / Notion 建"概念卡片 + 双链"，总结 1h 必做**概念辨析**（如 MHA/MQA/GQA、LoRA/QLoRA、PPO/DPO/GRPO）。
- **每个原理配最小可运行代码**：主线学的原理，当天平行/总结时落一段最小 demo，别只停在纸面。
- **先跑通再追规模**：显存吃紧就用 0.5B/1.5B/Qwen-7B + QLoRA 验证流程，跑通后再上规模。
- **多卡实验一律降级**：单卡环境下，7.7/7.8 的"多卡对比/最优并行度"改为**读源码 + 手推公式 + 单卡梯度累积模拟**，理解原理即可，不必真有多卡。
- **负荷天然不均,不必填满**：你不是零基础，熟的主题（如已做过的部署/微调）当天可能 3–4h 就够，提前收工去补别的盲区或休息，别为凑 6h 硬拖。
- **算法 1h 是额外的、可弹性**：[一天一小时算法.md](一天一小时算法.md) 的 1h 在 README 的 6h 之外，累的时候可并入周日或直接跳过几天，优先保主线。
- **周日整合日可弹性**：累了就降为复盘/休息，别硬撑导致后半月崩盘。
- **进度滞后时保主线**：优先保证主线 A，平行线 B 可临时压缩；7.30-7.31 预留为缓冲。
- **双线互喂**：主线训出的模型，尽量在平行线里真部署、真被 Agent 调用——这是这套"区分学习"的最大价值。**阶段五必须把两条线汇合成一个端到端 demo，形成闭环。**

---

## 七、可勾选进度表

- [ ] 阶段一（7.1-7.5）：mini-GPT + vLLM 内部机制剖析
- [ ] 阶段二（7.6-7.12）：全量 SFT + 生产级 vLLM 部署
- [ ] 阶段三（7.13-7.19）：QLoRA 微调 + 对比报告 + 生产级 Agent
- [ ] 阶段四（7.20-7.26）：DPO/GRPO 对齐 + Agentic RAG 系统
- [ ] 阶段五（7.27-7.31）：**双线汇合闭环**——对齐模型 + VLM + vLLM + Agent + RAG + MCP + Skill 端到端 demo + 全月知识图谱