datawhalechina/llm-algo-leetcode

这套教程不要求从 00 开始按顺序硬读。00 主要是前置补齐区，如果你已有基础，可以直接从最相关的部分开始；下面这张表会直接告诉你：每一部分学什么、包含哪些组、适合谁、当前进度如何。

| 部分 | 组别 | 内容定位 | 适合对象 | 状态 | | ---- | ---- | ---- | ---- | ---- | | 第零部分：前置知识与环境准备（5 组 / 20 节，已完成，持续优化） | 0A Python 基础与数据表示（4 节） / 0B PyTorch 张量与自动求导（4 节） / 0C PyTorch 模型构建（4 节） / 0D 训练与模型直觉（4 节） / 0E 调试与性能（4 节） | 把 Python、NumPy、PyTorch、训练循环、调试工具和性能意识搭好。 | 第一次进入教程、需要补齐入门前置的人。 | ✅ 已完成，持续优化 | | 第一部分：硬件、数学与系统（6 组 / 34 节，已完成，持续优化） | 1A 数值与规模（4 节） / 1B 单设备执行、内存与访存（9 节） / 1C 通信、并行与容错（6 节） / 1D 执行模型、异步调度与算子映射（7 节） / 1E 编译与后端（4 节） / 1F 硬件适配与系统约束（4 节） | 理解硬件、规模、访存、通信、执行与系统约束。 | 想先弄清“为什么要这样写”和“为什么要这样部署”的学习者。 | ✅ 已完成，持续优化 | | 第二部分：PyTorch 算法实战（10 组，已完成，持续优化） | 2.1 Decoder 组件与注意力 / 2.2 模型架构 / 2.3 监督微调与训练控制 / 2.4 偏好优化与对齐 / 2.5 反向传播与训练内存 / 2.6 推理执行基础 / 2.7 推理策略与服务调度 / 2.8 量化与低比特适配 / 2.9 通信与并行 / 2.10 项目验证与工程收口 | 在 PyTorch 层把算法、模型、推理、压缩、并行与项目验证先跑通。 | 希望先用熟悉工具建立实现感的人。 | ✅ 已完成，持续优化 | | 第三部分：Triton 算子开发（5 组 / 15 节，已完成，持续优化） | 3.1 基础篇（5 节） / 3.2 过渡篇（2 节） / 3.3 进阶A：Attention优化（3 节） / 3.4 进阶B：推理优化（2 节） / 3.5 项目篇（3 节） | 把前面学到的算子和优化思路落到 GPU kernel。 | 希望从 PyTorch 走向 Triton 的学习者。 | ✅ 已完成，持续优化 | | 第四部分：CUDA C++ 与系统优化（4 组 / 16 节，建设中） | 4.1 CUDA 编程基础（4 节） / 4.2 系统级性能优化（4 节） / 4.3 分布式训练工程（4 节） / 4.4 架构视野（4 节） | 进一步下探到 CUDA、系统调优和工程化架构。 | 准备做底层性能优化和工程落地的人。 | 🛠 建设中 | | 第五部分：综合项目与架构决策 | 综合项目、架构选型与成本决策 | 汇总多条主线的机制、实验和工程约束。 | 已完成主线学习、准备进行系统收口的人。 | 🛠 建设中 |

| 层级 | 入口 | 内容定位 | 适合对象 | 状态 | | ---- | ---- | ---- | ---- | ---- | | 主学习路线（建设中） | 大模型架构演进（LLM Architecture Evolution） | 从 Decoder Block、Attention、位置、MoE 到模型结构审计。 | 想读懂模型结构选择及其质量、资源与系统影响的学习者。 | 🛠 建设中 | | 主学习路线（建设中） | 后训练优化（Post-Training Optimization） | SFT / LoRA 基础、偏好数据、DPO、GRPO 与项目交付。 | 想从监督微调继续进入偏好优化与对齐的学习者。 | 🛠 建设中 | | 主学习路线 | 推理优化（Inference Optimization） | FlashAttention、解码、PagedAttention、cache 与 benchmark。 | 想系统理解推理加速路径的学习者。 | ✅ 持续优化 | | 主学习路线 | 性能优化（Performance Optimization） | 从性能分析、显存管理、通信代价到端到端决策。 | 想系统定位并优化训练、推理和系统性能的学习者。 | 🛠 建设中 | | 主学习路线（建设中） | 算子优化（Operator Optimization） | 从硬件直觉、图级优化、Triton、经典算子、Attention 到 CUDA 与端到端验证。 | 想从算子实现走向 kernel 和端到端性能优化的学习者。 | 🛠 建设中 | | 基础支撑专题 | 反向传播与训练机制（Backpropagation and Training Mechanics） | autograd、backward、checkpointing、offload 与训练节奏。 | 想补训练机制底座的学习者。 | ✅ 持续优化 | | 基础支撑专题 | 性能分析（Performance Analysis） | 性能取证、trace 阅读、回归验证和行动决策。 | 想系统补性能意识与排障方法的学习者。 | ✅ 持续优化 | | 横切支撑专题 | 量化与压缩（Quantization and Compression） | PTQ、QAT、GPTQ、AWQ、FP8 与部署决策。 | 想同时考虑精度、显存、吞吐和部署取舍的学习者。 | ✅ 持续优化 | | 横切支撑专题 | 通信与并行（Communication and Parallelism） | NCCL、AllReduce、ZeRO、PP、TP 和并行验证。 | 想理解多卡训练和通信边界的学习者。 | ✅ 持续优化 | | 横切支撑专题（建设中） | 数据工程（Data Engineering） | 数据生命周期、解析、清洗、去重、配比、合成、血缘与工程化。 | 想同时服务训练、RAG 与数据质量治理的学习者。 | 🛠 建设中 | | 横切支撑专题（建设中） | 部署与异构系统（Deployment and Heterogeneous Systems） | 模型产物、推理 backend、CPU/GPU/NPU 协同、资源编排和部署验证。 | 想理解模型如何从文件进入可交付服务的学习者。 | 🛠 建设中 | | 领域专题（建设中） | Agent 基础设施（Agent Infrastructure） | 工具轨迹、沙盒执行、任务调度、可观测性与 Agentic RL。 | 想让模型可靠完成多步工具任务的学习者。 | 🛠 建设中 | | 领域专题（建设中） | 多模态与视觉推理（Multimodal and Vision Inference） | 以多模态推理为主线，覆盖视觉表示、对齐、视觉 token、推理成本和任务评测；训练作为共享前置。 | 想进入视觉语言模型、文档理解或图文推理的学习者。 | 🛠 建设中 |

• 2026-09-30：统一五条主学习路线及基础、横向、领域专题的中英文名称与入口；将显存优化内容正式承接到性能优化，将 SFT / LoRA 与图级编译分别并入后训练优化和算子优化；更新 Part 05 收口定位、专题资产与首页结构图。
• 2026-09-11：完成当时主路线与横向专题的阶段性梳理，补充 Task0–6 学习入口与项目分工；统一项目节的类型、环境和证据边界，并完成源文件到 docs/ 的镜像同步与 VitePress 构建验证。Part 02 的 60–76 项目进入持续优化和 GPU 数据采集准备阶段。
• 2026-08-22：完成 README 首页导航、项目简介与项目特点重写；收口横向专题的五层 Infra 结构与跨专题边界；完成 66、73、75、76 等真实 backend / GPU 项目的结果保存、环境说明和基础验证，并同步文档入口与链接检查。
• 2026-08-17：统一 Part 01 导读与组页口径，收紧横向专题结构和学习路线表达，补充 Part 02 项目页与图解资产审计，并明确统一验证入口。
• 2026-07-10：整理首页教程总览与状态列，校正 Part 00 / Part 01 的组名、节数和导航状态。
• 2026-06-26：重构首页教程总览、状态列和学习路径，明确 Part 00-04、横向专题与共学记录的关系。
• 2026-06-15：推进第零部分 / 第一部分的分组与导读收口，统一部分级导航，并完成网页底部评论区接入 GitHub Discussions，同时持续扩展第一部分的正文、桥接页与 Notebook 结构。
• 2026-06-13：修复 dead link，并为未完成页面补充占位页，避免学习入口出现 404。
• 2026-04-21：更新 Colab 徽章链接，统一指向官方 datawhalechina 仓库。
• 2026-04-20：上线站点首页与部分导学；新增第零部分前置知识与第一部分练习内容，完善在线阅读入口与学习路径。
• 2026-04-18 ~ 2026-04-19：集中重构第二部分 / 第三部分内容，优化 Notebook、答案区与算子实现说明。
• 2026-04-02：完成教程核心 Notebook、文档与测试脚本的初始搭建。

路径兼容说明：第三部分已从 03_CUDA_and_Triton_Kernels 更名为 03_Triton_Kernels，CUDA / 系统优化内容拆分到第四部分。旧网页路径会保留迁移入口，建议新链接统一使用 03_Triton_Kernels。

方式 1：在线阅读

访问在线站点：

https://datawhalechina.github.io/llm-algo-leetcode/

学习步骤：优先选择 Part 02 或对应专题，再从 📖 完整导学 进入对应 intro.md，最后进入目标 group；遇到知识缺口时回补 Part 00 / Part 01。

适合：

• 先看目录再决定从哪一部分切入
• 先读部分导学，按目标跳转到对应 group
• Part 00 / 01 / 02 的大多数基础练习可以直接用 Colab CPU 跑
• 真实推理、训练和显存实验需要 Colab GPU 或本地 NVIDIA GPU
• Part 03 / 04 需要 Colab GPU runtime

方式 2：本地学习

git clone https://github.com/datawhalechina/llm-algo-leetcode.git
cd llm-algo-leetcode
conda env create -f environment.yml
conda activate llm_algo
python -m pip install -r requirements/torch-cpu.txt
jupyter lab

学习步骤：在仓库中优先进入 Part 02 或对应专题目录，先阅读 intro.md，再打开目标 Notebook；遇到知识缺口时回补 Part 00 / Part 01。

适合：

• 想在本地完整跑 Part 00 / 01 / 02 的 Notebook
• 想自己控制 Python / PyTorch / CUDA 版本
• 想做更稳定的离线调试
• Part 03 / 04 需要本地 NVIDIA GPU

conda env create -f environment-gpu.yml
conda activate llm_algo_gpu
python -m pip install -r requirements/torch-cu128.txt
jupyter lab

已有 CUDA PyTorch 的云端或 Colab 环境不需要执行上述安装；先运行项目环境预检，确认当前 Kernel 的 PyTorch、CUDA 和 GPU 可用。

方式 3：CNB 统一环境

如果你希望和仓库当前推荐环境保持一致，可以使用 CNB 统一环境入口。

适合：

• 团队协作
• 统一实验镜像
• 需要减少本地环境差异
• Part 00 / 01 / 02 可以用 CNB CPU
• Part 03 / 04 需要 CNB GPU 会话

学习步骤：进入 CNB 会话后，优先从 Part 02 或对应专题的 intro.md 开始，再按导学进入目标 Notebook；基础不足时回补 Part 00 / Part 01。

You do not need to start from 00 in strict order. 00 is the prerequisite lane; if you already have the background, jump directly to the part that matches your goal. The table below summarizes each part, its groups, its audience, and its status.

| Part | Groups | Content Positioning | Suitable For | Status | | ---- | ---- | ---- | ---- | ---- | | Part 00: Prerequisites and Environment Setup (5 groups / 20 lessons) | 0A Python Basics and Data Representation (4 lessons) / 0B PyTorch Tensors and Autograd (4 lessons) / 0C PyTorch Model Construction (4 lessons) / 0D Training and Model Intuition (4 lessons) / 0E Debugging and Performance (4 lessons) | Prerequisites, engineering basics, and notebook-first practice. | First-time learners who need prerequisite support. | ✅ Complete, continuously refining | | Part guide: Hardware, Math, and Systems (6 groups / 34 lessons) | 1A Numerics and Scale (4 lessons) / 1B Single-Device Execution, Memory and Access (9 lessons) / 1C Communication, Parallelism and Fault Tolerance (6 lessons) / 1D Execution Models, Asynchrony and Operator Mapping (7 lessons) / 1E Compilers and Backends (4 lessons) / 1F Hardware Adaptation and System Constraints (4 lessons) | Hardware, scale, memory access, communication, execution, and system constraints. | Learners who want to understand why things are written and deployed this way. | ✅ Complete, continuously refining | | Part 02: PyTorch Algorithm Practice (10 groups) | 2.1 Decoder Components and Attention / 2.2 Model Architecture / 2.3 Supervised Fine-Tuning and Training Control / 2.4 Preference Optimization and Alignment / 2.5 Backpropagation and Training Memory / 2.6 Inference Execution Fundamentals / 2.7 Inference Strategies and Serving Scheduling / 2.8 Quantization and Low-Bit Adaptation / 2.9 Communication and Parallelism / 2.10 Project Validation and Engineering Closure | PyTorch-level practice for algorithms, models, inference, compression, parallelism, and project validation. | Learners who want to build implementation intuition with familiar tools. | ✅ Complete, continuously refining | | Part 03: Triton Kernel Development (5 groups / 15 lessons) | 3.1 Foundations (5 lessons) / 3.2 Transition (2 lessons) / 3.3 Advanced A: Attention Optimization (3 lessons) / 3.4 Advanced B: Inference Optimization (2 lessons) / 3.5 Projects (3 lessons) | Triton kernel development. | Learners who want to move from PyTorch to Triton. | ✅ Complete, continuously refining | | Part 04: CUDA C++ and System Optimization (4 groups / 16 lessons) | 4.1 CUDA Programming Basics (4 lessons) / 4.2 System-Level Performance Optimization (4 lessons) / 4.3 Distributed Training Engineering (4 lessons) / 4.4 Architecture Perspective (4 lessons) | CUDA C++ and system optimization. | Learners preparing for low-level performance optimization and engineering deployment. | 🛠 In progress | | Part 05: Integrated Projects and Architecture Decisions | Integrated projects, architecture selection, and cost decisions | Consolidates mechanisms, experiments, and engineering constraints across the main routes. | Learners ready to close the loop with system-level decisions. | 🛠 In progress |

| Layer | Entry | Content Positioning | Suitable For | Status | | ---- | ---- | ---- | ---- | ---- | | Main Study Path (In Progress) | LLM Architecture Evolution Topic | Decoder Block, attention, position, MoE, and model architecture audit. | Learners who want to connect structural choices to quality, resources, and system impact. | 🛠 In progress | | Main Study Path (In Progress) | Post-Training Optimization Topic | SFT / LoRA foundations, preference data, DPO, GRPO, and project delivery. | Learners who want to continue from supervised fine-tuning into alignment. | 🛠 In progress | | Main Study Path | Inference Optimization Topic | FlashAttention, decoding, PagedAttention, cache, and benchmark. | Learners who want practical inference acceleration. | ✅ Ongoing | | Main Study Path | Performance Optimization Topic | Performance analysis, memory management, communication costs, and end-to-end decisions. | Learners who want to diagnose and optimize training, inference, and system performance. | 🛠 In progress | | Main Study Path (In Progress) | Operator Optimization Topic | Graph rewrites, fusion, Triton, CUDA, memory access, autotuning, and kernel-to-end-to-end validation. | Learners who want to move from operator implementation to kernel and end-to-end optimization. | 🛠 In progress | | Foundation Topic | Backpropagation and Training Mechanics Topic | Autograd, backward, checkpointing, offload, and training rhythm. | Learners who want stronger training-mechanism foundations. | ✅ Ongoing | | Foundation Topic | Performance Analysis Topic | Evidence collection, trace reading, regression validation, and action decisions. | Learners who want systematic performance diagnosis and debugging methods. | ✅ Ongoing | | Cross-Cutting Topic | Quantization and Compression Topic | PTQ, QAT, GPTQ, AWQ, FP8, and deployment decisions. | Learners balancing accuracy, memory, throughput, and deployment cost. | ✅ Ongoing | | Cross-Cutting Topic | Communication and Parallelism Topic | NCCL, AllReduce, ZeRO, PP, TP, and validation. | Learners who want to understand multi-GPU scaling and communication cost. | ✅ Ongoing | | Cross-Cutting Topic (In Progress) | Data Engineering Topic | Data lifecycle, parsing, cleaning, deduplication, mixtures, synthesis, lineage, and production pipelines. | Learners building reliable data paths for training, RAG, and evaluation. | 🛠 In progress | | Cross-Cutting Topic (In Progress) | Deployment and Heterogeneous Systems Topic | Model artifacts, inference backends, CPU/GPU/NPU coordination, resource orchestration, and deployment validation. | Learners who want to understand how models become deployable services. | 🛠 In progress | | Domain Topic (In Progress) | Agent Infrastructure Topic | Tool trajectories, sandboxed execution, task scheduling, observability, and agentic RL. | Learners building reliable multi-step tool-using systems. | 🛠 In progress | | Domain Topic (In Progress) | Multimodal and Vision Inference Topic | Multimodal inference as the main line: visual representations, alignment, visual tokens, inference cost, and task evaluation; training is shared prerequisite. | Learners entering vision-language models, document understanding, or multimodal reasoning. | 🛠 In progress |

• 2026-09-30: Unified the Chinese and English names and entry points for the five main routes plus foundation, cross-cutting, and domain topics; moved the former memory-optimization route into Performance Optimization, merged SFT / LoRA and graph compilation into Post-Training Optimization and Operator Optimization, and refreshed Part 05 positioning, topic assets, and the homepage structure map.
• 2026-09-11: Consolidated the main routes and cross-cutting topics available at that stage; added Task 0–6 entry p