datawhalechina/all-in-rag

All-in-RAG | 大模型应用开发实战一：RAG技术全栈指南

项目简介（中文 | English）

本项目是一个面向大模型应用开发者的RAG（检索增强生成）技术全栈教程，旨在通过体系化的学习路径和动手实践项目，帮助开发者掌握基于大语言模型的RAG应用开发技能，构建生产级的智能问答和知识检索系统。

主要内容包括：

1. RAG技术基础：深入浅出地介绍RAG的核心概念、技术原理和应用场景 2. 数据处理全流程：从数据加载、清洗到文本分块的完整数据准备流程 3. 索引构建与优化：向量嵌入、多模态嵌入、向量数据库构建及索引优化技术 4. 检索技术进阶：混合检索、查询构建、Text2SQL等高级检索技术 5. 生成集成与评估：格式化生成、系统评估与优化方法 6. 项目实战：从基础到进阶的完整RAG应用开发实践

项目意义

随着大语言模型的快速发展，RAG技术已成为构建智能问答系统、知识检索应用的核心技术。然而，现有的RAG教程往往零散且缺乏系统性，初学者难以形成完整的技术体系认知。

本项目从实践出发，结合最新的RAG技术发展趋势，构建了一套完整的RAG学习体系，帮助开发者：

• 系统掌握RAG技术的理论基础和实践技能
• 理解RAG系统的完整架构和各组件的作用
• 具备独立开发RAG应用的能力
• 掌握RAG系统的评估和优化方法

项目受众

本项目适合以下人群学习：

• 具备Python编程基础，对RAG技术感兴趣的开发者
• 希望系统学习RAG技术的AI工程师
• 想要构建智能问答系统的产品开发者
• 对检索增强生成技术有学习需求的研究人员

• 掌握Python基础语法和常用库的使用
• 能够简单使用docker
• 了解基本的LLM概念（推荐但非必需）
• 具备基础的Linux命令行操作能力

项目亮点

1. 体系化学习路径：从基础概念到高级应用，构建完整的RAG技术学习体系 2. 理论与实践并重：每个章节都包含理论讲解和代码实践，确保学以致用 3. 多模态支持：不仅涵盖文本RAG，还包括多模态嵌入和检索技术 4. 工程化导向：注重实际应用中的工程化问题，包括性能优化、系统评估等 5. 丰富的实战项目：提供从基础到进阶的多个实战项目，帮助巩固学习成果

内容大纲

第一部分：RAG基础入门

第一章 解锁RAG 📖 查看章节

• [x] RAG简介 - RAG技术概述与应用场景
• [x] 准备工作 - 环境配置与准备
• [x] 四步构建RAG - 快速上手RAG开发
• [x] 附：环境部署 - Python虚拟环境部署方案补充 (贡献者: @anarchysaiko)

• [x] 数据加载 - 多格式文档处理与加载
• [x] 文本分块 - 文本切分策略与优化

第二部分：索引构建与优化

第三章 索引构建 📖 查看章节

• [x] 向量嵌入 - 文本向量化技术详解
• [x] 多模态嵌入 - 图文多模态向量化
• [x] 向量数据库 - 向量存储与检索系统
• [x] Milvus实践 - Milvus多模态检索实战
• [x] 索引优化 - 索引性能调优技巧

第三部分：检索技术进阶

第四章 检索优化 📖 查看章节

• [x] 混合检索 - 稠密+稀疏检索融合
• [x] 查询构建 - 智能查询理解与构建
• [x] Text2SQL - 自然语言转SQL查询
• [x] 查询重构与分发 - 查询优化策略
• [x] 检索进阶技术 - 高级检索算法

第四部分：生成与评估

第五章 生成集成 📖 查看章节

• [x] 格式化生成 - 结构化输出与格式控制

• [x] 评估介绍 - RAG系统评估方法论
• [x] 评估工具 - 常用评估工具与指标

第五部分：高级应用与实战

第七章 高级RAG架构（拓展部分） 📖 查看章节

• [x] 基于知识图谱的RAG

• [x] 环境配置与项目架构
• [x] 数据准备模块实现
• [x] 索引构建与检索优化
• [x] 生成集成与系统整合

🍽️ 项目展示

• [x] 图RAG架构设计
• [x] 图数据建模与准备
• [x] Milvus索引构建
• [x] 智能查询路由与检索策略

Extra-chapter

• Neo4J 简单应用 （贡献者: dalvqw）
• 多模态 Omni Embedding 实践（Jina v5-omni）（优化中）

如果你在使用 RAG / 向量数据库 / Agentic RAG 等相关技术时，也有值得分享的经验与专题内容，非常欢迎以独立章节的形式投稿到 Extra Chapter 中。提交前请先阅读 Extra Chapter 的贡献与 PR 指南，我们会根据内容的完整度、实践深度与参考价值综合评估是否合并，并视情况在主教程中进行引用或扩展说明。

目录结构说明

all-in-rag/
├── docs/           # 教程文档
├── code/           # 代码示例
├── data/           # 示例数据
├── models/         # 预训练模型
├── Extra-chapter/  # 扩展章节与社区实践内容
└── README.md       # 项目说明

实战项目展示

第八章 项目一：

第九章 项目一（Graph RAG优化）：

第十章 项目二：

致谢

核心贡献者

• dalvqw-项目负责人（项目发起人与主要贡献者）

• 孙超-内容创作者（Datawhale成员-上海工程技术大学）

特别感谢

• 感谢 @Sm1les 对本项目的帮助与支持
• 感谢所有为本项目做出贡献的开发者们
• 感谢开源社区提供的优秀工具和框架支持
• 特别感谢以下为教程做出贡献的开发者！

Made with contrib.rocks.

参与贡献

我们欢迎所有形式的贡献，包括但不限于：

• 🚨 Bug报告：发现问题请提交 Issue
• 💭 教程建议：有好的想法欢迎在 Discussions 中讨论
• 📚 文档改进：帮助完善文档内容和示例代码（当前仅支持 Extra-chapter 优质内容pr）

Star History

关于 Datawhale

扫描二维码关注 Datawhale 公众号，获取更多优质开源内容

---

许可证

本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。

---