【AI加油站】大模型课程系列五:《大模型应用·第5章:大模型检索增强》读懂大模型检索增强生成(RAG)全景(附PDF下载)

人工智能产业链union 2025-08-06 12:00
资讯配图
核心总结

一、RAG 的基本定义

检索增强生成(Retrieval-Augmented Generation,RAG)是一种**“先检索、后生成”**的大模型框架:

  1. 用户输入问题 →

  2. 检索器从外部知识源(文档库、互联网、数据库或知识图谱)拉取最相关的片段 →

  3. 生成器(LLM)将检索结果与用户问题一并编码 →

  4. 输出更精准、更新、更可解释的文本答案。
    核心思想:把静态的参数记忆升级为动态的外部记忆,从而缓解幻觉、过期信息、专业术语歧义等 LLM 固有问题。


二、为什么要用 RAG


表格

复制


LLM 原生缺陷
RAG 解法
幻觉(编造答案)
用真实来源片段约束生成
知识截止
实时检索最新网页/数据库
领域盲区
外挂行业文档或知识图谱
专业术语混淆
检索上下文消除歧义

与微调相比
• 微调:成本高、更新慢、需要重训;
• RAG:只需更新检索库即可“即插即用”,成本低、时效快。


三、非结构化检索增强

3.1 文档检索

  1. 文档切片(chunking)

  2. Embedding → 向量库

  3. 用户问题向量化 → k 近邻召回

  4. 召回片段 + 问题 → LLM 生成答案

3.2 网络检索


四、结构化检索增强

4.1 知识图谱(GraphRAG)

  1. 索引阶段
    • 文本切块 → LLM 抽取实体/关系 → 构建图 → 生成图嵌入 →多级语义索引。

  2. 查询阶段
    • 用户问题 → 子图检索 → 子图+问题 → LLM 生成答案。

  • 优势:可解释、可推理、适合多跳问答。

  • 4.2 关系数据库(TAG 模型)

    1. 查询合成(Text2SQL):自然语言 → SQL。

    2. 查询执行:SQL 在 DB 中运行,得到结果集。

    3. 答案生成:结果集 + 原问题 → LLM 生成自然语言答案。

  • 示例
    问:“总结票房最高的经典浪漫片影评”
    → 语言模型先判断“经典浪漫片”,再聚合票房最高者 → 返回《泰坦尼克号》评论摘要。


  • 五、关键技术细节与工程考量

    1. 切分策略
      • 固定长度 vs 语义段落 vs 滑动窗口;
      • 过长文本需摘要或层次化索引,避免语义稀释。

    2. 混合检索
      • 向量召回 + 关键词 BM25 + 知识图谱路径,提升鲁棒性。

    3. 实时性 vs 稳定性
      • 网络爬取需去重、去噪、可信度评分;
      • 结构化源需做缓存与增量更新。

    4. 安全合规
      • 私域文档需脱敏;
      • 网络检索要过滤非法/侵权内容。


    六、典型场景对比


    表格

    复制


    场景
    推荐检索增强方式
    原因
    医疗诊断
    知识图谱 + 权威指南库
    关系推理、降低误诊风险
    法律合同
    文档 RAG + 摘要 + 条款知识图谱
    长文本、条款多、需可解释
    学术论文问答
    文档 RAG(PDF) + 网络检索(最新 ArXiv)
    互补:经典成果 + 最新进展
    客服 FAQ
    结构化 FAQ 表 + 文档 RAG
    高精度 + 长尾覆盖

    七、未来讨论要点

    1. 医疗场景:知识图谱与关系数据库如何权衡误诊风险与查询效率?

    2. 学术系统:PDF 文档与实时网络检索如何互补并避免冲突?

    3. 法律合同:长文本语义分散时,Chunking、摘要、图谱嵌入哪种更优?


    一句话总结
    RAG 把大模型从“闭卷考试”变成“开卷考试”:先精准找资料,再基于资料答题,实现实时、准确、可追溯的智能问答,已成为大模型落地的工程化标准范式。

    资讯配图
    资讯配图
    资讯配图
    资讯配图
    资讯配图

    本书免费下载地址


        关注微信公众号“人工智能产业链union”回复关键字“AI大模型05”获取下载地址。

    【AI加油站】大模型课程系列一:大模型应用:从提示工程到AI智能体——系统化知识地图(附PDF下载)
    【AI加油站】大模型课程系列二:大模型应用:从提示工程到AI智能体——系统化知识地图--合集(附PDF下载)

    声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
    AI
    more
    英特尔AI PC应用新突破!三大应用重磅上线
    强化学习+MCP=王炸?开源框架教AI在MCP中玩转工具解决任务,实测效果超越GPT!
    67.4%原生App呈负增长!2025年AI应用市场半年报来了
    全球最大AI模型聚合平台诞生!不争冠军只做擂台
    2025年度AI关键词(八):应用挑战  | 《WAIC UP!》绿皮书Ⅲ
    Dwarkesh Patel:我花了100小时,才发现AI最大的瓶颈不是智力,而是学不会
    GPT-5将上线,OpenAI 这份“作业”合格吗?| 青源Workshop第33期
    GPT-5发布时间定了,图标版本曝光/大疆发布首款扫地机器人/马斯克Grok4或称霸AI象棋大赛
    用平扫CT筛查早期癌症,阿里医疗AI正让国人夺回“主动权”
    谷歌推出「学习辅导」,又一大型AI实验室推出了教育模式,Gemini变身苏格拉底,目标是重塑你的思考方式
    Copyright © 2025 成都科技区角科技有限公司
    蜀ICP备2025143415号-1
      
    川公网安备51015602001305号