RAG - AI 2.0
AI 技术
- 做 AI 产品的工程研发需充分掌握 AI 技术
- AI 产品从 MVP 到 PMF 的演进过程中会面临非常多的挑战
- MVP - Minimum Viable Product - 最小可用产品
- PMF - Product-Market Fit - 产品市场契合
- 要实现 AI 产品的 PMF
- 首先需要充分了解 AI 技术,明确技术边界,找到合适 AI 技术的应用场景
- 其次,需要深刻理解业务,用户需求决定产品方向,AI 技术是为业务服务的工具
- 在验证阶段,优先使用最佳 AI 模型以确保产品满足市场需求,确认后再逐步降低模型成本
- 坚持业务优先、价值至上的原则,避免纯 AI 科研化,脱离实际场景做 AI 技术选型
RAG
LLM 局限 - 幻觉 + 知识实效性 + 领域知识不足 + 数据安全问题
- 由 OpenAI ChatGPT 引领的 AI 2.0 LLM 时代,见证了 LLM 在知识、逻辑、推理能力上的突破
- Scaling Law、压缩产生智能、边际成本为零为理想中的 AGI
- 尽管 LLM 功能强大,但仍存在幻觉、知识实效性、领域知识不足以及数据安全问题的局限性 - RAG
- 文档问答类 LLM RAG 应用是 AI 2.0 时代最早落地的应用类型之一
优势
- RAG 使得开发者能够在无需为每个特定任务重新训练或微调 LLM 的情况下
- 通过连接外部知识库和文档,为 LLM 注入额外的非参数化知识
- 从而显著提升其在专业领域的能力和回答精度
- RAG 赋予 LLM 在垂直场景中巨大的效率和价值
- 有望成为最快涌现的杀手级应用,已成为 LLM 应用落地最热门的方向之一
参数化知识 vs 非参数化知识
参数化知识 | 非参数化知识 | |
---|---|---|
获得方式 | 训练过程得到 | 从外部资源中获得 |
存储方式 | 以参数权重的形式存储 | 以文件的形式存储 |
更新周期 | 需要用微调的方式更新,更新周期长,成本高 | 容易更新,更新周期短,接近实时,成本低 |
RAG 应用开发
- AI 技术的深度使用,需要更加深入理解 AI 技术组件
- 具备调整组件内部细节的能力,以便进行更好的 AI 软件编排和提升应用效果
All articles in this blog are licensed under CC BY-NC-SA 4.0 unless stating additionally.