What is RAG, ROG, and RCG?
👋

What is RAG, ROG, and RCG?

Tags
AI
RAG
RCG
LLM
Published
June 29, 2024
Author
YidaHu

前言

在人工智能的发展中,检索增强型生成(RAG)、检索关闭型生成(ROG)和检索中心型生成(RCG)是关键技术。它们的核心思想是使用外部数据源来增强大型语言模型的能力,从而实现更精确和可靠的信息生成。本文将深入解析这三种方法的具体概念,以及它们在角色分离、知识整合方式以及生成文本的准确性和可靠性方面的差异。

概念

RAG (Retrieval-Augmented Generation):检索增强型生成。这是一种方法,通过将外部数据源整合到大型语言模型(LLMs)中,来增强模型的能力。它使用稀疏或密集的检索器来实现,允许使用私有数据而不需要重新训练或微调语言模型;
ROG (Retrieval-OFF Generation):检索关闭型生成。在这种方法中,检索器被完全禁用,语言模型仅依赖其自身的知识库来生成响应;
RCG (Retrieval-Centric Generation):检索中心型生成。区分了大型语言模型(LLMs)和检索器在上下文解释和知识记忆方面的角色。通过将上下文解释与知识记忆分开,这种方法可能提高生成AI系统的性能和可解释性。RCG方法强调了检索器在知识记忆方面的重要性,并将上下文解释的任务更多地交给了语言模型。【这种解释其实也含糊不清】
而进一步的,对RAG与RCG两者进行对比,如下【实际上是一堆概念】:

对比

1、角色分离
RAG:在RAG方法中,语言模型和检索器之间的角色分离不如RCG明确。RAG允许语言模型更自由地结合其内在知识和检索到的知识来生成文本。
RCG:RCG方法强调在语言模型和检索器之间进行明确的角色分离。语言模型主要负责上下文解释,而检索器负责知识记忆和提供相关信息。
notion image
 
2、知识整合方式
RAG:RAG可能会将检索到的知识与语言模型的内在知识更紧密地结合,这可能导致生成的文本中包含混合的信息源。
RCG:RCG则更倾向于使用检索到的知识作为生成文本的主要信息源,语言模型使用这些信息来生成回答,从而保持了知识的清晰来源。
 
3、生成文本的准确性和可靠性
RAG:由于RAG在生成文本时可能会混合使用检索到的知识与模型的内在知识,这可能导致在某些情况下生成的信息不够准确或出现“幻觉”(hallucinations)。
RCG:RCG通过明确区分上下文解释和知识记忆,有助于减少这种风险,因为它限制了语言模型生成的范围,更多地依赖于检索到的确切信息。

结论

其实,更直白的就是:RAG中会混用外部检索到的上下文以及大模型内部的知识,而RCG完全使用外部检索的上下文