Advanced RAG(高級 RAG)

優化Naive RAG「檢索」和「生成」階段

改進：

預檢索優化（Pre-Retrieval）：

• 索引優化：改進索引結構讓檢索更高效

• 查詢優化：把User的問題進行改寫，讓問題更清楚、更適合檢索

後檢索優化（Post-Retrieval）：

• 重新排序（Reranking）：檢索到的資訊重新排序，把最相關的放到最前面

• 上下文壓縮（Context Compression）：檢索過多資料就壓縮文字，保留核心資訊

技術核心： 引入了語義理解和強化的檢索技術以克服基礎型的限制。

機制： 使用密集檢索模型 (Dense Retrieval)（如 DPR）和神經重排序算法。其關鍵功能包括高維向量搜索、上下文重排序以及針對複雜問題的「多跳檢索」（Multi-hop retrieval）。

優點： 顯著提升了檢索的精確度和上下文相關性。

• 密集向量搜尋：查詢和文件在高維度向量空間中表示，從而能夠更好地實現使用者查詢和檢索到的文檔之間的語義對齊

• 上下文重排序：神經模型將檢索到的文件重新排序，以優先考慮與上下文最相關的資訊

• 迭代檢索：進階 RAG 引入了多跳檢索機制，能夠跨多個文件進行推理，以處理複雜的查詢

缺點：

• 系統變複雜，優化過程需要更多計算資源和時間

• 對於非常複雜或多變的任務，沒有辦法應對

這些進步使得高級 RAG 適用於需要高精度和細緻理解的應用，例如研究綜合和個人化推薦。然而，計算開銷和可擴展性有限等挑戰依然存在，尤其是在處理大型資料集或多步驟查詢時。

參考資料：https://ithelp.ithome.com.tw/m/articles/10349310

相關筆記

• Naïve RAG(基礎型 RAG)：前一階段
• 模組化 RAG (Modular RAG)：下一階段
• RAG 系統架構圖：Query Enhancement、Semantic Cache 的實際架構
• 中國醫RAG專案說明：實例：訓練 dense retriever（Contriever）
• 第四章LLM：讀書筆記中的進階 RAG