Agent 讓 RAG 過時了嗎? 談 AI Coding 的檢索策略

看了一場 Augment Code (也是一家做 AI IDE 的廠商) 來講 “Agentic 檢索” 對比 “傳統 RAG 檢索” 的演講，蠻有啟發的。
在 AI Coding 領域，簡單的工具正在擊敗複雜的 RAG 系統。

AI Coding 的演進歷程

AI Coding 的演進是這樣:

• 2023: Code completion 補全時代，例如 Github Copilot
• 2024: 出現側欄 chatbot 來寫這個檔案的 code
• 2025: 進到 Agent 時代，例如 Claude Code 可以跨多個檔案寫 code

隨著每次演進，IDE 底層檢索的複雜度越來越高。我們知道 LLM 需要正確的 context 才能良好運作(也就是 context engineering)，因為需要設計一套檢索系統，找出當下模型所需要參考的程式碼。
像 code completion 只需要超低延遲的簡單檢索即可，chatbot 時代需要理解更複雜的抽象問題，而 agent 就必須理解整個專案的許多不同部分。

他們對 AI Coding 領域的驚人發現是: 簡單的工具就夠了，Augment 團隊在 SWE-Bench 拿下第一名，論文中寫道:「我們探索了新增各種基於嵌入的檢索工具，但發現對於 SWE-Bench 任務來說，這並不是瓶頸。用 grep 和 find 工具就足夠了」。

近期很夯的 Claude Code、OpenAI Codex、Gemini CLI 也通通沒有用 embedding 模型來做檢索。
程式碼檢索為什麼 grep/find 就夠用? 因為程式碼有很多高訊號的關鍵字詞彙，這些結構化的關鍵字讓 grep 搜尋變得非常有效。

Agentic 檢索的工作流程

AI Coding 的 Agent 解決過程像這樣:

1. 用 find 命令搜尋所有名稱中帶有關鍵字的檔案
2. 找到檔案後，用檔案讀取工具查看內容。如果檔案比較大，只讀取檔案前 50 行(節省 token)
3. 用 grep 繼續搜尋相關的類別、方法、函式
4. 持續迭代用 find 和 grep 和檔案讀取工具，直到檢索出足夠的內容

即使 Agents 有點笨，但他們很堅持。他們最終會用 grep 和 find 找到需要的內容。換句話說，Agent 的堅持性正在補償較差工具的不足。

Agentic 檢索的優勢

1. 迭代檢索架構很簡單: 傳統方法需要多個嵌入模型、多次運算、平衡結果。Agentic 方法就是一個簡單循環
2. Token 管理更容易: 達到 token 限制就截斷舊的工具呼叫結果，替換為「已截斷，如需要請重新執行」，Agent 不會遇到錯誤
3. 建立和維護成本極低: 不需要向量資料庫、資料同步機制等複雜基礎設施
4. 路徑修正特性: 失敗就再試一次，有自我修正能力

限制與挑戰

但以上僅限於程式碼場景，其他領域就不一定了。講者明確提到限制:

1. 對低結構邏輯的內容效果不佳: 其他類型內容不像程式碼那樣有組織層次有高訊號關鍵字。讓 Agent 在海量文件中，沒有導航線索去盲目探索效率極低
2. 難以擴展: 對千萬個檔案跑 grep 根本不可行，例如你無法用 grep 取代 Google 的 PageRank 機制
3. 相當緩慢和昂貴: 嵌入模型的檢索只需要 50 毫秒，用 Agent 跑你需要好幾分鐘

另外，這裏還有商業模式的考量，如果你的 AI 產品是訂閱制(例如 Cursor 每月 $20)，你會需要 RAG 複雜架構來節省成本。如果是 BYOK (自帶 API key) 模式，則可以完全用 Agentic 檢索，不需要用 embedding 模型來做檢索。若是全用 Agent 解決方案會非常昂貴，這會燃燒大量的 tokens。

混合架構：最佳解決方案

因此對非程式碼領域，講者認為混合架構是最佳解:

針對其他領域 (醫療記錄、建築文件、法律文件、歌曲資料庫等)，採用混合架構: 建立優秀的 embedding 嵌入模型檢索，然後提供給 Agent 當作工具使用，就像提供 grep 和 find 工具一樣。讓 agentic 循環可以存取優秀的嵌入模型檢索作為工具，結合兩者優勢。

另外他也提到關於記憶系統的洞察，Agent 可以用工具來建立記憶和讀取記憶，來描述程式碼庫特徵，比如「這些是定義模型的檔案」。這些記憶除了是個人化功能，但某種程度上也是語義快取，可以加速未來的搜尋。

三種檢索架構比較

以下附圖三張是講者分析三種檢索架構的比較

總結

• AI Coding: 簡單的 grep/find 就夠了，Agent 的堅持性補償工具不足
• 其他領域: 保留現有 embedding 系統，包裝成 Agent 可用的工具
• 通用原則: 無論你已經擁有什麼檢索系統，都將其轉換為工具並從那裡迭代

最後建議

1. 如果你已有檢索系統: 不要丟棄，將其轉換為 Agent 工具(這就是做MCP啦)，在它之上建立 Agentic 檢索
2. 如果從零開始: 先建立最簡單的檢索工具，套上 Agent 循環，然後根據最大痛點來迭代
3. 評估策略: 從 5 個 vibe evals 開始，別急著做定量評估。對自然語言系統，看具體例子比追求數字指標更有用。

參考資料

• RAG in the Age of Agents: SWE-Bench as a Case Study 影片 以及 我根據逐字稿 整理的文章
• 另一場也是相關的 talk: Lessons on retrieval for autonomous coding agents 影片 以及我根據逐字稿 整理的文章