跳至主要內容
標籤工程技術誌

#Context Windows

3 篇文章

當 RAG 不夠用時:快取增強生成(CAG)、混合檢索與工作記憶

基本的檢索增強生成(RAG)到現在還是多數正式環境系統最常用的基礎模式。語料庫很大、更新頻繁、又需要展示答案來源?檢索依然是最乾淨的起點。不過實務上會碰到一種極限情境——簡單的 RAG 開始力不從心:系統確實找到了正確的文件,但任務現在需要的是針對一組有限的證據持續推理,同時回答同一案件的多次後續追問。

Huang Tzu Lin
LLM 基礎24 分鐘

提示詞、上下文視窗,以及你如何與 LLM 對話

上一篇裡,我們丟了一句話給 LLM——「幫我規劃一趟赫爾辛基(Helsinki)之旅」——然後拿到一份細節滿滿的行程表:餐廳名、交通路線、一日遊安排。讀起來很順,看起來也合理,但好幾個細節事後被證實是錯的。模型沒壞,只是輸入沒給它什麼限制條件可以依循。

Huang Tzu Lin