AI 系統架構30 分鐘
打造旅遊 Copilot:端對端架構、核准閘門(Approval Gate)與稽核能力(Auditability)
當一個團隊準備建構進階 AI 旅遊 Copilot 時,真正的難題不是「用哪個模型」,而是「在系統能被正式環境信任之前,什麼事情必須發生、按什麼順序、憑什麼證據、在什麼狀態下、經誰核准?」這是架構問題——模型位於其中,但模型並不能解決這個問題。
Huang Tzu Lin
設計複合式 AI 系統:把模型與檢索、工具、控制邏輯與驗證組合在一起。
3 篇文章
當一個團隊準備建構進階 AI 旅遊 Copilot 時,真正的難題不是「用哪個模型」,而是「在系統能被正式環境信任之前,什麼事情必須發生、按什麼順序、憑什麼證據、在什麼狀態下、經誰核准?」這是架構問題——模型位於其中,但模型並不能解決這個問題。
有用的 AI 系統往往還沒遇到什麼奇特的模型問題,就先因為普通的軟體原因出狀況了。原型階段看起來很厲害——一個提示就能產生看似合理的答案。但正式系統面對的不是合理性,而是一筆筆需要路由、驗證(validation)、重試、儲存或拒絕的紀錄、決策和動作。
真實 AI 產品裡的多數失敗,根本不是模型能力不夠。問題出在我們要求模型去做本該屬於更大系統的工作:擷取正確的資料、解讀混亂的文件、檢查 schema、追蹤跨步驟的狀態、為答案附上佐證。Demo 階段可以掩蓋這些問題,但一進正式環境,馬上就暴露了。