代理與自主23 分鐘
AI 代理身分、授權與提示注入防護:建立敏感操作閘門
提示可以要求模型訂飯店,卻不能授予花費客戶款項、讀取其他客戶行程檔案,或匯出護照紀錄的法律或技術權限。這些決策屬於經過驗證的身分、資源政策、委派權限與應用程式端的強制執行。
Huang Tzu Lin
4 篇文章
提示可以要求模型訂飯店,卻不能授予花費客戶款項、讀取其他客戶行程檔案,或匯出護照紀錄的法律或技術權限。這些決策屬於經過驗證的身分、資源政策、委派權限與應用程式端的強制執行。
Agent(代理)已經成為 AI 中最被濫用的術語之一。產品團隊拿它來形容各種東西——從帶有檢索功能的聊天介面,到可以自行規劃、呼叫工具和採取行動的長時間執行程式,通通都算。這種詞彙漂移會造成實際問題:真正的設計問題明明是架構性的,團隊卻在爭論標籤。
客戶支援很適合當基礎系列的收束實作,因為一則訊息可能同時需要問題分解、私有紀錄、政策證據、工具、狀態、授權與人工交接。
語言模型可以寫出「提交報價」,但這幾個字本身不會提交任何東西。真正的行動,要等應用程式接下模型產生的提案、檢查政策與權限、呼叫工具,再記錄結果才會發生。