#Latency & Throughput

路由推論請求時，平衡前綴重用、佇列負載、相容性與租戶隔離。

評估分離推論階段是否值得付出 KV 傳輸、協調與部署複雜度的代價。

用可執行的小型模擬，探索 token 排程、分塊預填充、搶占與背壓。

追蹤請求的預填充、解碼、快取與串流流程，核對時間與記憶體成本。