推論基礎設施

以固定工作負載、逐類別延遲目標、佇列證據與故障測試量測有效容量。

從記憶體、通訊與失效邊界，比較資料、張量、管線與上下文平行化。

區分模型路由與專家配置，計算各種部署方式所需的記憶體與通訊。

路由推論請求時，平衡前綴重用、佇列負載、相容性與租戶隔離。

評估分離推論階段是否值得付出 KV 傳輸、協調與部署複雜度的代價。

計算每 token 記憶體、配置完整區塊，分辨當下容量與完成生成所需空間。

用可執行的小型模擬，探索 token 排程、分塊預填充、搶占與背壓。

追蹤請求的預填充、解碼、快取與串流流程，核對時間與記憶體成本。