#KV Cache

路由推論請求時，平衡前綴重用、佇列負載、相容性與租戶隔離。

計算每 token 記憶體、配置完整區塊，分辨當下容量與完成生成所需空間。

追蹤請求的預填充、解碼、快取與串流流程，核對時間與記憶體成本。