#LLM Serving

以固定工作負載、逐類別延遲目標、佇列證據與故障測試量測有效容量。

用可執行的小型模擬，探索 token 排程、分塊預填充、搶占與背壓。

追蹤請求的預填充、解碼、快取與串流流程，核對時間與記憶體成本。