#Capacity Planning

推論基準測試不是比誰印出的 tokens-per-second 最大。它是一個實驗，用來回答：一套版本固定的系統，能否在足夠比例的請求都符合明確延遲與可靠性目標時，持續承受指定工作負載。如果沒有工作負載、抵達過程、快取狀態、分母與百分位數，吞吐量數字就無法回答容量問題。