#Distributed Inference

從記憶體、通訊與失效邊界，比較資料、張量、管線與上下文平行化。

區分模型路由與專家配置，計算各種部署方式所需的記憶體與通訊。