本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。
張量平行處理
張量平行處理是模型平行處理類型，其中特定模型權重、漸層與最佳化工具狀態會跨裝置分割。有別於管道平行處理 (其可保持個別權重不變，但會分割權重集)，張量平行處理會分割個別權重。這通常涉及特定作業、模組或模型層的分散式運算。
如果單一參數使用多數 GPU 記憶體 (例如字彙量較大的大型內嵌資料表或具大量類別的大型 softmax 層)，則需要張量平行處理。在這種情況，將此大型張量或作業視為原子單位不具效率，且會阻礙記憶體負載的平衡。
對於極大型模型而言，純管道傳輸完全不足以符合需求，此時，張量平行處理也很有幫助。例如，對於需要分割超過數十個執行個體的 GPT-3 規模模型，純微批次管道傳輸的效率不佳，因為管道深度過高，而且額外負荷變得過大。
注意
Tensor 平行處理原則適用於 PyTorch SageMaker 模型平行程式庫 v1.6.0 及更新版本。
