內容平行處理

內容平行處理是一種模型平行處理，沿著序列維度分割模型啟用。與僅分割 LayerNorm和 的其他序列平行處理技術不同RMSNorm，內容平行處理會沿著序列維度分割網路輸入和所有中繼啟用。

SMP v2 與 Transformer Engine 整合以達成內容平行處理，並且可與 PyTorch FSDP 和 SMP 搭配使用張量平行處理。您可以同時啟用所有三個平行處理以進行模型訓練。內容平行處理對於具有大型啟用大小和長序列長度的訓練模型很有幫助。它透過允許每個裝置沿著序列維度僅計算一部分分數和輸出，來加速注意力分數和注意力輸出的運算。雖然張量平行處理也透過沿著隱藏維度的分割加速運算，但內容平行處理的優點更重要，因為運算需求會隨著序列維度以四分位數增加。

與 SMP 內容平行處理相容的 Hugging Face Transformer 模型

SMP v2 目前為下列 Hugging Face 轉換器模型提供內容平行處理支援。

• GPT-NeoX

• Llama 2 和 Llama 3

• 混合 7B

設定內容平行處理

將整數值設定為 參數，該context_parallel_degree參數會平均分配叢集中的 GPUs 數量。例如，如果您有 8-GPU 執行個體，請針對 使用 2、4 或 8context_parallel_degree。我們建議從小context_parallel_degree值開始逐步增加，直到模型符合 GPU 記憶體中所需的輸入序列長度。

下列程式碼片段示範如何將 SMP 初始化模組新增至torch.sagemaker.init()訓練指令碼，並設定訓練任務啟動器的 JSON 格式 SMP 組態字典，同時遵循 中介紹的兩個步驟程序使用 SageMaker 模型平行處理程式庫 v2。您不需要對 PyTorch 模型或 PyTorch FSDP 組態進行任何變更。如需 context_parallel_degree 參數的詳細資訊，請參閱 SMP v2 核心功能組態參數。

在您的訓練指令碼中

在步驟 1 中，使用 初始化指令碼torch.sagemaker.init()以啟用 SMP v2，並使用 torch.sagemaker.transform API 包裝模型。

從 SMP v2.6.0 開始，您可以使用 引數cp_comm_type來判斷要使用的內容平行處理實作。SMP 程式庫目前支援兩種實作： p2p和 all_gather。p2p 實作會在注意力實作期間使用peer-to-peer收發呼叫來累積金鑰值，並以非同步方式執行，允許與運算重疊。 all_gather實作會改用 AllGather 集合操作，並同步執行。

import torch.sagemaker as tsm
tsm.init()

from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_config(..)
model = tsm.transform(model, cp_comm_type="p2p")

SMP 組態

在步驟 2 中，將下列參數新增至 SageMaker PyTorch 估算器的 SMP 組態字典。 PyTorch

{   
    ..., # other SMP config parameters
    "context_parallel_degree": 2
}