Maximize a largura de banda da rede em instâncias do Amazon EC2 com várias placas de rede

Muitos tipos de instâncias que oferecem suporte ao EFA também têm várias placas de rede. Para obter mais informações, consulte Placas de rede. Se você planeja usar o EFA com um desses tipos de instâncias, recomendamos a seguinte configuração básica:

• Para a interface de rede primária (índice da placa de rede 0, índice do dispositivo 0), crie uma interface EFA (EFA com ENA). Você não pode usar uma interface de rede exclusiva do EFA como interface de rede primária.

• Para cada interface de rede adicional, use o próximo índice de placa da rede não utilizado, o índice do dispositivo 1 e uma interface de rede EFA (EFA com ENA) ou somente EFA, dependendo do seu caso de uso, como requisitos de largura de banda do ENA ou espaço de endereço IP. Para obter casos de uso de exemplo, consulte Configuração da EFA para instâncias P5.

nota

As instâncias P5 exigem que as interfaces de rede sejam configuradas de uma maneira específica para permitir a máxima largura de banda da rede. Para obter mais informações, consulte Configuração da EFA para instâncias P5.

Os exemplos a seguir mostram como iniciar uma instância com base nessas recomendações.

Instance launch

Para especificar EFAs durante a inicialização da instância usando o assistente de inicialização de instâncias

1. Na seção Configurações de rede, escolha Editar.

2. Expanda Configuração de rede avançada.

3. Para a interface de rede primária (Interface de rede 1), selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

4. Para cada interface de rede adicional necessária, selecione Adicionar interface de rede. Para Índice da placa de rede, selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface = EFA com ENA ou somente EFA.

Para especificar EFAs durante a execução da instância usando o comando run-instances

Para--network-interfaces, especifique o número necessário de interfaces de rede. Para a interface de rede primária, especifique NetworkCardIndex=0, DeviceIndex=0, e InterfaceType=efa. Para qualquer interface de rede adicional, para NetworkCardIndex especificar o próximo índice não utilizado,DeviceIndex=1, e InterfaceType=efa ouefa-only.

O exemplo de snippet de comando a seguir mostra uma solicitação com 32 dispositivos EFA e um dispositivo ENA.

$ aws --region $REGION ec2 run-instances \
 --instance-type p5.48xlarge \
 --count 1 \
 --key-name key_pair_name \
 --image-id ami-0abcdef1234567890 \
 --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=1,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=2,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=3,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=4,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=5,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=6,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=7,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=8,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=9,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=10,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=11,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=12,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=13,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=14,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=15,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=16,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=17,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=18,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=19,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=20,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=21,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=22,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=23,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=24,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=25,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=26,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=27,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=28,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=29,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=30,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only" \
"NetworkCardIndex=31,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa|efa-only"
...

Launch templates

Para adicionar EFAs a um modelo de execução usando o console do Amazon EC2

1. Na seção Configurações de rede, expanda Configuração de rede avançada.

2. Para adicionar a interface de rede primária (Interface de rede 1), selecione Adicionar interface de rede e selecione Índice da placa de rede = 0, Índice do dispositivo = 0 e Tipo de interface = EFA com ENA.

3. Para adicionar outras interfaces de rede, selecione Adicionar interface de rede. Para Índice da placa de rede, selecione o próximo índice não utilizado e, em seguida, selecione Índice do dispositivo = 1 e Tipo de interface = EFA com ENA ou somente EFA.

Para adicionar EFAs a um modelo de execução usando o comando create-launch-template

ParaNetworkInterfaces, especifique o número necessário de interfaces de rede. Para a interface de rede primária, especifique NetworkCardIndex=0, DeviceIndex=0, e InterfaceType=efa. Para qualquer interface de rede adicional, para NetworkCardIndex especificar o próximo índice não utilizado,DeviceIndex=1, e InterfaceType=efa ouefa-only.

O trecho a seguir mostra um exemplo com 3 interfaces de rede das 32 interfaces de rede possíveis.

"NetworkInterfaces":[
{
  "NetworkCardIndex":0,
  "DeviceIndex":0,
  "InterfaceType": "efa",
  "AssociatePublicIpAddress":false,
  "Groups":[
    "security_group_id"
  ],
  "DeleteOnTermination":true
},
{
  "NetworkCardIndex": 1,
  "DeviceIndex": 1,
  "InterfaceType": "efa|efa-only",
  "AssociatePublicIpAddress":false,
  "Groups":[
    "security_group_id"
  ],
  "DeleteOnTermination":true
},
{
  "NetworkCardIndex": 2,
  "DeviceIndex": 1,
  "InterfaceType": "efa|efa-only",
  "AssociatePublicIpAddress":false,
  "Groups":[
    "security_group_id"
  ],
  "DeleteOnTermination":true
},
{
  "NetworkCardIndex": 3,
  "DeviceIndex": 1,
  "InterfaceType": "efa|efa-only",
  "AssociatePublicIpAddress":false,
  "Groups":[
    "security_group_id"
  ],
  "DeleteOnTermination":true
}
...

Configuração da EFA para instâncias P5

As instâncias P5 têm uma capacidade total de largura de banda de rede de 3.200 Gbps, dos quais até 800 Gbps podem ser utilizados para tráfego de rede IP. Como o tráfego de rede EFA e IP compartilha os mesmos recursos subjacentes, a largura de banda usada por um reduzirá a largura de banda disponível para o outro. Isso significa que você pode distribuir a largura de banda da rede entre o tráfego EFA e o tráfego IP em qualquer combinação, desde que a largura de banda total não exceda 3.200 Gbps e a largura de banda IP não exceda 800 Gbps. Por exemplo, se você usar 400 Gbps para a largura de banda IP, poderá atingir até 2.800 Gbps de largura de banda EFA ao mesmo tempo.

Caso de uso 1: salve endereços IP e evite possíveis problemas de IP do Linux

Essa configuração fornece até 3200 Gbps de largura de banda de rede EFA e até 100 Gbps de largura de banda de rede IP com um endereço IP privado. Essa configuração também ajuda a evitar possíveis problemas de IP do Linux, como atribuição automática não permitida de endereços IP públicos e desafios de roteamento IP (problemas de mapeamento de nome de host para endereço IP e incompatibilidade de endereço IP de origem), que podem surgir se uma instância tiver várias interfaces de rede.

• Para a interface de rede primária (índice da placa de rede 0, índice do dispositivo 0), use uma interface de rede EFA (EFA com ENA).

• Para as demais interfaces de rede (índices da placa de rede de 1 a 31, índice do dispositivo 1), use interfaces de rede somente EFA.

Caso de uso 2: largura de banda máxima de rede EFA e IP

Essa configuração fornece até 3200 Gbps de largura de banda de rede EFA e até 800 Gbps de largura de banda de rede IP com 8 endereços IP privados. Você não pode atribuir automaticamente endereços IP públicos com essa configuração. No entanto, você pode anexar um endereço IP elástico à interface de rede primária (índice da placa de rede 0, índice do dispositivo 0) após a execução para ter conectividade com a Internet.

• Para a interface de rede primária (índice da placa de rede 0, índice do dispositivo 0), use uma interface de rede EFA (EFA com ENA).

• Para as interfaces restantes, faça o seguinte:

  • Especifique interfaces de rede somente EFA nos índices 1, 2 e 3 da placa de rede e use o índice do dispositivo 1.

  • Especifique uma interface de rede EFA (EFA com ENA) e três interfaces de rede somente EFA em cada um dos seguintes subconjuntos de índice de placa de rede, e use o índice do dispositivo 1 em todas elas:

    • [4,5,6,7]

    • [8,9,10,11]

    • [12,13,14,15]

    • [16,17,18,19]

    • [20,21,22,23]

    • [24,25,26,27]

    • [28,29,30,31]

O exemplo a seguir ilustra essa configuração:

$ aws --region $REGION ec2 run-instances \
 --instance-type p5.48xlarge \
 --count 1 \
 --key-name key_pair_name \
 --image-id ami_id \
 --network-interfaces "NetworkCardIndex=0,DeviceIndex=0,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=1,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=2,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=3,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=4,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=5,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=6,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=7,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=8,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=9,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=10,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=11,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=12,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=13,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=14,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=15,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=16,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=17,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=18,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=19,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=20,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=21,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=22,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=23,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=24,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=25,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=26,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=27,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=28,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa" \
"NetworkCardIndex=29,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=30,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only" \
"NetworkCardIndex=31,DeviceIndex=1,Groups=security_group_id,SubnetId=subnet_id,InterfaceType=efa-only"
...

Configuração do EFA para instâncias P6e-GB200

As instâncias P6e-GB200 podem ser configuradas com até 17 placas de rede. A imagem a seguir mostra o layout da placa de interface de rede (NIC) física para instâncias P6e-GB200, com o mapeamento dos índices de placa de rede (NCIs).

O NCI primário (índice 0) suporta até 100 Gbps de largura de banda ENA. Os NCIs com os seguintes índices suportam apenas interfaces de rede EFA e largura de banda EFA de 400 Gbps: [1, 3, 5, 7, 9, 11, 13, 15]. Os NCIs com os seguintes índices suportam largura de banda ENA ou EFA de até 200 Gbps: [2, 4, 6, 8, 10, 12, 14, 16].

Os NCIs nos seguintes grupos compartilham um NIC físico subjacente no host:

• [1 e 2]

• [3 e 4]

• [5 e 6]

• [7 e 8]

• [9 e 10]

• [11 e 12]

• [13 e 14]

• [15 e 16]

Cada NIC física suporta até 400 Gbps de largura de banda. Como os NCIs desses grupos compartilham a mesma NIC física subjacente, a largura de banda usada por um reduzirá a largura de banda disponível para o outro. Por exemplo, se o NCI 2 usar 200 Gbps de largura de banda ENA, o NCI 1 poderá usar até 200 Gbps de largura de banda EFA ao mesmo tempo.

Cada GPU subjacente no host pode enviar tráfego diretamente pelos seguintes pares de NCIs:

• [1 e 3]

• [5 e 7]

• [9 e 11]

• [13 e 15]

Cada GPU suporta até 400 Gbps de largura de banda EFA. Como as placas de rede desses grupos compartilham a mesma GPU, a largura de banda usada por uma reduzirá a largura de banda disponível para a outra. Por exemplo, se o NCI 1 usar 200 Gbps de largura de banda EFA, o NCI 3 poderá usar até 200 Gbps de largura de banda EFA ao mesmo tempo. Portanto, para obter a máxima performance do EFA, recomendamos executar uma das seguintes ações para alcançar um total de 1.600 Gbps de largura de banda EFA:

• Adicione uma interface de rede somente EFA a apenas um NCI em cada grupo para obter 400 Gbps por interface de rede (4 interfaces de rede EFA x 400 Gbps).

• Adicione uma interface de rede somente EFA a cada NCI em cada grupo para obter 200 Gbps por interface de rede (8 interfaces de rede EFA x 200 Gbps).

Por exemplo, a configuração a seguir fornece até 1.600 Gbps de largura de banda EFA usando uma única interface de rede somente EFA em cada grupo de NCI, e até 100 Gbps de largura de banda da rede ENA usando somente o NCI primário (índice 0).

• No NCI primário (índice de placa de rede 0, índice de dispositivo 0), use uma interface de rede ENA.

• Adicione interfaces de rede somente EFA aos seguintes índices:

  • NCI 1, índice de dispositivo 0

  • NCI 5, índice de dispositivo 0

  • NCI 9, índice de dispositivo 0

  • NCI 13, índice de dispositivo 0