SUS05-BP04 Otimizar o uso de aceleradores de computação baseados em hardware

Otimize o uso de instâncias com computação acelerada para reduzir as demandas de infraestrutura física de sua workload.

Práticas comuns que devem ser evitadas:

• Você não está monitorando o uso da GPU.

• Você está usando uma instância de finalidade geral para workload, enquanto uma instância criada especificamente pode oferecer maior performance, menor custo e melhor performance por watt.

• Você está usando aceleradores de computação baseados em hardware para tarefas em que são mais eficientes usando alternativas baseadas em CPU.

Benefícios de implementar esta prática recomendada: ao otimizar o uso de aceleradores baseados em hardware, é possível reduzir as demandas de infraestrutura física da workload.

Nível de risco exposto se esta prática recomendada não for estabelecida: Médio

Orientação para implementação

Se você precisar de alta capacidade de processamento, poderá se beneficiar do uso de instâncias com computação acelerada, que fornecem acesso a aceleradores de computação baseados em hardware, como unidades de processamento gráfico (GPUs) e matrizes de portas programáveis em campo (FPGAs). Esses aceleradores de hardware executam certas funções, como processamento gráfico ou correspondência de padrões de dados, com mais eficiência do que alternativas baseadas em CPU. Muitas workloads aceleradas, como renderização, transcodificação e machine learning, são altamente variáveis em termos de uso de recursos. Execute esse hardware apenas pelo tempo necessário e desative-o com automação quando não precisar mais dele para minimizar o consumo de recursos.

Etapas de implementação

• Identifique quais instâncias com computação acelerada podem atender às suas necessidades.

• Para workloads de machine learning, utilize hardware específico para sua workload, como AWS Trainium, AWS Inferentia e Amazon EC2 DL1. AWS Instâncias do Inferentia, como instâncias Inf2, oferecem performance até 50% melhor por watt em relação a instâncias comparáveis do Amazon EC2.

• Colete métricas de uso para suas instâncias com computação acelerada. Por exemplo, você pode usar o agente do CloudWatch para coletar métricas como utilization_gpu e utilization_memory e para suas GPUs, conforme mostrado em Coletar métricas de GPU NVIDIA com o Amazon CloudWatch.

• Otimize o código, a operação de rede e as configurações dos aceleradores de hardware para garantir que o hardware subjacente seja totalmente utilizado.

  • Otimizar as configurações da GPU

  • Monitoramento e otimização da GPU na AMI de aprendizado profundo

  • Otimizar a E/S para ajuste de performance da GPU de treinamento de aprendizado profundo no Amazon SageMaker

• Use as mais recentes bibliotecas de alta performance e drivers de GPU.

• Use automação para liberar instâncias de GPU quando não estiverem em uso.

Recursos

Documentos relacionados:

• Computação acelerada

• Vamos arquitetar! Como arquitetar com chips e aceleradores personalizados

• Como faço para escolher o tipo de instância do Amazon EC2 apropriado para minha workload?

• Instâncias VT1 do Amazon EC2

• Escolher o melhor acelerador de IA e compilação de modelos para inferência de visão computacional com o Amazon SageMaker

Vídeos relacionados:

• AWS re:Invent 2021: Como selecionar instâncias de GPU do Amazon EC2 para aprendizado profundo

• AWS Online Tech Talks: Implantar inferência de aprendizado profundo eficiente em termos de custos

• AWS re:Invent 2023: IA de última geração com a AWS e a NVIDIA

• AWS re:Invent 2022 [NOVO LANÇAMENTO!]: Introdução as instâncias Inf2 do Amazon EC2 baseadas no AWS Inferentia2

• AWS re:Invent 2022: Acelere o aprendizado profundo e inove com mais rapidez com o AWS Trainium

• AWS re:Invent 2022: Aprendizado profundo na AWS com a NVIDIA: do treinamento à implantação