Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Uso de AWS Neuron en Amazon Linux 2 en Amazon ECS
Puede registrar instancias Trn1
Las instancias Trn1 de Amazon EC2 están equipadas con chips AWSde Trainium
Las instancias Inf1 e Inf2 de Amazon EC2 están equipadas con chips de AWSInferentia que proporcionan un
Los modelos de machine learning se implementan en contenedores mediante AWSNeuron
Consideraciones
Antes de comenzar a implementar Neuron en Amazon ECS, tenga en cuenta lo siguiente:
-
Los clústeres pueden contener una combinación de instancias Trn1, Inf1, Inf2 y otras.
-
Necesita una aplicación de Linux en un contenedor que use un marco de machine learning compatible con AWS Neuron.
importante
Es posible que las aplicaciones que utilizan otros marcos no tengan un rendimiento mejorado en las instancias Trn1, Inf1 e Inf2.
-
Solo se puede ejecutar una tarea de inferencia o entrenamiento de inferencias en cada chip AWS Trainium
o AWS Inferentia . Para Inf1, cada chip tiene 4NeuronCores. Para Trn1 e Inf2, cada chip tiene 2NeuronCores. Puede ejecutar tantas tareas como chips haya para cada instancia de Trn1, Inf1 e Inf2. -
Cuando cree un servicio o ejecute una tarea independiente, puede utilizar los atributos de tipo de instancia al configurar las restricciones de ubicación de tareas. Esto garantiza que la tarea se lance en la instancia de contenedor que especifique. Al hacerlo, puede optimizar la utilización general de los recursos y garantizar que las tareas de las cargas de trabajo de inferencia se encuentren en las instancias Trn1, Inf1 e Inf2. Para obtener más información, consulte Ubicación de tareas de Amazon ECS.
En el ejemplo siguiente, se ejecuta una tarea en una instancia
Inf1.xlarge
del clústerdefault
.aws ecs run-task \ --cluster default \ --task-definition ecs-inference-task-def \ --placement-constraints type=memberOf,expression="attribute:ecs.instance-type == Inf1.xlarge"
-
Los requisitos de recursos de Neuron no se pueden definir en una definición de tareas. En su lugar, configure un contenedor para que use chips de AWS Trainium o de AWS Inferentia específicos disponibles en la instancia de contenedor del host. Para ello, use el parámetro
linuxParameters
y especifique los detalles del dispositivo. Para obtener más información, consulte Requisitos de definición de tareas.
Uso de la AMI de Amazon Linux 2 (Neuron) optimizada para Amazon ECS
Amazon ECS proporciona una AMI optimizada para Amazon ECS basada en Amazon Linux 2 para cargas de trabajo de AWS Trainium y AWS Inferentia. Viene con los controladores AWS Neuron y el tiempo de ejecución para Docker. Esta AMI facilita la ejecución de cargas de trabajo de inferencia de machine learning en Amazon ECS.
Recomendamos utilizar la AMI de Amazon Linux 2 (Neuron) optimizada para Amazon ECS al lanzar las instancias Trn1, Inf1 e Inf2 de Amazon EC2.
Puede recuperar la AMI actual de Amazon Linux 2 (Neuron) optimizada para Amazon ECS a través de laAWS CLI con el siguiente comando.
aws ssm get-parameters --names /aws/service/ecs/optimized-ami/amazon-linux-2/inf/recommended
Requisitos de definición de tareas
Para implementar Neuron en Amazon ECS, la definición de tarea debe contener la definición de contenedor correspondiente a un contenedor prefabricado que atienda al modelo de inferenciaTensorFlow. Este es proporcionado por AWS Deep Learning Containers. En este contenedor, se incluye el tiempo de ejecución deAWS Neuron y la aplicaciónTensorFlow Serving. Al iniciarse, este contenedor obtiene su modelo de Amazon S3, lanza NeuronTensorFlow Serving con el modelo guardado y espera las solicitudes de predicción. En el ejemplo a continuación, la imagen del contenedor contieneTensorFlow 1.15 y Ubuntu 18.04. Se conserva una lista completa de Deep Learning Containers prefabricados optimizados para NeuronGitHub. Para obtener más información, consulte Uso deAWS NeuronTensorFlow Serving.
763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04
Como alternativa, puede crear su propia imagen de contenedor de sidecar de Neuron. Para obtener más información, consulte el tutorial: NeuronTensorFlow Serving
La definición de la tarea debe ser específica para un único tipo de instancia. Debe configurar un contenedor para que use los dispositivos AWS Trainium o AWS Inferentia específicos disponibles en la instancia de contenedor del host. Para ello, utilice el parámetro linuxParameters
. En la tabla que se muestra a continuación se detallan los chips específicos de cada tipo de instancia.
Tipo de instancia | vCPU | RAM (GiB) | Chips de aceleradores AWS ML | Rutas del dispositivo |
---|---|---|---|---|
trn1.2xlarge | 8 | 32 | 1 | /dev/neuron0 |
trn1.32xlarge | 128 | 512 | 16 |
/dev/neuron0 , /dev/neuron1 ,
/dev/neuron2 , /dev/neuron3 ,
/dev/neuron4 , /dev/neuron5 ,
/dev/neuron6 , /dev/neuron7 ,
/dev/neuron8 , /dev/neuron9 ,
/dev/neuron10 , /dev/neuron11 ,
/dev/neuron12 , /dev/neuron13 ,
/dev/neuron14 , /dev/neuron15
|
inf1.xlarge | 4 | 8 | 1 | /dev/neuron0 |
inf1.2xlarge | 8 | 16 | 1 | /dev/neuron0 |
inf1.6xlarge | 24 | 48 | 4 | /dev/neuron0 , /dev/neuron1 ,
/dev/neuron2 , /dev/neuron3 |
inf1.24xlarge | 96 | 192 | 16 |
/dev/neuron0 , /dev/neuron1 ,
/dev/neuron2 , /dev/neuron3 ,
/dev/neuron4 , /dev/neuron5 ,
/dev/neuron6 , /dev/neuron7 ,
/dev/neuron8 , /dev/neuron9 ,
/dev/neuron10 , /dev/neuron11 ,
/dev/neuron12 , /dev/neuron13 ,
/dev/neuron14 , /dev/neuron15
|
inf2.xlarge | 8 | 16 | 1 | /dev/neuron0 |
inf2.8xlarge | 32 | 64 | 1 | /dev/neuron0 |
inf2.24xlarge | 96 | 384 | 6 | /dev/neuron0 , /dev/neuron1 , /dev/neuron2 ,
/dev/neuron3 , /dev/neuron4 ,
/dev/neuron5 , |
inf2.48xlarge | 192 | 768 | 12 | /dev/neuron0 , /dev/neuron1 , /dev/neuron2 ,
/dev/neuron3 , /dev/neuron4 ,
/dev/neuron5 , /dev/neuron6 ,
/dev/neuron7 , /dev/neuron8 ,
/dev/neuron9 , /dev/neuron10 ,
/dev/neuron11 |
A continuación, se muestra un ejemplo de definición de tarea de Linux para inf1.xlarge
en el que se muestra la sintaxis que se va a usar.
{ "family": "ecs-neuron", "requiresCompatibilities": ["EC2"], "placementConstraints": [ { "type": "memberOf", "expression": "attribute:ecs.os-type == linux" }, { "type": "memberOf", "expression": "attribute:ecs.instance-type ==
inf1.xlarge
" } ], "executionRoleArn": "${YOUR_EXECUTION_ROLE}
", "containerDefinitions": [ { "entryPoint": [ "/usr/local/bin/entrypoint.sh", "--port=8500", "--rest_api_port=9000", "--model_name=resnet50_neuron", "--model_base_path=s3://your-bucket-of-models/resnet50_neuron/
" ], "portMappings": [ { "hostPort": 8500, "protocol": "tcp", "containerPort": 8500 }, { "hostPort": 8501, "protocol": "tcp", "containerPort": 8501 }, { "hostPort": 0, "protocol": "tcp", "containerPort": 80 } ], "linuxParameters": { "devices": [ { "containerPath": "/dev/neuron0", "hostPath": "/dev/neuron0", "permissions": [ "read", "write" ] } ], "capabilities": { "add": [ "IPC_LOCK" ] } }, "cpu": 0, "memoryReservation": 1000, "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04
", "essential": true, "name": "resnet50" } ] }