

# Ejemplos de definiciones de tarea de Neuron

## Ejemplo de asignación administrada de dispositivos
<a name="ecs-inference-task-def-managed"></a>

En el siguiente ejemplo, se muestra una definición de la tarea que solicita todos los dispositivos Neuron de la instancia mediante el parámetro `resourceRequirements`. Este enfoque solo está disponible en Managed Instances.

```
{
    "family": "ecs-neuron",
    "requiresCompatibilities": ["MANAGED_INSTANCES"],
    "networkMode": "awsvpc",
    "cpu": "8192",
    "memory": "16384",
    "executionRoleArn": "{{${YOUR_EXECUTION_ROLE}}}",
    "containerDefinitions": [
        {
            "name": "neuron-inference",
            "image": "763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-vllm-inference-neuronx:0.11.0-optimum0.4.5-neuronx-py310-sdk2.26.1-ubuntu22.04",
            "essential": true,
            "command": [
                "--model", "{{${YOUR_HUGGING_FACE_MODEL_ID}}}",
                "--port", "8080",
                "--tensor-parallel-size", "2",
                "--allow-non-cached-model"
            ],
            "portMappings": [
                {
                    "containerPort": 8080,
                    "protocol": "tcp"
                }
            ],
            "resourceRequirements": [
                {
                    "type": "NeuronDevice",
                    "value": "ALL"
                }
            ]
        }
    ]
}
```

En este ejemplo, la imagen del contenedor incluye un servidor de inferencia de vLLM optimizado para AWS Neuron. El punto de entrada de la imagen descarga un modelo desde HuggingFace, lo compila para Neuron e inicia un servidor de API compatible con OpenAI en el puerto 8080. Reemplace `{{${YOUR_HUGGING_FACE_MODEL_ID}}}` por el ID del modelo de HuggingFace.

## Ejemplo de especificación manual de dispositivos
<a name="ecs-inference-task-def-ec2"></a>

El siguiente ejemplo muestra una definición de tarea de Linux para `inf1.xlarge` que usa el tipo de lanzamiento de EC2 con `linuxParameters.devices` para especificar las rutas de los dispositivos Neuron.

```
{
    "family": "ecs-neuron",
    "requiresCompatibilities": ["EC2"],
    "placementConstraints": [
        {
            "type": "memberOf",
            "expression": "attribute:ecs.os-type == linux"
        },
        {
            "type": "memberOf",
            "expression": "attribute:ecs.instance-type == {{inf1.xlarge}}"
        }
    ],
    "executionRoleArn": "{{${YOUR_EXECUTION_ROLE}}}",
    "containerDefinitions": [
        {
            "entryPoint": [
                "/usr/local/bin/entrypoint.sh",
                "--port=8500",
                "--rest_api_port=9000",
                "--model_name=resnet50_neuron",
                "--model_base_path=s3://{{amzn-s3-demo-bucket/resnet50_neuron/}}"
            ],
            "portMappings": [
                {
                    "hostPort": 8500,
                    "protocol": "tcp",
                    "containerPort": 8500
                },
                {
                    "hostPort": 8501,
                    "protocol": "tcp",
                    "containerPort": 8501
                },
                {
                    "hostPort": 0,
                    "protocol": "tcp",
                    "containerPort": 80
                }
            ],
            "linuxParameters": {
                "devices": [
                    {
                        "containerPath": "/dev/neuron0",
                        "hostPath": "/dev/neuron0",
                        "permissions": [
                            "read",
                            "write"
                        ]
                    }
                ],
                "capabilities": {
                    "add": [
                        "IPC_LOCK"
                    ]
                }
            },
            "cpu": 0,
            "memoryReservation": 1000,
            "image": "{{763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-inference-neuron:1.15.4-neuron-py37-ubuntu18.04}}",
            "essential": true,
            "name": "resnet50"
        }
    ]
}
```