Definición de tareas de Amazon ECS de ejemplo: enrutar registros a FireLens

Para utilizar el enrutamiento de registros personalizado con FireLens, debe especificar lo siguiente en la definición de tareas:

• Un contenedor del enrutador de registros que incluye una configuración de FireLens. Recomendamos que el contenedor se marque como essential.

• Uno o varios contenedores de aplicaciones que incluyen una configuración de registro que especifica el controlador de registros awsfirelens.

• Un nombre de recurso de Amazon (ARN) de rol de IAM de tarea que incluya los permisos necesarios para que la tarea envíe los registros.

Al crear una nueva definición de tarea mediante la AWS Management Console, hay una sección de integración de FireLens que permite añadir fácilmente un contenedor de router de registros. Para obtener más información, consulte Creación de una definición de tareas de Amazon ECS mediante la consola.

Amazon ECS convierte la configuración de registros y genera la configuración de salida de Fluentd o Fluent Bit. La configuración de salida se monta en el contenedor de enrutamiento de registros en /fluent-bit/etc/fluent-bit.conf para Fluent Bit y /fluentd/etc/fluent.conf para Fluentd.

importante

FireLens escucha en el puerto 24224. Por lo tanto, para asegurarse de que el direccionador de registros FireLens no sea accesible fuera de la tarea, debe permitir la entrada de tráfico en el puerto 24224 en el grupo de seguridad que utiliza la tarea. Para tareas que utilizan el modo de red awsvpc, es el grupo de seguridad asociado a la tarea. Para tareas que utilizan el modo de red host, es el grupo de seguridad asociado a la instancia de Amazon EC2 que aloja la tarea. Para tareas que utilizan el modo de red bridge, no cree asignaciones de puertos que utilicen el puerto 24224.

De forma predeterminada, Amazon ECS agrega campos adicionales a las entradas de registro, que ayudan a identificar su origen.

• ecs_cluster: el nombre del clúster del que forma parte la tarea.

• ecs_task_arn: nombre de recurso de Amazon (ARN) de la tarea de la que el contenedor forma parte.

• ecs_task_definition: el nombre y la revisión de la definición de tareas que utiliza la tarea.

• ec2_instance_id: el ID de la instancia de Amazon EC2 en la que está alojado el contenedor. Este campo solo es válido para las tareas que utilizan el tipo de lanzamiento EC2.

Puede establecer enable-ecs-log-metadata en false si no quiere los metadatos.

En el siguiente ejemplo de definición de tarea, se define un contenedor de enrutamiento de registros que utiliza Fluent Bit para enrutar sus registros a CloudWatch Logs. También define un contenedor de aplicaciones que utiliza una configuración de registros para dirigirlos a Amazon Data Firehose y establecer en 2 MiB la memoria que se utiliza para guardar en búfer los eventos.

nota

Para ver más ejemplos de definiciones de tareas, consulte Ejemplos de FireLens en Amazon ECS en GitHub.

{
  "family": "firelens-example-firehose",
  "taskRoleArn": "arn:aws:iam::123456789012:role/ecs_task_iam_role",
  "containerDefinitions": [
    {
            "name": "log_router",
            "image": "public.ecr.aws/aws-observability/aws-for-fluent-bit:stable",
            "cpu": 0,
            "memoryReservation": 51,
            "portMappings": [],
            "essential": true,
            "environment": [],
            "mountPoints": [],
            "volumesFrom": [],
            "user": "0",
            "logConfiguration": {
                "logDriver": "awslogs",
                "options": {
                    "awslogs-group": "/ecs/ecs-aws-firelens-sidecar-container",
                    "mode": "non-blocking",
                    "awslogs-create-group": "true",
                    "max-buffer-size": "25m",
                    "awslogs-region": "us-east-1",
                    "awslogs-stream-prefix": "firelens"
                },
                "secretOptions": []
            },
            "systemControls": [],
            "firelensConfiguration": {
                "type": "fluentbit"
            }
        },
    {
      "essential": true,
      "image": "public.ecr.aws/docker/library/httpd:latest",
      "name": "app",
      "logConfiguration": {
        "logDriver": "awsfirelens",
        "options": {
          "Name": "firehose",
          "region": "us-west-2",
          "delivery_stream": "my-stream",
          "log-driver-buffer-limit": "2097152"
        }
      },
      "memoryReservation": 100
    }
  ]
}

Los pares de clave-valor especificados como opciones en el objeto logConfiguration se utilizan para generar la configuración de salida de Fluentd o Fluent Bit. A continuación, se muestra un ejemplo de código de una definición de salida de Fluent Bit.

[OUTPUT]
    Name   firehose
    Match  app-firelens*
    region us-west-2
    delivery_stream my-stream

nota

FireLens administra la configuración match. No se especifica la configuración de match en la definición de tarea.

Uso de un archivo de configuración personalizado

Puede especificar un archivo de configuración personalizado. El formato del archivo de configuración es el formato nativo del enrutador de registros que está utilizando. Para obtener más información, consulte Fluentd Config File Syntax y YAML Configuration.

En el archivo de configuración personalizado, en el caso de las tareas que utilizan el modo de red bridge o awsvpc, no establezca una entrada directa Fluentd o Fluent Bit a través de TCP porque FireLens la agrega a la configuración de entrada.

La configuración de FireLens debe incluir las siguientes opciones para especificar un archivo de configuración personalizado:

config-file-type

La ubicación de origen del archivo de configuración personalizado. Las opciones disponibles son s3 o file.

nota

Las tareas que están alojadas en AWS Fargate solo admiten el tipo de archivo de configuración file.

config-file-value

El origen del archivo de configuración personalizado. Si se utiliza el tipo de archivo de configuración s3, el valor del archivo de configuración es el ARN completo del bucket y el archivo de Amazon S3. Si se utiliza el tipo de archivo de configuración file, el valor del archivo de configuración es la ruta completa del archivo de configuración que existe en la imagen del contenedor o en un volumen que se monta en el contenedor.

importante

Cuando se utilice un archivo de configuración personalizado, se debe especificar una ruta diferente a la que utiliza FireLens. Amazon ECS reserva la ruta de archivo /fluent-bit/etc/fluent-bit.conf para Fluent Bit y la /fluentd/etc/fluent.conf para Fluentd.

En el ejemplo siguiente se muestra la sintaxis necesaria al especificar una configuración personalizada.

importante

Para especificar un archivo de configuración personalizado alojado en Amazon S3, asegúrese de haber creado un rol de IAM de ejecución de tareas con los permisos adecuados.

A continuación se muestra la sintaxis necesaria al especificar una configuración personalizada.

{
  "containerDefinitions": [
    {
      "essential": true,
      "image": "906394416424.dkr.ecr.us-west-2.amazonaws.com/aws-for-fluent-bit:stable",
      "name": "log_router",
      "firelensConfiguration": {
        "type": "fluentbit",
        "options": {
          "config-file-type": "s3 | file",
          "config-file-value": "arn:aws:s3:::amzn-s3-demo-bucket/fluent.conf | filepath"
        }
      }
    }
  ]
}

nota

Las tareas alojadas en AWS Fargate solo admiten el tipo de archivo de configuración file.