Ec2Resource

EC2Instancia de Amazon que realiza el trabajo definido por una actividad de canalización.

AWS Data Pipeline ahora es compatible con IMDSv2 la EC2 instancia de Amazon, que utiliza un método orientado a la sesión para gestionar mejor la autenticación al recuperar la información de metadatos de las instancias. Una sesión inicia y finaliza una serie de solicitudes que el software que se ejecuta en una EC2 instancia de Amazon utiliza para acceder a los metadatos y credenciales de la EC2 instancia de Amazon almacenados localmente. El software inicia una sesión con una simple HTTP PUT solicitud a. IMDSv2 IMDSv2devuelve un token secreto al software que se ejecuta en la EC2 instancia de Amazon, que utilizará el token como contraseña IMDSv2 para realizar solicitudes de metadatos y credenciales.

nota

IMDSv2Para usarlo en tu EC2 instancia de Amazon, tendrás que modificar la configuración, ya que la configuración predeterminada no AMI es compatible conIMDSv2. Puede especificar una nueva AMI versión que puede recuperar mediante el siguiente SSM parámetro:/aws/service/ami-amazon-linux-latest/amzn-ami-hvm-x86_64-ebs.

Para obtener información sobre EC2 las instancias de Amazon predeterminadas que AWS Data Pipeline crea si no especificas una instancia, consulta Instancias Amazon EC2 predeterminadas por región de AWS.

Ejemplos

EC2-Clásico

importante

Solo AWS las cuentas creadas antes del 4 de diciembre de 2013 son compatibles con la plataforma EC2 -Classic. Si tiene una de estas cuentas, puede que tenga la opción de crear EC2Resource objetos para una canalización en una red EC2 -Classic en lugar de en una. VPC Te recomendamos encarecidamente que crees recursos para todas tus canalizaciones en. VPCs Además, si ya tienes recursos en EC2 -Classic, te recomendamos que los migres a. VPC

El siguiente objeto de ejemplo lanza una EC2 instancia en EC2 -Classic, con algunos campos opcionales configurados.

{
  "id" : "MyEC2Resource",
  "type" : "Ec2Resource",
  "actionOnTaskFailure" : "terminate",
  "actionOnResourceFailure" : "retryAll",
  "maximumRetries" : "1",
  "instanceType" : "m5.large",
  "securityGroups" : [
    "test-group",
    "default"
  ],
  "keyPair" : "my-key-pair"
}

EC2-VPC

El siguiente objeto de ejemplo lanza una EC2 instancia en una instancia no predeterminadaVPC, con algunos campos opcionales configurados.

{
  "id" : "MyEC2Resource",
  "type" : "Ec2Resource",
  "actionOnTaskFailure" : "terminate",
  "actionOnResourceFailure" : "retryAll",
  "maximumRetries" : "1",
  "instanceType" : "m5.large",
  "securityGroupIds" : [
    "sg-12345678",
    "sg-12345678"
  ],
  "subnetId": "subnet-12345678",
  "associatePublicIpAddress": "true",
  "keyPair" : "my-key-pair"
}

Sintaxis

Campos obligatorios	Descripción	Tipo de slot
resourceRole	El IAM rol que controla los recursos a los que puede acceder la EC2 instancia de Amazon.	Cadena
role	El IAM rol que se AWS Data Pipeline utiliza para crear la EC2 instancia.	Cadena

Campos de invocación de objetos	Descripción	Tipo de slot
schedule	Este objeto se invoca dentro de la ejecución de un intervalo de programación. Para establecer el orden de ejecución de dependencia para este objeto, especifique una referencia de programación a otro objeto. Puede hacerlo de una de las siguientes formas: Para garantizar que todos los objetos de la canalización heredan la programación, establezca una programación en el objeto explícitamente: "schedule": {"ref": "DefaultSchedule"}. En la mayoría de los casos, resulta útil poner la referencia de programación en el objeto de la canalización predeterminado de modo que todos los objetos hereden esa programación. Si la canalización tiene programaciones anidadas en la programación maestra, puede crear un objeto principal que tenga una referencia de programación. Para obtener más información acerca de las configuraciones de programación opcionales de ejemplo, consulte https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html	Objeto de referencia, por ejemplo, "schedule":{"ref":"myScheduleId"}

Campos opcionales	Descripción	Tipo de slot
actionOnResourceFallo	La acción realizada después de un error de este recurso. Los valores válidos son "retryall" y "retrynone".	Cadena
actionOnTaskFallo	La acción realizada después de un error de tarea de este recurso. Los valores válidos son "continue" o "terminate".	Cadena
associatePublicIpDirección	Indica si se va a asignar una dirección IP pública a la instancia. Si la instancia está en Amazon EC2 o AmazonVPC, el valor predeterminado estrue. De lo contrario, el valor predeterminado es false.	Booleano
attemptStatus	Estado más reciente notificado por la actividad remota.	Cadena
attemptTimeout	Tiempo de espera para que se complete el trabajo remoto. Si se establece, se puede reintentar una actividad remota que no se complete dentro del tiempo de inicio especificado.	Período
availabilityZone	La zona de disponibilidad en la que se lanzará la EC2 instancia de Amazon.	Cadena
disableIMDSv1.	El valor predeterminado es false y habilita tanto IMDSv1 yIMDSv2. Si lo establece en verdadero, se deshabilita IMDSv1 y solo proporciona IMDSv2s	Booleano
failureAndRerunModo	failureAndRerunMode.	Enumeración
httpProxy	El host proxy que utilizan los clientes para conectarse a AWS los servicios.	Objeto de referencia, por ejemplo, "httpProxy":{"ref":"myHttpProxyId"}
imageId	El ID del AMI que se va a usar en la instancia. De forma predeterminada, AWS Data Pipeline usa el tipo de HVM AMI virtualización. Los AMI IDs usos específicos se basan en una región. Puede sobrescribir el valor predeterminado AMI especificando el HVM AMI que desee. Para obtener más información sobre AMI los tipos, consulte Tipos de AMIvirtualización de Linux y Búsqueda de un Linux AMI en la Guía del EC2 usuario de Amazon.	Cadena
initTimeout	El tiempo que se debe esperar a que se inicie el recurso.	Período
instanceCount	Obsoleto.	Entero
instanceType	El tipo de EC2 instancia de Amazon que se va a iniciar.	Cadena
keyPair	El nombre del par de claves. Si lanzas una EC2 instancia de Amazon sin especificar un key pair, no podrás iniciar sesión en ella.	Cadena
lateAfterTimeout	El tiempo transcurrido desde el inicio de la canalización dentro del cual el objeto debe completarse. Solo se activa cuando el tipo de programación no está establecido en ondemand.	Período
maxActiveInstances	El número máximo de instancias activas simultáneas de un componente. Las nuevas ejecuciones no cuentan para el número de instancias activas.	Entero
maximumRetries	El número máximo de intentos en caso de error.	Entero
minInstanceCount	Obsoleto.	Entero
onFail	Acción que se debe ejecutar cuando el objeto actual produzca un error.	Objeto de referencia, por ejemplo, "onFail":{"ref":"myActionId"}
onLateAction	Acciones que deben iniciarse si un objeto no se ha programado o sigue ejecutándose.	Objeto de referencia, por ejemplo, "onLateAction":{"ref":"myActionId"}
onSuccess	Acción que se debe ejecutar cuando el objeto actual se complete correctamente.	Objeto de referencia, por ejemplo, "onSuccess":{"ref":"myActionId"}
parent	El elemento principal del objeto actual del que se heredan las ranuras.	Objeto de referencia, por ejemplo, "parent":{"ref":"myBaseObjectId"}
pipelineLogUri	El Amazon S3 URI (por ejemplo's3://BucketName/Key/') para cargar los registros de la canalización.	Cadena
región	El código de la región en la que debe ejecutarse la EC2 instancia de Amazon. De forma predeterminada, la instancia se ejecuta en la misma región que la canalización. Puede ejecutar la instancia en la misma región que un conjunto de datos dependiente.	Enumeración
reportProgressTimeout	El tiempo de espera para llamadas sucesivas del trabajo remoto a reportProgress. Si se establece, las actividades remotas que no informen de su progreso durante el período especificado pueden considerarse estancadas y se reintentarán.	Período
retryDelay	Duración del tiempo de espera entre dos reintentos.	Período
runAsUser	El usuario que ejecutará el TaskRunner.	Cadena
runsOn	Este campo no está permitido en este objeto.	Objeto de referencia, por ejemplo, "runsOn":{"ref":"myResourceId"}
scheduleType	El tipo de programación le permite especificar si los objetos de la definición de la canalización deben programarse al principio o al final del intervalo, o bajo demanda. Valores son los siguientes: timeseries. Las instancias se programan al final de cada intervalo. cron. Las instancias se programan al comienzo de cada intervalo. ondemand. Le permite ejecutar una canalización una vez por activación. No tiene que clonar o recrear la canalización para ejecutarla de nuevo. Si usa un programa bajo demanda, debe especificarse en el objeto predeterminado y debe ser el único scheduleType especificado para los objetos de la canalización. Para usar canalizaciones bajo demanda, solo tiene que llamar a la operación ActivatePipeline para cada ejecución posterior.	Enumeración
securityGroupIds	El IDs de uno o más grupos de EC2 seguridad de Amazon que se van a utilizar para las instancias del grupo de recursos.	Cadena
securityGroups	Uno o más grupos EC2 de seguridad de Amazon para usarlos en las instancias del grupo de recursos.	Cadena
spotBidPrice	La cantidad máxima por hora para su instancia de spot en dólares, que es un valor decimal entre 0 y 20,00 (no incluidos).	Cadena
subnetId	El ID de la EC2 subred de Amazon en la que se va a iniciar la instancia.	Cadena
terminateAfter	El número de horas después de las cuales se ha de finalizar el recurso.	Período
useOnDemandOnLastAttempt	En el último intento de solicitar una instancia de spot, realice una solicitud de instancias bajo demanda en lugar de instancias de spot. De este modo, se garantiza que si todos los intentos anteriores han fallado, el último intento no se verá interrumpido.	Booleano
workerGroup	Este campo no está permitido en este objeto.	Cadena

Campos de tiempo de ejecución	Descripción	Tipo de slot
@activeInstances	Lista de los objetos de instancias activas programados actualmente.	Objeto de referencia, por ejemplo, "activeInstances":{"ref":"myRunnableObjectId"}
@actualEndTime	La hora a la que finalizó la ejecución de este objeto.	DateTime
@actualStartTime	La hora a la que comenzó la ejecución de este objeto.	DateTime
cancellationReason	El cancellationReason de este objeto se ha cancelado.	Cadena
@cascadeFailedOn	Descripción de la cadena de dependencias en la que ha fallado el objeto.	Objeto de referencia, por ejemplo, "cascadeFailedOn":{"ref":"myRunnableObjectId"}
emrStepLog	Los registros de pasos solo están disponibles en los intentos de EMR actividad de Amazon.	Cadena
errorId	El ID de error si este objeto ha fallado.	Cadena
errorMessage	El mensaje de error si este objeto ha fallado.	Cadena
errorStackTrace	El seguimiento de la pila de error si este objeto ha fallado.	Cadena
@failureReason	El motivo del error del recurso.	Cadena
@finishedTime	La hora a la que este objeto finalizó su ejecución.	DateTime
hadoopJobLog	Los registros de trabajos de Hadoop están disponibles en los intentos de actividades de AmazonEMR.	Cadena
@healthStatus	El estado de salud del objeto que refleja el éxito o el fracaso de la última instancia de objeto que alcanzó un estado terminado.	Cadena
@healthStatusFromInstanceId	ID del último objeto de instancia que alcanzó un estado terminado.	Cadena
@ Hora healthStatusUpdated	Hora a la que el estado de salud se actualizó la última vez.	DateTime
hostname	El nombre de host del cliente que recogió el intento de tarea.	Cadena
@lastDeactivatedTime	La hora a la que este objeto se desactivó la última vez.	DateTime
@ latestCompletedRun Hora	Hora de la última ejecución para la que se completó la ejecución.	DateTime
@latestRunTime	Hora de la última ejecución para la que se programó la ejecución.	DateTime
@nextRunTime	Hora de ejecución que se va a programar a continuación.	DateTime
reportProgressTime	La hora más reciente a la que la actividad remota notificó algún progreso.	DateTime
@scheduledEndTime	La hora de finalización programada para el objeto.	DateTime
@scheduledStartTime	La hora de comienzo programada para el objeto.	DateTime
@status	El estado de este objeto.	Cadena
@version	La versión de la canalización con la que se creó el objeto.	Cadena
@waitingOn	Descripción de la lista de dependencias para la que este objeto está a la espera.	Objeto de referencia, por ejemplo, "waitingOn":{"ref":"myRunnableObjectId"}

Campos del sistema	Descripción	Tipo de slot
@error	Error al describir el objeto mal estructurado.	Cadena
@pipelineId	ID de la canalización a la que pertenece este objeto.	Cadena
@sphere	El lugar de un objeto en el ciclo de vida. Los objetos de componente dan lugar a objetos de instancia, que ejecutan objetos de intento.	Cadena