Envío del trabajo a un clúster de Amazon EMR - Amazon EMR

Envío del trabajo a un clúster de Amazon EMR

En esta sección se describen los métodos que puede utilizar para enviar el trabajo a un clúster de Amazon EMR. Para enviar el trabajo, puede agregar pasos o enviar los trabajos de Hadoop de forma interactiva al nodo principal.

Tenga en cuenta las siguientes reglas de comportamiento de los pasos al enviar los pasos a un clúster:

  • El ID de paso puede contener un máximo de 256 caracteres.

  • Puede tener hasta 256 pasos pendientes y en ejecución en un clúster.

  • Incluso si tiene 256 pasos activos en ejecución en el clúster, puede enviar trabajos de forma interactiva al nodo principal. Puede enviar un número ilimitado de pasos a lo largo de la vida útil de un clúster en ejecución prolongada, pero solo puede haber 256 pasos en ejecución o pendientes en un momento dado.

  • Con las versiones 4.8.0 y posteriores de Amazon EMR, excepto la versión 5.0.0, puede cancelar los pasos pendientes. Para obtener más información, consulte Cancelación de pasos al enviar trabajo a un clúster de Amazon EMR.

  • Con las versiones 5.28.0 y posteriores de Amazon EMR, puede cancelar los pasos pendientes y en ejecución. También puede optar por ejecutar varios pasos en paralelo para mejorar la utilización del clúster y ahorrar costos. Para obtener más información, consulte Consideraciones para ejecutar varios pasos en paralelo al enviar un trabajo a Amazon EMR.

nota

Para obtener el mejor rendimiento, se recomienda que almacene las acciones de arranque personalizadas, los scripts y otros archivos que desee utilizar con Amazon EMR en un bucket de Amazon S3 que se encuentre en la misma Región de AWS que su clúster.

Temas