Configuración de redes para el desarrollo de AWS Glue

Para ejecutar sus scripts del servicio ETL (extracción, transformación y carga) con AWS Glue, puede desarrollar y probar sus scripts mediante un punto de conexión de desarrollo. Los trabajos de la versión 2.0 de AWS Glue no soportan el uso de puntos de enlace desarrollo. Para las versiones 2.0 y posteriores, el método de desarrollo preferido es utilizar el bloc de notas de Jupyter con uno de los kernel de AWS Glue. Para obtener más información, consulte Introducción a las sesiones interactivas de AWS Glue.

Configuración de su red para un punto de conexión de desarrollo

Cuando configura un punto de enlace de desarrollo, debe especificar una nube virtual privada (VPC), una subred y los grupos de seguridad.

nota

Asegúrese de que configure su entorno de DNS para AWS Glue. Para obtener más información, consulte Configuración de DNS en la VPC.

Para que AWS Glue pueda obtener acceso a los recursos necesarios, agregue una fila a su tabla de ruta de la subred para asociar una lista de prefijos para Amazon S3 al punto de enlace de la VPC. Se necesita un ID de lista de prefijo para crear una regla de grupo de seguridad saliente que permita al tráfico de una VPC obtener acceso a un servicio de AWS a través de un punto de conexión de la VPC. Para facilitar la conexión a un servidor de blocs de notas que esté asociado a este punto de enlace de desarrollo, en el equipo local agregue una fila a la tabla de ruta para incorporar un ID de gateway de Internet. Para obtener más información, consulte Puntos de conexión de la VPC. Actualice las rutas de subred para que sean similares a la siguiente tabla:

Destino	Objetivo
10.0.0.0/16	local
pl-id para Amazon S3	vpce-id
0.0.0.0/0	igw-xxxx

Para que AWS Glue pueda comunicarse entre sus componentes, especifique un grupo de seguridad con una regla de entrada con autorreferencia para todos los puertos TCP. Si crea una regla de entrada con autorreferencia, puede restringir el origen al mismo grupo de seguridad de la VPC y no está abierto a todas las redes. Puede que el grupo de seguridad predeterminado de la VPC ya tenga una regla de entrada con autorreferencia para ALL Traffic.

Para configurar un grupo de seguridad

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

2. En el panel de navegación izquierdo, elija Security Groups.

3. Elija un grupo de seguridad ya existente en la lista o seleccione Create Security Group (Crear grupo de seguridad) para usarlo con el punto de enlace de desarrollo.

4. En el panel del grupo de seguridad, vaya a la pestaña Inbound (Entrante).

5. Añada una regla con autorreferencia para que los componentes de AWS Glue puedan comunicarse. En concreto, añada o confirme que hay una regla con Type (Tipo) All TCP, Protocol (Protocolo) TCP, Port Range (Intervalo de puertos) con todos los puertos y el Source (Origen) con el mismo nombre de grupo de seguridad que Group ID (ID de grupo).

   La regla de entrada tiene un aspecto similar al siguiente:

   Tipo	Protocolo	Rango de puerto	Fuente
   Todos los TCP	TCP	0–65535	security-group

   A continuación se muestra un ejemplo de una regla de entrada con autorreferencia:

   

6. Añada también una regla para el tráfico saliente. Abra el tráfico saliente a todos los puertos o cree una regla con autorreferencia de Type (Tipo) All TCP, Protocol (Protocolo) TCP, Port Range (Intervalo de puertos) con todos los puertos y el Source (Origen) con el mismo nombre de grupo de seguridad que Group ID (ID de grupo).

   La regla de salida será similar a una de estas reglas:

   Tipo	Protocolo	Rango de puerto	Destino
   Todos los TCP	TCP	0–65535	security-group
   All Traffic	ALL	ALL	0.0.0.0/0

Configuración de Amazon EC2 para el servidor de blocs de notas

Con un punto de conexión de desarrollo, puede crear un servidor de blocs de notas para probar sus scripts de ETL con cuaderno de Jupyter. Para habilitar la comunicación con su bloc de notas, especifique un grupo de seguridad con reglas de entrada tanto para HTTPS (puerto 443) como para SSH (puerto 22). Asegúrese de que el origen de la regla sea 0.0.0.0/0 o la dirección IP del equipo que se va a conectar al bloc de notas.

Para configurar un grupo de seguridad

1. Inicie sesión en la AWS Management Console y abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.

2. En el panel de navegación izquierdo, elija Security Groups.

3. Elija un grupo de seguridad ya existente en la lista o seleccione Create Security Group (Crear grupo de seguridad) para usarlo con su servidor de blocs de notas. El grupo de seguridad asociado con su punto de enlace de desarrollo también se utiliza para crear su servidor de blocs de notas.

4. En el panel del grupo de seguridad, vaya a la pestaña Inbound (Entrante).

5. Añada reglas de entrada similares a la siguiente:

   Tipo	Protocolo	Rango de puerto	Fuente
   SSH	TCP	22	0.0.0.0/0
   HTTPS	TCP	443	0.0.0.0/0

   A continuación se muestra un ejemplo de las reglas de entrada del grupo de seguridad: