Configuración de una VPC para conectarse a PyPC enAWS Glue

El índice de Package de Python (PyPI) es un repositorio de software para el lenguaje de programación Python. En este tema se abordan los detalles necesarios para admitir el uso de los paquetes instalados de pip (según lo especificado por el creador de la sesión mediante el--additional-python-modules indicador).

El uso de sesionesAWS Glue interactivas con un conector da como resultado el uso de una red de VPC a través de la subred especificada para el conector. En consecuencia,AWS los servicios y otros destinos de red no están disponibles a menos que configure una configuración especial.

Las soluciones a este problema incluyen:

• Uso de una pasarela de Internet a la que pueda acceder su sesión.

• Configure y use un bucket de S3 con un repositorio PYPI/Simple que contenga el cierre transitivo de las dependencias de un conjunto de paquetes.

• Uso de un CodeArtifact repositorio que refleje PyPI y esté conectado a su VPC.

Configuración de una gateway de Internet

Los aspectos técnicos se detallan en los casos de uso de NAT Gateway, pero tenga en cuenta estos requisitos de uso--additional-python-modules. Concretamente,--additional-python-modules requiere acceso a pypi.org, que viene determinado por la configuración de su VPC. Tenga en cuenta los siguientes requisitos:

1. El requisito de instalar módulos de Python adicionales mediante pip install para la sesión de un usuario. Si la sesión usa un conector, es posible que la configuración se vea afectada.

2. Cuando se utiliza un conector con--additional-python-modules, cuando se inicia la sesión, la subred asociada al conectorPhysicalConnectionRequirements debe proporcionar una ruta de red para llegar a pypi.org.

3. Debe determinar si la configuración es correcta o no.

Configuración de un bucket de Amazon S3 para alojar un repositorio PYPI/Simple de Amazon S3 para alojar un repositorio de PyPI/Simple

En este ejemplo, se configura una réplica de PyPI en Amazon S3 para un conjunto de paquetes y sus dependencias.

Para configurar el espejo de PyPI para un conjunto de paquetes:

# pip download all the dependencies
pip download -d s3pypi --only-binary :all: plotly gglplot
pip download -d s3pypi --platform manylinux_2_17_x86_64 --only-binary :all: psycopg2-binary
# create and upload the pypi/simple index and wheel files to the s3 bucket
s3pypi -b grze-test-pypi --put-root-index -v s3pypi/*

Si ya tiene un repositorio de artefactos existente, tendrá una URL de índice para que pip la use, que puede proporcionar en lugar de la URL de ejemplo para el bucket de Amazon S3, como se indica anteriormente.

Para usar la URL de índice personalizada, con algunos paquetes de ejemplo:

%%configure
{
    "--additional-python-modules": "psycopg2_binary==2.9.5",
    "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://grze-test-pypi.s3.amazonaws.com/ --trusted-host grze-test-pypi.s3.amazonaws.com"
}

Configurar una CodeArtifact réplica de pypi conectada a tu VPC

Para configurar un punto de enlace de un punto de enlace:

1. Cree un repositorio en la misma región que la subred utilizada por el conector.

   Seleccione Public upstream repositories y elija pypi-store.

2. Proporcione acceso al repositorio desde la VPC de la subred.

3. Especifique lo correcto--index-url mediante elpython-modules-installer-option.

   %%configure
   {
       "--additional-python-modules": "psycopg2_binary==2.9.5",
       "python-modules-installer-option": "--no-cache-dir --verbose --index-url https://grze-test-pypi.s3.amazonaws.com/ --trusted-host grze-test-pypi.s3.amazonaws.com"
   }

Para obtener más información, consulte Uso CodeArtifact desde una VPC.