Repositorio privado para las dependencias de tiempo de ejecución

Puede usar comandos o scripts previos a la ejecución para configurar un administrador de dependencias como pip o conda en su entorno de trabajo. Para lograr el aislamiento de la red, utilice cualquiera de estas opciones para redirigir a sus administradores de dependencias para que accedan a sus repositorios privados y ejecuten funciones remotas dentro de unVPC. Los comandos o el script previos a la ejecución se ejecutarán antes de que se ejecute la función remota. Puede definirlas con el decorador @remote RemoteExecutorAPI, el o dentro de un archivo de configuración.

Las siguientes secciones muestran cómo acceder a un repositorio privado de Python Package Index (PyPI) administrado con. AWS CodeArtifact En las secciones también se muestra cómo acceder a un canal conda personalizado alojado en Amazon Simple Storage Service (Amazon S3).

Cómo utilizar un repositorio PyPI personalizado gestionado con AWS CodeArtifact

CodeArtifact Para administrar un repositorio PyPI personalizado, se requieren los siguientes requisitos previos:

• Su repositorio privado de PyPI ya debería estar creado. Puede utilizarlos AWS CodeArtifact para crear y administrar sus repositorios de paquetes privados. Para obtener más información CodeArtifact, consulte la Guía del CodeArtifact usuario.

• VPCDeberías tener acceso a tu CodeArtifact repositorio. Para permitir una conexión entre tu VPC repositorio y tu CodeArtifact repositorio, debes hacer lo siguiente:

  • Cree VPC puntos finales para. CodeArtifact

  • Cree un punto de enlace de Amazon S3 para ustedVPC, que le permita CodeArtifact almacenar los activos del paquete.

El siguiente ejemplo de comando previo a la ejecución muestra cómo configurar pip en el trabajo de SageMaker entrenamiento para que apunte a su CodeArtifact repositorio. Para obtener más información, consulte Configurar y usar pip with. CodeArtifact

# use a requirements.txt file to import dependencies
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = './requirements.txt',
    pre_execution_commands=[
        "aws codeartifact login --tool pip --domain my-org --domain-owner <000000000000> --repository my-codeartifact-python-repo --endpoint-url https://vpce-xxxxx.api.codeartifact.us-east-1.vpce.amazonaws.com"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)

Cómo utilizar un canal conda personalizado alojado en Amazon S3

Para usar Amazon S3 para administrar un repositorio conda personalizado, se requieren los siguientes requisitos previos:

• Su canal conda privado ya debe estar configurado en su bucket de Amazon S3 y todos los paquetes dependientes deben estar indexados y cargados en su bucket de Amazon S3. Para obtener instrucciones sobre cómo indexar tus paquetes conda, consulte Creación de canales personalizados.

• VPCDeberías tener acceso al bucket de Amazon S3. Para obtener más información, consulte Puntos de enlace para Amazon S3.

• El entorno conda base de su imagen de trabajo debería tener boto3 instalado. Para comprobar su entorno, introduzca lo siguiente en el mensaje de Anaconda para comprobar si boto3 aparece en la lista generada resultante.

  conda list -n base

• La imagen de su trabajo debe estar instalada con conda, no con mamba. Para comprobar su entorno, asegúrese de que no vuelva a aparecer la solicitud de código anterior mamba.

El siguiente ejemplo de comandos previos a la ejecución muestra cómo configurar conda en el trabajo de SageMaker entrenamiento para que apunte a su canal privado en Amazon S3. Los comandos previos a la ejecución eliminan el canal predeterminado y añaden canales personalizados a un .condarc archivo de configuración de conda.

# specify your dependencies inside a conda yaml file
@remote(
    instance_type="ml.m5.large"
    image_uri = "my_base_python:latest", 
    dependencies = "./environment.yml",
    pre_execution_commands=[
        "conda config --remove channels 'defaults'"
        "conda config --add channels 's3://my_bucket/my-conda-repository/conda-forge/'",
        "conda config --add channels 's3://my_bucket/my-conda-repository/main/'"
    ]
)
def matrix_multiply(a, b):
    return np.matmul(a, b)