TensorFlow Procesador Framework

TensorFlow es una biblioteca de aprendizaje automático e inteligencia artificial de código abierto. TensorFlowProcessorEn Amazon SageMaker Python, le SDK permite ejecutar trabajos de procesamiento con TensorFlow scripts. Al utilizar elTensorFlowProcessor, puede aprovechar un contenedor Docker creado por Amazon con un TensorFlow entorno gestionado para no tener que traer su propio contenedor.

El siguiente ejemplo de código muestra cómo puede usarlo TensorFlowProcessor para ejecutar su trabajo de procesamiento con una imagen de Docker proporcionada y mantenida por. SageMaker Tenga en cuenta que, al ejecutar el trabajo, puede especificar un directorio que contenga sus scripts y dependencias en el source_dir argumento, y puede tener un requirements.txt archivo ubicado dentro de su source_dir directorio que especifique las dependencias de sus scripts de procesamiento. SageMaker El procesamiento instala automáticamente las dependencias requirements.txt en el contenedor.

from sagemaker.tensorflow import TensorFlowProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the TensorFlowProcessor
tp = TensorFlowProcessor(
    framework_version='2.3',
    role=get_execution_role(),
    instance_type='ml.m5.xlarge',
    instance_count=1,
    base_job_name='frameworkprocessor-TF',
    py_version='py37'
)

#Run the processing job
tp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data'
        ),
        ProcessingInput(
            input_name='model',
            source=f's3://{BUCKET}/{S3_PATH_TO_MODEL}',
            destination='/opt/ml/processing/input/model'
        )
    ],
    outputs=[
        ProcessingOutput(
            output_name='predictions',
            source='/opt/ml/processing/output',
            destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'
        )
    ]
)

Si tiene un archivo requirements.txt, debería ser una lista de bibliotecas que desee instalar en el contenedor. La ruta para source_dir puede ser relativa, absoluta o de Amazon S3URI. Sin embargo, si utiliza un Amazon S3URI, debe apuntar a un archivo tar.gz. Puede tener varios scripts en el directorio que especifique para source_dir. Para obtener más información sobre la TensorFlowProcessor clase, consulte TensorFlow Estimator en Amazon Python SageMaker . SDK