在 Amazon SageMaker Python 软件开发工具包 HuggingFaceProcessor中使用的代码示例

Hugging Face 是自然语言处理 (NLP) 模型的开源提供商。Amaz SageMaker on Python 软件开发工具包HuggingFaceProcessor中的让你能够使用 Hugging Face 脚本运行处理作业。在使用 HuggingFaceProcessor 时，您可以利用 Amazon 构建的 Docker 容器和托管的 Hugging Face 环境，这样您便无需自带容器。

以下代码示例显示了如何使用 SageMaker AI 提供和维护的 Docker 镜像来运行处理作业。HuggingFaceProcessor请注意，当你运行作业时，你可以在source_dir参数中指定一个包含脚本和依赖关系的目录，也可以在你的source_dir目录中有一个requirements.txt文件来指定处理脚本的依赖关系。 SageMaker 处理会为您在容器requirements.txt中安装依赖项。

from sagemaker.huggingface import HuggingFaceProcessor
from sagemaker.processing import ProcessingInput, ProcessingOutput
from sagemaker import get_execution_role

#Initialize the HuggingFaceProcessor
hfp = HuggingFaceProcessor(
    role=get_execution_role(), 
    instance_count=1,
    instance_type='ml.g4dn.xlarge',
    transformers_version='4.4.2',
    pytorch_version='1.6.0', 
    base_job_name='frameworkprocessor-hf'
)

#Run the processing job
hfp.run(
    code='processing-script.py',
    source_dir='scripts',
    inputs=[
        ProcessingInput(
            input_name='data',
            source=f's3://{BUCKET}/{S3_INPUT_PATH}',
            destination='/opt/ml/processing/input/data/'
        )
    ],
    outputs=[
        ProcessingOutput(output_name='train', source='/opt/ml/processing/output/train/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='test', source='/opt/ml/processing/output/test/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}'),
        ProcessingOutput(output_name='val', source='/opt/ml/processing/output/val/', destination=f's3://{BUCKET}/{S3_OUTPUT_PATH}')
    ]
)

如果您有 requirements.txt 文件，它应该是您要在容器中安装的库的列表。source_dir 的路径可以是相对路径、绝对路径或 Amazon S3 URI 路径。但是，如果您使用 Amazon S3 URI，则路径必须指向 tar.gz 文件。在您为 source_dir 指定的目录中可以有多个脚本。要了解有关该HuggingFaceProcessor课程的更多信息，请参阅亚马逊 A SageMaker I Python SD K 中的 Hugging Fac e Estimator。