Como usar o TensorFlow algoritmo de classificação de imagens por SageMaker IA

Você pode usar o Image Classification - TensorFlow como um algoritmo integrado de SageMaker IA da Amazon. A seção a seguir descreve como usar a Classificação de imagens TensorFlow com o SageMaker SDK AI Python. Para obter informações sobre como usar a classificação de imagens — TensorFlow da interface do usuário do Amazon SageMaker Studio Classic, consulteSageMaker JumpStart modelos pré-treinados.

O TensorFlow algoritmo de classificação de imagens suporta o aprendizado por transferência usando qualquer um dos modelos de TensorFlow Hub pré-treinados compatíveis. Para obter uma lista de todos os modelos pré-treinados disponíveis, consulte TensorFlow Modelos de hub. Cada modelo pré-treinado tem um model_id exclusivo. O exemplo a seguir usa MobileNet V2 1.00 224 (model_id:tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4) para ajustar um conjunto de dados personalizado. Os modelos pré-treinados são todos pré-baixados do TensorFlow Hub e armazenados em buckets do Amazon S3 para que os trabalhos de treinamento possam ser executados isoladamente na rede. Use esses artefatos de treinamento de modelos pré-gerados para criar um estimador de SageMaker IA.

Primeiro, recupere o URI da imagem do Docker, o URI do script de treinamento e o URI do modelo pré-treinado. Em seguida, altere os hiperparâmetros conforme desejar. Você pode ver um dicionário Python de todos os hiperparâmetros disponíveis e seus valores padrão com hyperparameters.retrieve_default. Para obter mais informações, consulte Classificação de imagens - TensorFlow Hiperparâmetros. Use esses valores para criar um estimador de SageMaker IA.

nota

Os valores padrão dos hiperparâmetros são diferentes para modelos diferentes. Para modelos maiores, o tamanho padrão do lote é menor e o hiperparâmetro train_only_top_layer está definido como "True".

Este exemplo usa o conjunto de dados tf_flowers, que contém cinco classes de imagens de flores. Nós pré-baixamos o conjunto de dados TensorFlow sob a licença Apache 2.0 e o disponibilizamos com o Amazon S3. Para ajustar seu modelo, chame .fit usando a localização do Amazon S3 do seu conjunto de dados de treinamento.

from sagemaker import image_uris, model_uris, script_uris, hyperparameters
from sagemaker.estimator import Estimator

model_id, model_version = "tensorflow-ic-imagenet-mobilenet-v2-100-224-classification-4", "*"
training_instance_type = "ml.p3.2xlarge"

# Retrieve the Docker image
train_image_uri = image_uris.retrieve(model_id=model_id,model_version=model_version,image_scope="training",instance_type=training_instance_type,region=None,framework=None)

# Retrieve the training script
train_source_uri = script_uris.retrieve(model_id=model_id, model_version=model_version, script_scope="training")

# Retrieve the pretrained model tarball for transfer learning
train_model_uri = model_uris.retrieve(model_id=model_id, model_version=model_version, model_scope="training")

# Retrieve the default hyper-parameters for fine-tuning the model
hyperparameters = hyperparameters.retrieve_default(model_id=model_id, model_version=model_version)

# [Optional] Override default hyperparameters with custom values
hyperparameters["epochs"] = "5"

# The sample training data is available in the following S3 bucket
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/tf_flowers/"

training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}"

output_bucket = sess.default_bucket()
output_prefix = "jumpstart-example-ic-training"
s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"

# Create SageMaker Estimator instance
tf_ic_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
    output_path=s3_output_location,
)

# Use S3 path of the training data to launch SageMaker TrainingJob
tf_ic_estimator.fit({"training": training_dataset_s3_path}, logs=True)