AutoGluon-Tabular の使用方法 AutoGluon-Tabular アルゴリズムの入出力インターフェイス AutoGluon-Tabular アルゴリズムの Amazon EC2 インスタンスレコメンデーションサンプルノートブック

AutoGluon-タブラー

AutoGluon-Tabular は、未処理の表形式データセットで高精度の機械学習モデルをトレーニングする、一般的なオープンソースの AutoML フレームワークです。モデルとハイパーパラメータの選択に主に焦点を当てた既存の AutoML フレームワークとは異なり、 AutoGluon-Tabular は複数のモデルをアンサンブルし、複数のレイヤーに積み重ねることで成功します。

SageMaker AutoGluon-Tabular の使用方法

Amazon 組み込みアルゴリズムとして AutoGluon-Tabular SageMaker を使用できます。次のセクションでは、 SageMaker Python SDK で AutoGluon-Tabular を使用する方法について説明します。Amazon SageMaker Studio Classic UI から AutoGluon-Tabular を使用する方法については、「」を参照してくださいで事前トレーニング済みモデルをトレーニング、デプロイ、評価する SageMaker JumpStart。

組み込みアルゴリズムとして AutoGluon-Tabular を使用する

次のコード例に示すように、 AutoGluon-Tabular 組み込みアルゴリズムを使用して AutoGluon-Tabular トレーニングコンテナを構築します。API (または Amazon SageMaker Python SDK バージョン 2 を使用している場合は SageMaker image_uris.retrieve get_image_uri API) を使用して、 AutoGluon-Tabular 組み込みアルゴリズムイメージ URI を自動的に検出できます。

AutoGluon-Tabular イメージ URI を指定した後、 AutoGluon-Tabular コンテナを使用して Estimator API を使用して SageMaker 推定器を構築し、トレーニングジョブを開始できます。 AutoGluon-Tabular 組み込みアルゴリズムはスクリプトモードで実行されますが、トレーニングスクリプトは提供されているため、置き換える必要はありません。スクリプトモードを使用して SageMaker トレーニングジョブを作成した経験が豊富な場合は、独自の AutoGluon-Tabular トレーニングスクリプトを組み込むことができます。


from sagemaker import image_uris, model_uris, script_uris

train_model_id, train_model_version, train_scope = "autogluon-classification-ensemble", "*", "training"
training_instance_type = "ml.p3.2xlarge"

# Retrieve the docker image
train_image_uri = image_uris.retrieve(
    region=None,
    framework=None,
    model_id=train_model_id,
    model_version=train_model_version,
    image_scope=train_scope,
    instance_type=training_instance_type
)

# Retrieve the training script
train_source_uri = script_uris.retrieve(
    model_id=train_model_id, model_version=train_model_version, script_scope=train_scope
)

train_model_uri = model_uris.retrieve(
    model_id=train_model_id, model_version=train_model_version, model_scope=train_scope
)

# Sample training data is available in this bucket
training_data_bucket = f"jumpstart-cache-prod-{aws_region}"
training_data_prefix = "training-datasets/tabular_binary/"

training_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}/train"
validation_dataset_s3_path = f"s3://{training_data_bucket}/{training_data_prefix}/validation"

output_bucket = sess.default_bucket()
output_prefix = "jumpstart-example-tabular-training"

s3_output_location = f"s3://{output_bucket}/{output_prefix}/output"

from sagemaker import hyperparameters

# Retrieve the default hyperparameters for training the model
hyperparameters = hyperparameters.retrieve_default(
    model_id=train_model_id, model_version=train_model_version
)

# [Optional] Override default hyperparameters with custom values
hyperparameters[
    "auto_stack"
] = "True"
print(hyperparameters)

from sagemaker.estimator import Estimator
from sagemaker.utils import name_from_base

training_job_name = name_from_base(f"built-in-algo-{train_model_id}-training")

# Create SageMaker Estimator instance
tabular_estimator = Estimator(
    role=aws_role,
    image_uri=train_image_uri,
    source_dir=train_source_uri,
    model_uri=train_model_uri,
    entry_point="transfer_learning.py",
    instance_count=1,
    instance_type=training_instance_type,
    max_run=360000,
    hyperparameters=hyperparameters,
    output_path=s3_output_location
)

# Launch a SageMaker Training job by passing the S3 path of the training data
tabular_estimator.fit(
    {
        "training": training_dataset_s3_path,
        "validation": validation_dataset_s3_path,
    }, logs=True, job_name=training_job_name
)

組み込みアルゴリズムとして AutoGluon-Tabular を設定する方法の詳細については、次のノートブックの例を参照してください。これらの例で使用される S3 バケットは、それらを実行するために使用されるノートブックインスタンスと同じ AWS リージョンに存在する必要があります。

AutoGluon-Tabular アルゴリズムの入出力インターフェイス

勾配ブースティングは表形式のデータで動作し、行が観測値、1 つの列がターゲット変数またはラベル、残りの列が特徴を表します。

AutoGluon-Tabular の SageMaker 実装では、トレーニングと推論に CSV がサポートされています。

トレーニング ContentType の場合、有効な入力は text/csv である必要があります。
推論 ContentTypeの場合、有効な入力は text/csv である必要があります。

注記

CSV トレーニングの場合、アルゴリズムはターゲット変数が最初の列にあり、CSV にはヘッダーレコードがないと見なします。

CSV 推論の場合、アルゴリズムは CSV 入力にラベル列がないと見なします。

トレーニングデータ、検証データ、およびカテゴリ別特徴量の入力形式

AutoGluon-Tabular モデルへの入力用にトレーニングデータをフォーマットする方法に注意してください。トレーニングおよび検証データを含む Amazon S3 バケットへのパスを指定する必要があります。カテゴリ別特徴のリストを含めることもできます。training と validation チャネルの両方を使用して入力データを提供します。training チャネルだけを使用することもできます。

training と validation チャネルの両方を使用する

入力データは、2 つの S3 パス (1 つは training チャネル用、もう 1 つは validation チャネル用) によって指定できます。各 S3 パスは、S3 プレフィックスでも、1 つの特定の CSV ファイルを指すフル S3 パスでもかまいません。ターゲット変数は CSV ファイルの最初の列にある必要があります。予測変数 (特徴量) は残りの列に存在する必要があります。検証データは、各ブースティング反復の最後に検証スコアを計算するために使用されます。検証スコアが改善しなくなると、早期停止が適用されます。

予測子にカテゴリ別特徴が含まれている場合は、トレーニングデータファイルと同じ場所にという名前categorical_index.jsonの JSON ファイルを提供できます。カテゴリ別特徴の JSON ファイルを提供する場合、training チャネルは特定の CSV ファイルではなく S3 プレフィックスを指している必要があります。このファイルには Python ディクショナリが含まれている必要があり、キーは "cat_index_list" という文字列で、値が一意の整数のリストです。値リストの各整数は、トレーニングデータの CSV ファイル内の対応するカテゴリ別特徴の列インデックスを示す必要があります。各値は、正の整数 (0 は目標値を表すため 0 より大きい) で、Int32.MaxValue (2147483647) より小さく、列の総数よりも小さい必要があります。カテゴリ別インデックス JSON ファイルは 1 つだけである必要があります。

training チャネルのみを使用する。

別の方法として、training チャネル用の単一の S3 パスを介して入力データを指定することもできます。この S3 パスは、CSV ファイルtraining/を含むという名前のサブディレクトリを持つディレクトリを指す必要があります。オプションで、CSV ファイルvalidation/があるという同じ場所に別のサブディレクトリを含めることができます。検証データが提供されない場合は、トレーニングデータの 20% がランダムにサンプリングされ、検証データとして使用されます。予測変数にカテゴリ別特徴が含まれている場合は、データサブディレクトリと同じ場所に categorical_index.json という名前の JSON ファイルを提供できます。

注記

CSV トレーニング入力モードの場合、アルゴリズムで使用できるメモリの合計 (インスタントカウント * InstanceType で使用できるメモリ) でトレーニングデータセットを保持できる必要があります。

SageMaker AutoGluon-Tabular はautogluon.tabular.TabularPredictorモジュールを使用してモデルをシリアル化または逆シリアル化します。これはモデルの保存またはロードに使用できます。

フレームワークで SageMaker AutoGluon-Tabular でトレーニングされた AutoGluonモデルを使用するには

次の Python コードを使用します。


import tarfile
from autogluon.tabular import TabularPredictor

t = tarfile.open('model.tar.gz', 'r:gz')
t.extractall()

model = TabularPredictor.load(model_file_path)

# prediction with test data
# dtest should be a pandas DataFrame with column names feature_0, feature_1, ..., feature_d
pred = model.predict(dtest)

AutoGluon-Tabular アルゴリズムの Amazon EC2 インスタンスレコメンデーション

SageMaker AutoGluon-Tabular は、単一インスタンス CPU および単一インスタンス GPU トレーニングをサポートします。インスタンスごとのコストは高いものの、GPU はトレーニングをより迅速に行うため、費用対効果が高くなります。GPU トレーニングを利用するには、インスタンスタイプを GPU インスタンス (P3 など) SageMaker AutoGluonの 1 つとして指定します。-Tabular は現在、マルチ GPU トレーニングをサポートしていません。

AutoGluon-表形式のサンプルノートブック

次の表は、Amazon - SageMaker AutoGluonTabular アルゴリズムのさまざまなユースケースに対応するさまざまなサンプルノートブックの概要を示しています。

ノートブックのタイトル	説明
Amazon - SageMaker AutoGluonTabular アルゴリズムによる表形式分類	このノートブックでは、Amazon SageMaker AutoGluon-Tabular アルゴリズムを使用して表形式の分類モデルをトレーニングおよびホストする方法を示します。
Amazon - SageMaker AutoGluonTabular アルゴリズムによる表形式回帰	このノートブックでは、Amazon SageMaker AutoGluon-Tabular アルゴリズムを使用して表形式の回帰モデルをトレーニングおよびホストする方法を示します。

で例を実行するために使用できる Jupyter Notebook インスタンスを作成してアクセスする方法については SageMaker、「」を参照してくださいAmazon SageMaker Notebook インスタンス。ノートブックインスタンスを作成して開いたら、SageMaker「例」タブを選択すると、すべての SageMaker サンプルのリストが表示されます。ノートブックを開くには、その [Use (使用)] タブを選択し、[Create copy (コピーを作成)] を選択します。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

表形式

仕組み