Amazon がトレーニング出力 SageMaker を処理する方法

アルゴリズムはコンテナ内で実行されるため、トレーニングジョブとモデルのステータスおよび出力アーティファクトを含む出力が生成されます。アルゴリズムは、コンテナの /output ディレクトリにある次のファイルにこの情報を書き込む必要があります。Amazon は、このディレクトリに含まれる情報を次のように SageMaker 処理します。

• /opt/ml/model – アルゴリズムは、このディレクトリにすべての最終的なモデルアーティファクトを書き込む必要があります。 は、このデータを圧縮された tar 形式の単一のオブジェクトとして、CreateTrainingJobリクエストで指定した S3 の場所に SageMaker コピーします。1 つのトレーニングジョブ内の複数のコンテナがこのディレクトリに書き込む場合、file/directory名前が競合しないようにする必要があります。 SageMaker は結果を TAR ファイルに集約し、トレーニングジョブの最後に S3 にアップロードします。

• /opt/ml/output/data – アルゴリズムは、最終モデル以外のアーティファクトをこのディレクトリに書き込む必要があります。 SageMaker は、このデータを圧縮された tar 形式の単一のオブジェクトとして、CreateTrainingJobリクエストで指定した S3 の場所にコピーします。1 つのトレーニングジョブ内の複数のコンテナがこのディレクトリに書き込む場合、file/directory名前が競合しないようにする必要があります。 は結果をTARファイルに SageMaker 集約し、トレーニングジョブの最後に S3 にアップロードします。

• /opt/ml/output/failure – トレーニングに失敗した場合、すべてのアルゴリズムの出力 (ログ記録など) の完了後に、アルゴリズムは失敗の説明をこのファイルに書き込む必要があります。DescribeTrainingJob レスポンスでは、 はこのファイルの最初の 1024 文字を として SageMaker 返しますFailureReason。

トレーニング出力を保存する S3 汎用バケットまたは S3 ディレクトリバケットを指定できます。ディレクトリバケットは Amazon S3 Express One Zone ストレージクラスのみを使用します。これは、一貫した 1 桁ミリ秒のレイテンシーを必要とするワークロードまたはパフォーマンスが重要なアプリケーション向けに設計されています。アプリケーションとパフォーマンス要件に最適なバケットタイプを選択します。S3 ディレクトリバケットの詳細については、「Amazon Simple Storage Service ユーザーガイド」の「ディレクトリバケット」を参照してください。