モデル変換を使用して modeltransform コマンド

Neptune ML modeltransform コマンドを使用すると、モデル変換ジョブを作成したり、そのステータスを確認したり、停止したり、アクティブなモデルトレーニングジョブをすべて一覧表示したりできます。

Neptune ML modeltransform コマンドを使用したモデル変換ジョブの作成

インクリメンタル変換ジョブを作成するための、モデルの再トレーニングなしでの Neptune ML modeltransform コマンドは、次のようになります。

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "dataProcessingJobId" : "(the job-id of a completed data-processing job)",
        "mlModelTrainingJobId" : "(the job-id of a completed model-training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform"
      }'

完了した SageMaker トレーニングジョブからジョブを作成するための Neptune ML modeltransform コマンドは次のようになります。

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-transform job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform",
        "baseProcessingInstanceType" : ""
      }'

カスタムモデル実装を使用してジョブを作成するための Neptune ML modeltransform コマンドは次のようになります。

curl \
  -X POST https://(your Neptune endpoint)/ml/modeltransform
  -H 'Content-Type: application/json' \
  -d '{
        "id" : "(a unique model-training job ID)",
        "trainingJobName" : "(name of a completed SageMaker training job)",
        "modelTransformOutputS3Location" : "s3://(your Amazon S3 bucket)/neptune-model-transform/"
        "customModelTransformParameters" : {
          "sourceS3DirectoryPath": "s3://(your Amazon S3 bucket)/(path to your Python module)",
          "transformEntryPointScript": "(your transform script entry-point name in the Python module)"
        }
      }'

modeltransform ジョブ作成のパラメータ

• id — (オプション) 新しいジョブの一意の識別子。

  タイプ: 文字列。デフォルト値: 自動生成された UUID。

• dataProcessingJobId — 完了したデータ処理ジョブのジョブ ID。

  タイプ: 文字列。

  注意: dataProcessingJobId および mlModelTrainingJobId の両方を、または trainingJobName 含める必要があります。

• mlModelTrainingJobId — 完了したモデルトレーニングジョブのジョブ ID。

  タイプ: 文字列。

  注意: dataProcessingJobId および mlModelTrainingJobId の両方を、または trainingJobName 含める必要があります。

• trainingJobName — 完了した SageMaker トレーニングジョブの名前。

  タイプ: 文字列。

  注意: dataProcessingJobId および mlModelTrainingJobId パラメータの両方を、または trainingJobNameパラメータを含める必要があります。

• sagemakerIamRoleArn — (オプション) SageMaker 実行のための IAM ロールの ARN。

  タイプ: 文字列。注意: これは DB クラスターパラメータグループに一覧表示されている必要があります。そうしないと、エラーが発生します。

• neptuneIamRoleArn — (オプション) SageMaker および Amazon S3 リソースへの Neptune アクセスを提供する IAM ロールの ARN。

  タイプ: 文字列。注意: これは DB クラスターパラメータグループに一覧表示されている必要があります。そうしないと、エラーが発生します。

• customModelTransformParameters — (オプション) カスタムモデルを使用したモデル変換の構成情報。customModelTransformParameters オブジェクトには次のフィールドが含まれています。これらのフィールドには、トレーニングジョブの保存されたモデルパラメーターと互換性のある値が必要です。

  • sourceS3DirectoryPath — (必須) モデルを実装する Python モジュールがある Amazon S3 の場所へのパス。これは、少なくともトレーニングスクリプト、変換スクリプト、および model-hpo-configuration.json ファイルを含む有効な既存の Amazon S3 の場所を指定しなければなりません。

  • transformEntryPointScript — (オプション) モデルのデプロイに必要なモデルアーティファクトを計算するために、ハイパーパラメーター検索の最適なモデルが特定された後に実行されるスクリプトのモジュール内のエントリポイントの名前。コマンドライン引数なしで実行できるはずです。

    デフォルト: transform.py。

• baseProcessingInstanceType — (オプション) ML モデルのトレーニングの準備と管理に使用される ML インスタンスのタイプ。

  タイプ: 文字列。注意: これは、変換データとモデルの処理に必要なメモリに基づいて選択された CPU インスタンスです。「モデルトレーニングとモデル変換のインスタンスの選択」を参照してください。

• baseProcessingInstanceVolumeSizeInGB — (オプション) トレーニングインスタンスのディスクボリュームサイズ。入力データと出力モデルの両方がディスクに保存されるため、ボリュームサイズは両方のデータセットを保持するのに十分な大きさでなければなりません。

  タイプ: 整数。デフォルト: 0。

  注意: 指定しない場合、または 0 の場合、Neptune ML はデータ処理ステップで生成された推奨に基づいてディスクボリュームサイズを選択します。「モデルトレーニングとモデル変換のインスタンスの選択」を参照してください。

• subnets — (オプション) Neptune VPC 内のサブネットの ID。

  タイプ: 文字列のリスト。デフォルト: なし。

• securityGroupIds — (オプション) VPC セキュリティグループ ID。

  タイプ: 文字列のリスト。デフォルト: なし。

• volumeEncryptionKMSKey — (オプション) 変換ジョブを実行する ML コンピューティングインスタンスにアタッチされたストレージボリュームのデータを暗号化するために SageMaker が使用する AWS Key Management Service (AWS KMS) キー。

  タイプ: 文字列。デフォルト: なし。

• enableInterContainerTrafficEncryption — (オプション) トレーニングジョブまたはハイパーパラメータチューニングジョブでのコンテナ間トラフィック暗号化を有効または無効にします。

  タイプ：ブール値 デフォルト: true。

  注記

  enableInterContainerTrafficEncryption パラメータは、エンジンリリース 1.2.0.2.R3 でのみ使用できます。

• s3OutputEncryptionKMSKey — (オプション) SageMaker が処理ジョブの出力を暗号化するために使用する AWS Key Management Service (AWS KMS) キー。

  タイプ: 文字列。デフォルト: なし。

Neptune ML modeltransform コマンドを使用したモデル変換ジョブのステータスの取得

ジョブのステータスのサンプル Neptune ML modeltransform コマンドは、次のようになります。

curl -s \
  "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)" \
  | python -m json.tool

modeltransform ジョブステータスのパラメータ

• id — (必須) モデル変換ジョブの一意の識別子。

  タイプ: 文字列。

• neptuneIamRoleArn — (オプション) SageMaker および Amazon S3 リソースへの Neptune アクセスを提供する IAM ロールの ARN。

  タイプ: 文字列。注意: これは DB クラスターパラメータグループに一覧表示されている必要があります。そうしないと、エラーが発生します。

Neptune ML modeltransform コマンドを使用したモデル変換ジョブの停止

ジョブのを停止するサンプル Neptune ML modeltransform コマンドは、次のようになります。

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)"

または、このようになります。

curl -s \
  -X DELETE "https://(your Neptune endpoint)/ml/modeltransform/(the job ID)?clean=true"

modeltransform 停止ジョブのパラメータ

• id — (必須) モデル変換ジョブの一意の識別子。

  タイプ: 文字列。

• neptuneIamRoleArn — (オプション) SageMaker および Amazon S3 リソースへの Neptune アクセスを提供する IAM ロールの ARN。

  タイプ: 文字列。注意: これは DB クラスターパラメータグループに一覧表示されている必要があります。そうしないと、エラーが発生します。

• clean — (オプション) このフラグは、ジョブが停止したときにすべての Amazon S3 アーティファクトを削除する必要があることを指定します。

  タイプ: ブール値。デフォルト: FALSE。

Neptune ML modeltransform コマンドを使用したアクティブなモデル変換ジョブの一覧表示

アクティブジョブの一覧表示のサンプル Neptune ML modeltransform コマンドは、次のようになります。

curl -s "https://(your Neptune endpoint)/ml/modeltransform" | python -m json.tool

または、このようになります。

curl -s "https://(your Neptune endpoint)/ml/modeltransform?maxItems=3" | python -m json.tool

modeltransform ジョブの一覧表示のパラメータ

• maxItems — (オプション) 返される項目の最大数。

  タイプ: 整数。デフォルト: 10。最大許容値: 1024。

• neptuneIamRoleArn — (オプション) SageMaker および Amazon S3 リソースへの Neptune アクセスを提供する IAM ロールの ARN。

  タイプ: 文字列。注意: これは DB クラスターパラメータグループに一覧表示されている必要があります。そうしないと、エラーが発生します。