SageMaker ノートブックジョブ

Amazon SageMaker AI を使用して、JupyterLab 環境の Jupyter Notebook から機械学習モデルをインタラクティブに構築、トレーニング、デプロイできます。ただし、ノートブックをスケジュール済みの非インタラクティブなジョブとして実行する必要があるさまざまなシナリオがあります。例えば、特定の期間内に実行されるすべてのトレーニングジョブを分析し、それらのモデルを本番環境にデプロイすることのビジネス価値を分析する定期的な監査レポートを作成する必要があるかもしれません。あるいは、データの小さなサブセットでデータ変換ロジックをテストした後に、特徴量エンジニアリングの仕事をスケールアップする必要があるかもしれません。他の一般的ユースケースには以下などがあります。

• モデルドリフトモニタリング用ジョブのスケジュール設定

• より良いモデルのためのパラメーター空間の探索

これらのシナリオでは、SageMaker ノートブックジョブを使用して、非インタラクティブなジョブ (SageMaker AI が基盤となるトレーニングジョブとして実行するジョブ) を作成し、オンデマンドまたはスケジュールに従って実行できます。SageMaker Notebook Jobs には直感的なユーザーインターフェイスが用意されているため、ノートブックの Notebook Jobs ウィジェット( ) を選択して JupyterLab から直接ジョブをスケジュールできます。SageMaker AI Python SDK を使用してジョブをスケジュールすることもできます。これにより、パイプラインワークフローで複数のノートブックジョブを柔軟にスケジュールできます。複数のノートブックを並列に実行し、ノートブック内のセルをパラメータ化して入力パラメータをカスタマイズできます。

この機能は、Amazon EventBridge サービス、SageMaker Training サービス、Pipelines サービスを活用し、以下のいずれかの環境の Jupyter Notebook で使用できます。

• Studio、Studio Lab、Studio Classic、またはノートブックインスタンス

• JupyterLab を実行するローカルマシンなどのローカル設定

前提条件

ノートブックジョブをスケジュールするには、次の基準を満たしていることを確認してください。

• Jupyter Notebook と初期化スクリプトまたは起動スクリプトが、コードとソフトウェアパッケージに関して自己完結型であることを確認してください。そうでないと、非インタラクティブジョブでエラーが発生する可能性があります。

• Jupyter Notebook、ネットワーク設定、コンテナ設定が適切に設定されるように 制約と考慮事項 を確認します。

• ノートブックが Amazon EMR クラスターなどの必要な外部リソースにアクセスできることを確認します。

• ローカル Jupyter Notebook で Notebook Jobs を設定する場合は、インストールを完了してください。手順については、インストールガイド を参照してください。

• ノートブックで Amazon EMR クラスターに接続して、Amazon EMR 接続コマンドをパラメータ化する場合は、環境変数を使用してパラメータを渡す回避策を適用する必要があります。詳細については、「ノートブックから Amazon EMR クラスターに接続する」を参照してください。

• Kerberos、LDAP、または HTTP Basic Auth 認証を使用して Amazon EMR クラスターに接続する場合は、 を使用してセキュリティ認証情報 AWS Secrets Manager を Amazon EMR 接続コマンドに渡す必要があります。詳細については、「ノートブックから Amazon EMR クラスターに接続する」を参照してください。

• (オプション) ノートブックの起動時に実行するスクリプトを UI に事前ロードさせる場合は、管理者がライフサイクル設定 (LCC) を使用してスクリプトをインストールする必要があります。LCC スクリプトの使用方法については、「Customize a Notebook Instance Using a Lifecycle Configuration Script」を参照してください。