SageMaker ノートブックジョブ

Amazon を使用して、任意の JupyterLab 環境で Jupyter ノートブックから機械学習モデルを SageMaker インタラクティブに構築、トレーニング、デプロイできます。ただし、ノートブックをスケジュール済みの非インタラクティブなジョブとして実行する必要があるさまざまなシナリオがあります。例えば、特定の期間内に実行されるすべてのトレーニングジョブを分析し、それらのモデルを本番環境にデプロイすることのビジネス価値を分析する定期的な監査レポートを作成する必要があるかもしれません。あるいは、データの小さなサブセットでデータ変換ロジックをテストした後に、特徴量エンジニアリングの仕事をスケールアップする必要があるかもしれません。他の一般的ユースケースには以下などがあります。

• モデルドリフトモニタリング用ジョブのスケジュール設定

• より良いモデルのためのパラメーター空間の探索

これらのシナリオでは、 SageMaker ノートブックジョブを使用して非対話型ジョブ (基礎となるトレーニングジョブとして SageMaker 実行) を作成し、オンデマンドまたはスケジュールで実行できます。 SageMaker ノートブックジョブには直感的なユーザーインターフェイスが用意されているため、ノートブックでノートブックジョブウィジェット ( ) を選択すること JupyterLab で、ジョブをスケジュールできます。 SageMaker Python を使用してジョブをスケジュールすることもできます。これによりSDK、パイプラインワークフローで複数のノートブックジョブを柔軟にスケジュールできます。複数のノートブックを並列に実行し、ノートブック内のセルをパラメータ化して入力パラメータをカスタマイズできます。

この機能は Amazon EventBridge、 SageMaker トレーニング、パイプラインのサービスを活用し、次のいずれかの環境で Jupyter ノートブックで使用できます。

• Studio、Studio Lab、Studio Classic、またはノートブックインスタンス

• ローカルマシンなど、 を実行するローカルセットアップ JupyterLab

前提条件

ノートブックジョブをスケジュールするには、次の基準を満たしていることを確認してください。

• Jupyter Notebook と初期化スクリプトまたは起動スクリプトが、コードとソフトウェアパッケージに関して自己完結型であることを確認してください。そうでないと、非インタラクティブジョブでエラーが発生する可能性があります。

• Jupyter Notebook、ネットワーク設定、コンテナ設定が適切に設定されるように 制約と考慮事項 を確認します。

• ノートブックが Amazon EMRクラスターなどの必要な外部リソースにアクセスできることを確認します。

• ローカル Jupyter Notebook で Notebook Jobs を設定する場合は、インストールを完了してください。手順については、インストールガイド を参照してください。

• ノートブック内の Amazon EMRクラスターに接続し、Amazon EMR接続コマンドをパラメータ化する場合は、環境変数を使用して回避策を適用してパラメータを渡す必要があります。詳細については、「ノートブックから Amazon EMRクラスターに接続する」を参照してください。

• Kerberos、、LDAPまたは HTTP Basic Auth 認証を使用して Amazon EMRクラスターに接続する場合は、 を使用してセキュリティ認証情報 AWS Secrets Manager を Amazon EMR接続コマンドに渡す必要があります。詳細については、「ノートブックから Amazon EMRクラスターに接続する」を参照してください。

• （オプション) ノートブックの起動時に UI でスクリプトをプリロードする場合は、管理者がライフサイクル設定 () を使用してスクリプトをインストールする必要がありますLCC。LCC スクリプトの使用方法については、「ライフサイクル設定スクリプトを使用したノートブックインスタンスのカスタマイズ」を参照してください。