開発エンドポイントを使用してスクリプトを開発する
AWS Glue では、開発エンドポイントと呼ばれる環境を作成できます。この環境を使用して、抽出、変換、ロード (ETL) スクリプトを反復的に開発およびテストできます。開発エンドポイントを作成、編集、削除するには、AWS Glue コンソールまたは API を使用します。
注記
開発エンドポイントは、AWS Glue バージョン 2.0 ジョブでの使用がサポートされていません。詳細については、「Running Spark ETL Jobs with Reduced Startup Times」を参照してください。
開発環境の管理
開発エンドポイントを作成するときは、開発環境をプロビジョニングするための設定値を指定します。これらの値は、ユーザーが開発エンドポイントに安全にアクセスできるように、またエンドポイントがデータストアにアクセスできるように、ネットワークを設定する方法を AWS Glue に指示します。
次に、開発エンドポイントに接続するノートブックを作成し、このノートブックを使用して ETL スクリプトを作成およびテストできます。開発プロセスの結果に満足したら、スクリプトを実行する ETL ジョブを作成します。このプロセスにより、インタラクティブな方法で機能を追加してスクリプトをデバッグできます。
このセクションのチュートリアルに従って、ノートブックで開発エンドポイントを使用する方法を学習します。
トピック
- 開発エンドポイントのワークフロー
- AWS Glue 開発エンドポイントで SageMaker ノートブックを使用する方法
- 開発エンドポイントの追加
- 開発エンドポイントのプロパティの表示
- 開発エンドポイントへのアクセス
- Amazon EC2 でホストされているノートブックサーバーの作成
- チュートリアルセットアップ: 開発エンドポイントチュートリアルの前提条件
- チュートリアル: ローカル Apache Zeppelin ノートブックをセットアップして ETL スクリプトをテストしリモートでデバッグする
- チュートリアル: Amazon EC2 で Apache Zeppelin ノートブックサーバーをセットアップする
- チュートリアル: JupyterLab で Jupyter Notebook をセットアップして ETL スクリプトをテストおよびデバッグする
- チュートリアル: 開発エンドポイントで Amazon SageMaker ノートブックを使用する
- チュートリアル: 開発エンドポイントで REPL シェルを使用する
- チュートリアル: 開発エンドポイントで PyCharm Professional をセットアップする
- 高度な設定: 複数のユーザー間で開発エンドポイントを共有する