AWS Glue
開発者ガイド

開発エンドポイント用の環境の設定

AWS Glue で抽出、変換、およびロード (ETL) スクリプトを実行するために、開発エンドポイントを使用してスクリプトを開発し、テストすることがあります。開発エンドポイントを設定するときは、仮想プライベートクラウド (VPC)、サブネット、およびセキュリティグループを指定します。

注記

AWS Glue の DNS 環境を必ず設定してください。詳細については、「VPC での DNS のセットアップ」を参照してください。

開発エンドポイント用にネットワークを設定する

AWS Glue が必要なリソースにアクセスできるようにするには、サブネットルートテーブルに行を追加して、Amazon S3 のプレフィックスリストを VPC エンドポイントに関連付けます。プレフィックスリスト ID は、VPC からのトラフィックが VPC エンドポイント経由で AWS サービスにアクセスできるようにするアウトバウンドセキュリティグループルールを作成するために必要です。 この開発エンドポイントに関連付けられているノートブックサーバーへの接続をローカルマシンから簡単に行うには、ルートテーブルに行を追加してインターネットゲートウェイ ID を追加します。詳細については、「VPC エンドポイント」を参照してください。サブネットのルートテーブルを更新すると次の表のようになります。

送信先 ターゲット

10.0.0.0/16

local

pl-id for Amazon S3

vpce-id

0.0.0.0/0

igw-xxxx

AWS Glue がコンポーネント間で通信できるようにするには、すべての TCP ポートに対して自己参照のインバウンドルールを持つセキュリティグループを指定します。自己参照ルールを作成することで、ソースを VPC 内の同じセキュリティグループに制限することができ、ネットワーク全体には公開されません。VPC のデフォルトのセキュリティグループには、すでに ALL Traffic (すべてのトラフィック) の自己参照インバウンドルールがある場合があります。

セキュリティグループを設定するには

  1. AWS マネジメントコンソールにサインインをしたあと、https://console.aws.amazon.com/ec2/ にある Amazon EC2 コンソールを開きます。

  2. 左のナビゲーションペインで [セキュリティグループ] を選択します。

  3. リストから既存のセキュリティグループを選択するか、[Create Security Group] (セキュリティグループの作成) を選択して、開発エンドポイントで使用します。

  4. セキュリティグループペインで、[Inbound] (インバウンド) タブに移動します。

  5. 自己参照ルールを追加して、AWS Glue コンポーネントが通信できるようにします。具体的には、[Type (タイプ)] All TCP、[Protocol (プロトコル)] は TCP、[Port Range (ポート範囲)] にはすべてのポートが含まれ、[Source (ソース)] は [Group ID (グループ ID)] と同じセキュリティグループ名であるというルールを追加または確認します。

    インバウンドルールは次のようになります。

    タイプ プロトコル ポート範囲 送信元

    すべての TCP

    TCP

    0–65535

    security-group

    次に、自己参照インバウンドルールの例を示します。

    
                        自己参照インバウンドルールの例を示す図。
  6. アウトバウンドトラフィックのルールも追加します。すべてのポートへのアウトバウンドトラフィックを開くか、または [Type (タイプ)] All TCP、[Protocol (プロトコル)] は TCP、[Port Range (ポート範囲)] にすべてのポートが含まれ、[Source (ソース)] は [Group ID (グループ ID)] と同じセキュリティグループ名の自己参照ルールを作成します。

    アウトバウンドルールは、次のいずれかのルールのようになります。

    タイプ プロトコル ポート範囲 送信先

    すべての TCP

    TCP

    0–65535

    security-group

    すべてのトラフィック

    ALL

    ALL

    0.0.0.0/0

ノートブックサーバー用の Amazon EC2 の設定

開発エンドポイントでは、Zeppelin ノートブックで ETL スクリプトをテストするためのノートブックサーバーを作成できます。ノートブックとの通信を可能にするには、HTTPS (ポート 443) と SSH (ポート 22) の両方のインバウンドルールを持つセキュリティグループを指定します。ルールのソースが 0.0.0.0/0 か、ノートブックに接続しているマシンの IP アドレスであることを確認してください。

セキュリティグループを設定するには

  1. AWS マネジメントコンソールにサインインをしたあと、https://console.aws.amazon.com/ec2/ にある Amazon EC2 コンソールを開きます。

  2. 左のナビゲーションペインで [セキュリティグループ] を選択します。

  3. リストから既存のセキュリティグループを選択するか、[Create Security Group] (セキュリティグループの作成) を選択して、ノートブックサーバーで使用します。開発エンドポイントに関連付けられているセキュリティグループは、ノートブックサーバーの作成にも使用されます。

  4. セキュリティグループペインで、[Inbound] (インバウンド) タブに移動します。

  5. 次のようなインバウンドルールを追加します。

    タイプ プロトコル ポート範囲 送信元

    SSH

    TCP

    22

    0.0.0.0/0

    HTTPS

    TCP

    443

    0.0.0.0/0

    次に、セキュリティグループのインバウンドルールの例を示します。

    
                        セキュリティグループのインバウンドルールの例を示す画像。