AWS Data Pipeline コンソールを使用した MySQL データのコピー - AWS Data Pipeline

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Data Pipeline コンソールを使用した MySQL データのコピー

MySQL のテーブルからAmazon S3 バケット内のファイルにデータをコピーするパイプラインを作成することができます。

パイプラインの作成

最初に、パイプラインを作成します。パイプラインは、ターゲット RDS インスタンスと同じリージョンで作成する必要があります。

パイプラインを作成するには

  1. を開くAWS Data Pipelineコンソールhttps://console.aws.amazon.com/datapipeline/

  2. 表示される最初の画面は、現在のリージョンにパイプラインを作成したかどうかによって異なります。

    1. このリージョンにパイプラインを作成していない場合は、コンソールに導入画面が表示されます。[Get started now] を選択します。

    2. このリージョンにパイプラインをすでに作成している場合、コンソールには、リージョンのパイプラインを一覧表示するページが表示されます。[Create new pipeline (新しいパイプラインの作成)] を選択します。

  3. Eclipse名前[] に、パイプラインの名前を入力します。

  4. (オプション) で説明[] に、パイプラインの説明を入力します。

  5. を使用する場合送信元[] を選択します。テンプレートを使用したビルドをクリックし、次のテンプレートを選択します。S3 への RDS MySQL テーブルのフルコピー

  6. テンプレートを選択すると開く [Parameters] セクションで、次の操作を行います。

    1. [DBInstance ID] に、Aurora クラスターからデータをコピーするために使用する Aurora DB インスタンスの DB インスタンス名を入力します。

      DB インスタンスのエンドポイントの詳細を確認するには、「」を参照してください。MySQL データベースエンジンを実行している DB インスタンスに接続するAmazon RDS ユーザーガイド

    2. [RDS MySQL username] に、MySQL データベースインスタンスの作成時に使用したユーザー名を入力します。

    3. [RDS MySQL password] フィールドに、DB インスタンスの作成時に使用したパスワードを入力します。

    4. [EC2 instance type] フィールドに、EC2 インスタンスのインスタンスタイプを入力します。

    5. [Output S3 folder] の横のフォルダーアイコンをクリックし、いずれかのバケットまたはフォルダーを選択して、[Select] をクリックします。

  7. []Scheduleで、パイプラインのアクティブ化

  8. []パイプライン設定、ロギングは有効のままにします。[] の下にあるフォルダアイコンを選択します。ログの S3 の場所で、いずれかのバケットまたはフォルダを選択して、[] を選択します。Select

    必要に応じて、代わりにログ記録を無効にすることができます。

  9. []セキュリティ/アクセス、脱退IAM; ロールに設定します。デフォルト値

  10. [Edit in Architect] をクリックします。

  11. 左側のペインで、アイコンをドラッグしてアイコンの間隔を空けます。これは、パイプラインを図で示したものです。矢印は、オブジェクト間の接続を示します。

    
                            パイプラインの設定

次に、データベース名を設定します。現在、これは利用可能なテンプレートに存在しません。

  1. 左ペインで、[RDSDatabase] をクリックします。

  2. 右ペインの [rds_mysql] セクションで、[Add an optional field...] の [Database Name] を選択します。

  3. ターゲットデータベースの [Database Name] に入力し、オプションのフィールドを追加します。

Amazon SNS 通知アクションを設定できます。AWS Data Pipelineは、コピーアクティビティが正常に完了した後でを実行します。

Amazon SNS 通知アクションを設定するには

  1. 右ペインで [Activities] をクリックします。

  2. [Add an optional field] から、[On Success] を選択します。

  3. 新たに追加されたから成功について[] を選択します。新規作成: アクション

  4. 右のペインで [Others] をクリックします。

  5. [DefaultAction1] で、次の操作を行います。

    1. 通知の名前(例: CopyDataNotice)を入力します。

    2. [Type] から、[SnsAlarm] を選択します。

    3. [Message] フィールドに、メッセージの内容を入力します。

    4. [Subject] フィールドに、通知の件名を入力します。

    5. [Topic Arn] フィールドに、トピックの ARN を入力します。

    6. [Role] フィールドは、デフォルト値のままにしておきます。

パイプラインの保存と検証

パイプライン定義は、作成プロセス中の任意の時点で保存できます。パイプライン定義を保存するとすぐに、AWS Data Pipelineパイプライン定義で構文エラーと欠損値を検索します。パイプラインが不完全または正しくない場合は、AWS Data Pipeline検証エラーおよび警告を生成します。警告メッセージは情報提供のみですが、パイプラインをアクティブ化する前にエラーメッセージを修正する必要があります。

パイプラインを保存して検証するには

  1. [Save pipeline] を選択します。

  2. AWS Data Pipelineパイプライン定義を検証し、成功、エラー、または警告メッセージのいずれかを返します。エラーメッセージが表示された場合は、[] を選択します。Closeその後、右側のペインで [] を選択します。エラー/警告

  3. -エラー/警告ペインには、検証に失敗したオブジェクトが一覧表示されます。プラスを選択します (+) オブジェクト名の横に記号を付けて、赤色のエラーメッセージを探します。

  4. エラーメッセージが表示されたら、エラーが表示される特定のオブジェクトペインに移動して修正します。たとえば、にエラーメッセージが表示された場合DataNodesオブジェクト、に移動します。DataNodesペインでエラーを修正します。

  5. にリストされているエラーを修正した後エラー/警告ペインで [] を選択します。パイプラインを保存

  6. パイプラインが正常に検証されるまで、このプロセスを繰り返します。

パイプライン定義の確認

パイプラインをアクティブ化する前に、定義からパイプラインが正しく初期化されていることを確認することが重要です。

パイプライン定義を確認するには

  1. リポジトリの []パイプラインを一覧表示するページで、新しく作成したパイプラインを探します。

    AWS Data Pipelineユニークを作成しましたパイプライン IDパイプライン定義を指定します。

    -スケジュールの状態パイプラインが表示されるはずの行の列PENDING

  2. パイプラインの横にある三角形のアイコンを選択します。以下のパイプラインの概要ペインには、パイプライン実行の詳細が表示されます。パイプラインがまだアクティブ化されていないため、実行の詳細は表示されません。ただし、パイプライン定義の設定が表示されます。

パイプラインのアクティブ化

パイプラインをアクティブにして、実行の作成と処理を開始します。パイプラインは、パイプライン定義のスケジュールと期間に基づいて開始されます。

重要

アクティベーションが成功すると、パイプラインが実行中であり、使用料金が発生する可能性があります。詳細については、「AWS Data Pipeline 料金表」を参照してください。の使用料金の発生を停止するにはAWS Data Pipelineで、パイプラインを削除します。

パイプラインをアクティブ化するには

  1. [Activate] を選択します。

  2. 確認ダイアログボックスで [] を選択します。Close

パイプライン実行の監視

パイプラインをアクティブ化すると、パイプラインの進捗状況をモニタリングできる [Execution details] ページに移動します。

パイプライン実行の進捗状況を監視するには

  1. 選択更新または F5 キーを押して、表示されたステータスを更新します。

    ヒント

    ランがリストされていない場合は、開始 (UTC)および終了 (UTC)パイプラインの予定開始予定と終了日をカバーし、[] を選択します。更新

  2. パイプラインのすべてのオブジェクトのステータスが FINISHED であれば、スケジュールされたタスクは正常に完了しています。SNS 通知を作成した場合は、このタスクの正常な完了に関するメールが届きます。

  3. パイプラインが正常に完了していない場合は、問題に関するパイプラインの設定を確認してください。インスタンスがパイプラインの実行に失敗した場合または実行を完了できなかった場合のトラブルシューティングに関する詳細については、「一般的な問題を解決する」を参照してください。

(オプション)パイプラインの削除

課金を中止するには、パイプラインを削除します。パイプラインを削除すると、パイプライン定義と関連するすべてのオブジェクトが削除されます。

パイプラインを削除するには

  1. リポジトリの []パイプラインを一覧表示する[] ページで、パイプラインを選択します。

  2. [] をクリックします。アクションを選択し、[] を選択します。削除

  3. 確認を求めるメッセージが表示されたら、[削除] を選択します。