AWS Data Pipeline とは - AWS Data Pipeline

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Data Pipeline とは

AWS Data Pipeline は、データの移動と変換を自動化するために使用できるウェブサービスです。AWS Data Pipeline を使用すると、データ駆動型のワークフローを定義することができるので、以前のタスクの正常な完了を基にタスクを実行できます。データ変換のパラメータを定義すると、設定したロジックが AWS Data Pipeline によって適用されます。

AWS Data Pipeline では、以下のコンポーネントの連携によってデータを管理します。

  • パイプライン定義とは、データ管理のビジネスロジックを指定したものです。詳細については、「パイプライン定義ファイルの構文」を参照してください。

  • Aパイプラインは、タスクをスケジュールして実行するために、Amazon EC2 インスタンスを作成して定義済みの作業アクティビティを実行します。パイプラインにパイプライン定義をアップロードし、パイプラインをアクティブ化します。実行中のパイプラインのパイプライン定義を編集し、有効にするパイプラインを再度アクティブ化することができます。パイプラインを非アクティブ化し、データソースを修正して、パイプラインを再度アクティブ化することができます。パイプラインの処理が終了したら、パイプラインを削除できます。

  • タスクランナーは、タスクをポーリングし、それらのタスクを実行します。例えば、Task Runner はログファイルを Amazon S3 にコピーし、Amazon EMR クラスターを起動できます。Task Runner は、パイプライン定義によって作成されたリソースに自動的にインストールおよび実行されます。カスタム Task Runner アプリケーションを作成することも、Task Runner アプリケーションを使用することもできます。AWS Data Pipeline。詳細については、「Task Runner」を参照してください。

たとえば、を使用できます。AWS Data Pipelineウェブサーバーのログを毎日 Amazon Simple Storage Service (Amazon S3) にアーカイブし、週に 1 回、これらのログに対して Amazon EMR (Amazon EMR) クラスターを実行して、トラフィックレポートを生成します。AWS Data Pipelineは、データをコピーする日次タスクと、Amazon EMR クラスターを起動する週次タスクをスケジュールします。AWS Data Pipelineは、ログのアップロードに予期せぬ遅延が生じた場合でも、Amazon EMR が最終日のデータが Amazon S3 にアップロードされるのを待って分析を開始するようにします。


            AWS Data Pipelineの機能概要

AWS Data Pipeline へのアクセス

次のインターフェイスのいずれかを使用して、パイプラインの作成、アクセス、管理を行うことができます。

  • AWS Management Console— へのアクセスに使用するウェブインターフェイスを提供します。AWS Data Pipeline。

  • AWS Command Line Interface(AWS CLI)— 以下を含む一連のさまざまな AWS のサービス用のコマンドを提供します。AWS Data Pipelineでサポートされており、Windows、macOS、Linux でサポートされています。AWS CLI のインストールの詳細については、AWS Command Line Interface を参照してください。AWS Data Pipeline 用のコマンドのリストについては、datapipeline を参照してください。

  • AWS SDK — 言語固有の API を提供し、署名の計算、リクエストの再試行処理、エラー処理など、接続のさまざまな詳細を処理します。詳細については、AWS SDK を参照してください。

  • クエリ API— HTTPS リクエストを使用して呼び出す低レベル API を提供します。クエリ API の使用は、AWS Data Pipeline の最も直接的なアクセス方法ですが、リクエストに署名するハッシュの生成やエラー処理など、低レベルの詳細な作業をアプリケーションで処理する必要があります。詳細については、「AWS Data Pipeline API リファレンス」を参照してください。

Pricing

Amazon Web Services と併せて、使用した分に応じてお支払いください。AWS Data Pipeline では、どのくらいの頻度でアクティビティおよび前提条件の実行がスケジュールされ、どこで実行されるかに基づいてパイプラインにお支払いいただきます。詳細については、「AWS Data Pipeline 料金表」を参照してください。

AWS アカウントを作成してから 12 か月未満の場合、無料利用枠を使用できます。無料利用枠には、1 か月あたり 3 つの低頻度の前提条件と 5 つの低頻度のアクティビティが無料で含まれています。詳細については、「AWS 無料利用枠」を参照してください。