AWS Data Pipeline とは何ですか? - AWS Data Pipeline

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Data Pipeline とは何ですか?

AWS Data Pipeline は、データの移動と変換を自動化するために使用できるウェブサービスです。AWS Data Pipeline を使用すると、データ駆動型のワークフローを定義することができるので、以前のタスクの正常な完了を基にタスクを実行できます。データ変換のパラメータを定義すると、AWS Data Pipeline によって設定したロジックが適用されます。

AWS Data Pipeline の以下のコンポーネントは、連携してデータを管理します。

  • パイプライン定義とは、データ管理のビジネスロジックを指定したものです。詳細については、「パイプライン定義ファイルの構文」を参照してください。

  • Aパイプラインは、タスクをスケジュールして実行するために、Amazon EC2 インスタンスを作成して定義済みの作業アクティビティを実行します。パイプラインにパイプライン定義をアップロードし、パイプラインをアクティブ化します。実行中のパイプラインのパイプライン定義を編集し、有効にするパイプラインを再度アクティブ化することができます。パイプラインを非アクティブ化し、データソースを修正して、パイプラインを再度アクティブ化することができます。パイプラインの処理が終了したら、パイプラインを削除できます。

  • タスクランナーは、タスクをポーリングし、それらのタスクを実行します。例えば、Task Runner はログファイルを Amazon S3 にコピーし、Amazon EMR クラスターを起動できます。Task Runner は、パイプライン定義によって作成されたリソースに自動的にインストールおよび実行されます。カスタムTask Runner アプリケーションを作成することも、AWS Data Pipeline で提供される Task Runner アプリケーションを使用することもできます。詳細については、「Task Runner」を参照してください。

たとえば、AWS Data Pipeline を使用して、ウェブサーバーのログを毎日 Amazon Simple Storage Service (Amazon S3) にアーカイブし、週に 1 回、これらのログに対して Amazon EMR (Amazon EMR) クラスターを実行して、トラフィックレポートを生成することができます。AWS Data Pipeline は、データをコピーする日次タスクと、Amazon EMR クラスターを起動する週次タスクをスケジュールします。AWS Data Pipeline は、ログのアップロードに予期せぬ遅延が生じた場合でも、最終日のデータが Amazon S3 にアップロードされるのを待って分析を開始するようにします。


            AWS Data Pipeline 機能の概要

AWS Data Pipeline へのアクセス

次のインターフェイスのいずれかを使用して、パイプラインの作成、アクセス、管理を行うことができます。

  • AWS マネジメントコンソール— AWS Data Pipeline へのアクセスに使用するウェブインターフェイスを提供します。

  • AWS コマンドラインインターフェイス (AWS CLI)— AWS Data Pipeline を含むさまざまな AWS のサービス用のコマンドが用意されており、Windows、macOS、および Linux でサポートされています。AWS CLI のインストールの詳細については、を参照してください。AWS コマンドラインインターフェイス。AWS Data Pipeline 用のコマンドのリストについては、」datapipeline

  • AWS SDK — 言語固有の API を提供し、署名の計算、リクエストの再試行処理、エラー処理など、接続のさまざまな詳細を処理します。詳細については、AWS SDK を参照してください。

  • クエリ API— HTTPS リクエストを使用して呼び出す低レベル API を提供します。クエリ API の使用は、AWS Data Pipeline の最も直接的なアクセス方法ですが、リクエストに署名するハッシュの生成やエラー処理など、低レベルの詳細な作業をアプリケーションで処理する必要があります。詳細については、『』を参照してください。AWS Data Pipeline API リファレンス

Pricing

Amazon Web Services と併せて、使用した分に応じてお支払いください。AWS Data Pipeline では、アクティビティと前提条件の実行がスケジュールされ、どこで実行されるかに基づいてパイプラインにお支払いいただきます。詳細については、「」を参照してください。AWS Data Pipeline 料金

AWS アカウントを作成してから 12 か月未満の場合、無料利用枠を使用できます。無料利用枠には、1 か月あたり 3 つの低頻度の前提条件と 5 つの低頻度のアクティビティが無料で含まれています。詳細については、「AWS 無料利用枠」を参照してください。