とは AWS Data Pipeline - AWS Data Pipeline
アクセス AWS Data Pipeline料金

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

とは AWS Data Pipeline

注記

AWS Data Pipeline サービスはメンテナンスモードであり、新機能やリージョンの拡張は予定されていません。詳細および既存のワークロードの移行方法については、「からのワークロードの移行 AWS Data Pipeline」を参照してください。

AWS Data Pipeline は、データの移動と変換を自動化するために使用できるウェブサービスです。を使用すると AWS Data Pipeline、データ駆動型のワークフローを定義して、以前のタスクが正常に完了したかどうかにタスクを依存させることができます。データ変換のパラメータを定義し、設定したロジック AWS Data Pipeline を適用します。

の以下のコンポーネント AWS Data Pipeline が連携してデータを管理します。

  • パイプライン定義とは、データ管理のビジネスロジックを指定したものです。詳細については、「パイプライン定義ファイルの構文」を参照してください。

  • パイプラインは、タスクをスケジュールして実行するために、Amazon EC2インスタンスを作成して定義済みの作業アクティビティを実行します。パイプラインにパイプライン定義をアップロードし、パイプラインをアクティブ化します。実行中のパイプラインのパイプライン定義を編集し、有効にするパイプラインを再度アクティブ化することができます。パイプラインを非アクティブ化し、データソースを修正して、パイプラインを再度アクティブ化することができます。パイプラインの処理が終了したら、パイプラインを削除できます。

  • Task Runnerは、タスクをポーリングし、それらのタスクを実行します。例えば、Task RunnerはAmazon S3にログファイルをコピーしてAmazon EMR クラスターを起動できます。Task Runnerは、パイプラインの定義によって作成されたリソースに自動的にインストールおよび実行されます。カスタムタスクランナーアプリケーションを記述することも、 が提供する Task Runner アプリケーションを使用することもできます AWS Data Pipeline。詳細については、「Task Runner」を参照してください。

例えば、 AWS Data Pipeline を使用してウェブサーバーのログを毎日 Amazon Simple Storage Service (Amazon S3) にアーカイブし、それらのログに対して毎週 Amazon EMR (Amazon EMR) クラスターを実行してトラフィックレポートを生成できます。 は、データをコピーする日次タスクと Amazon EMR クラスターを起動する週次タスクを AWS Data Pipeline スケジュールします。 AWS Data Pipeline また、ログのアップロードに予期しない遅延がある場合でも、Amazon EMR は分析を開始する前に最終日のデータが Amazon S3 にアップロードされるのを待機します。

AWS Data Pipeline 機能の概要
内容

アクセス AWS Data Pipeline

次のインターフェイスのいずれかを使用して、パイプラインの作成、アクセス、管理を行うことができます。

  • AWS Management Console–へ AWS Data Pipelineのアクセスに使用できるウェブインターフェイスを提供します。

  • AWS Command Line Interface （AWS CLI） — を含む幅広い AWS サービスのコマンドを提供し AWS Data Pipeline、Windows、macOS、Linux でサポートされています。のインストールの詳細については、 AWS CLI「」を参照してくださいAWS Command Line Interface。のコマンドのリストについては AWS Data Pipeline、「datapipeline」を参照してください。

  • AWS SDK—言語固有のAPIを提供し、署名の計算、リクエストの再試行処理、エラー処理など、接続のさまざまな詳細を処理します。詳細については、AWS SDKを参照してください。

  • クエリ API–HTTPSリクエストを使用して呼び出す低レベル APIを提供します。クエリ APIの使用は、 AWS Data Pipelineの最も直接的なアクセス方法ですが、リクエストに署名するハッシュの生成やエラー処理など、低レベルの詳細な作業をアプリケーションで処理する必要があります。詳細については、「AWS Data Pipeline APIリファレンス」を参照してください。

料金

Amazon Web Servicesと併せて、使用した分に応じてお支払いください。の場合 AWS Data Pipeline、アクティビティと前提条件の実行がスケジュールされている頻度と実行場所に基づいて、パイプラインの料金を支払います。詳細については、「AWS Data Pipeline の料金」を参照してください。

AWSアカウントを作成してから12か月未満の場合、無料利用枠を使用できます。無料利用枠には、1か月あたり3つの低頻度の前提条件と5つの低頻度のアクティビティが無料で含まれています。詳細については、「AWS無料利用枠」を参照してください。