から Step Functions AWS Data Pipeline へのワークロードの移行 - AWS Step Functions
ワークロードの移行コンセプトマッピングStep Functions サンプルプロジェクト料金比較

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

から Step Functions AWS Data Pipeline へのワークロードの移行

AWS は 2012 年に AWS Data Pipeline サービスを開始しました。当時、顧客は、さまざまなコンピューティングオプションを使用してさまざまなデータソース間でデータを移動できるサービスを求めていました。データ転送のニーズは時間とともに変化するため、そのニーズに対応するソリューションも変化します。現在は、ビジネス要件に最も近いソリューションを選択できるようになりました。例えば、次のいずれかを実行できます。

  • Step Functions を使用して、複数の AWS のサービス 間でワークフローをオーケストレーションします。

  • Amazon Managed Workflows for Apache Airflow (Amazon MWAA) を使用して、Apache Airflow のワークフローオーケストレーションを管理します。

  • AWS Glue を使用して、Apache Spark アプリケーションを実行およびオーケストレーションします。

の一般的なユースケース AWS Data Pipeline は AWS Glue、、Step Functions、または Amazon MWAA のいずれかに移行できます。選択するオプションは、 AWS Data Pipeline の現在のワークロードによって異なります。このトピックでは、 から Step Functions AWS Data Pipeline に移行する方法について説明します。

AWS Data Pipeline からのワークロードの移行

Step Functions は、ビジネスクリティカルなアプリケーションのワークフローを構築できる、サーバーレスのオーケストレーションサービスです。Step Functions のワークフロースタジオを使用すると、ワークフローを構築して、250 以上の AWS のサービス からの、11,000 を超える API アクションと統合できます。これには、 AWS Lambda、Amazon EMR、Amazon DynamoDB AWS のサービス などが含まれます。 DynamoDB Step Functions を使用すると、データ処理パイプラインをオーケストレーションしたり、エラーを処理したり、基盤となるパイプラインのスロットリング制限を処理したりすることもできます。 AWS のサービスワークフローを使用して、機械学習モデルの処理と公開、マイクロサービスのオーケストレーション、抽出、変換、ロード (ETL) のワークフローを AWS Glue で処理するワークフローを作成できます。手動による介入が必要なアプリケーション用に、実行時間が長い自動化されたワークフローを作成することもできます。

Step Functions は、 AWS が提供するフルマネージドサービスです。つまり、ユーザーに代わって、インフラストラクチャのメンテナンス、ワーカーへのパッチ適用、OS バージョン更新の管理などのAWS タスクを管理します。

ユースケースが次の条件に一致する場合は、 から AWS Data Pipeline Step Functions に移行することをお勧めします。

  • サーバーレスで可用性の高いワークフローオーケストレーションサービスを希望する。

  • 1 つのタスク実行の詳細度に応じて課金するソリューションが必要である。

  • ワークロードには、Amazon EMR AWS のサービス、Lambda、DynamoDB など AWS Glue、他の複数の のタスクのオーケストレーションが含まれます。

  • ワークフロー作成には、 drag-and-drop ビジュアルデザイナーを備えたローコードソリューションが必要です。このソリューションでは、なじみのない複雑なプログラミング概念を学ぶ必要はありません。

  • 11,000 を超える API アクション AWS のサービス をカバーする 250 を超える と統合するサービスが必要です。このサービスは、 以外のカスタムサービスやアクティビティとも統合する必要があります AWS。

Step Functions と AWS Data Pipeline の間のコンセプトマッピング

AWS Data Pipeline と Step Functions は、いくつかの一般的な概念を共有します。例えば、ワークフローを定義するには、 AWS Data Pipeline と Step Functions の両方で JSON 形式を使用します。Step Functions では Amazon ステートメント言語 を使用します。これは JSON ベースの構造化言語です。Amazon States Language (ASL) を使用してワークフローを定義し、ワークフローのテキスト表現と視覚表現を切り替えます。この JSON ベースの形式は、ワークフローをソースコントロールツールに簡単に保存するのに役立ちます。また、ワークフローの複数のバージョンを管理したり、アクセスを制御したり、CI/CD メソッドによるオーケストレーションを自動化したりするのに役立ちます。

次の表は、両方のサービスで使用されている主要な概念のマッピングを示しています。左側のデータパイプラインの概念列には の概念がリストされ AWS Data Pipeline、右側の Step Functions の概念列には Step Functions の同等の概念がリストされます。

データパイプラインの概念 Step Functions の概要
パイプライン ワークフロー
パイプライン定義 Amazon ステートメント言語 (ASL)
アクティビティ 状態 および タスクの状態
インスタンス 実行
Attempts Catchers と retriers
パイプラインスケジュール
パイプラインの式と関数

Step Functions サンプルプロジェクト

Step Functions の概要については、次のビデオを参照してください。

次のリストには、Step Functions を使って最も一般的な AWS Data Pipeline ユースケースを実装するいくつかのサンプルプロジェクトの概要を示しています。これらのサンプルプロジェクトは、 から Step Functions AWS Data Pipeline への移行のリファレンスとして使用できます。また、これらを定型文として使用して独自のワークフローを構築し、ユースケースに基づいてサポートされている AWS のサービス ワークフローと統合することができます。

Step Functions に関する詳細については、以下のトピックとリソースを参照してください。

料金比較

AWS Data Pipeline は、パイプラインの数とその使用レベルによって料金が設定されます。1 日に 2 回以上 (高頻度) 実行されるアクティビティの料金は、1 アクティビティにつき 1 か月あたり 1 USD です。1 日 1 回以下 (低頻度) に実行されるアクティビティの料金は、1 アクティビティにつき 1 か月あたり 0.60 USD です。アクティブではないパイプラインの料金は、パイプライン 1 つにつき 1 USD です。料金の詳細については、「AWS Data Pipeline 料金表」ページを参照してください。

Step Functions には標準と Express という 2 つのワークフロータイプがあります。ワークフローのタイプごとに料金モデルが異なります。この比較は、 の一般的なユースケースに最も適しているため、標準ワークフローに基づいています AWS Data Pipeline。標準ワークフローの料金は、状態遷移 1000 回あたり 0.025 USD です。アクティブではないステートマシンについては料金はかかりません。使用した分だけお支払いいただきます。料金の詳細については、「AWS Step Functions 料金表」ページを参照してください。