ステップ 4. パイプラインの作成

パイプラインを論理的に定義したら、パイプラインをサポートするインフラストラクチャを作成します。このステップには、少なくとも以下の機能が必要です。

• コード、モデルアーティファクト、トレーニングや推論の実行に使用されるデータなど、パイプラインの入出力をホストし、管理するためのストレージ。

• モデリング、推論、およびデータの前処理と後処理を行うコンピューティング (GPU または CPU)。

• 使用中のリソースを管理し、定期的な実行をスケジュールするオーケストレーション。たとえば、新しいデータが利用可能になったら、モデルを定期的に再トレーニングできます。

• パイプラインモデルの精度、リソースの利用状況、トラブルシューティングをモニタリングするためのログとアラート。

による実装 AWS CloudFormation

使用したパイプラインを作成するために。これは AWS CloudFormation、Infrastructure as Code をデプロイおよび管理するための AWS サービスです。 AWS CloudFormation テンプレートには、前のステップで Step Functions SDK を使用して作成された Step Functions 定義が含まれています。このステップには、Step Functions ステートマシンと呼ばれる 管理の Step Functions インスタンスの作成が含まれます。トレーニングジョブと推論ジョブは SageMaker AI ジョブとして必要な場合にのみオンデマンドで実行されるため、この段階ではトレーニングと推論のリソースは作成されません。このステップには、Step Functions の実行、SageMaker AI の実行、Amazon S3 からの読み取りと書き込みを行うための AWS Identity and Access Management (IAM) ロールの作成も含まれます。 Amazon S3

Step Functions SDK からの出力の変更

前のセクションの AWS CloudFormation 出力を少し変更する必要がありました。単純な Python 文字列マッチングを使用して次のことを行いました。

• AWS CloudFormation テンプレートの Parametersセクションを作成するためのロジックを追加しました。これは、2 つのロールを作成し、デプロイ環境とともにパイプライン名をパラメータとして定義したいからです。このステップでは、ステップ 6 で説明したように、追加で作成するリソースやロールについても説明します。

• デプロイプロセスの一環として動的に更新できるように、3 つのフィールドを必要な !Sub プレフィックスと引用符で再フォーマットしました。

  • ステートマシンに名前を付ける StateMachineName プロパティ。

  • ステートマシンを定義する DefinitionString プロパティ。

  • ステートマシンによって返される RoleArn プロパティ。