Amazon SQS に基づくスケーリング - Amazon EC2 Auto Scaling (日本語)

Amazon SQS に基づくスケーリング

このセクションでは、Amazon Simple Queue Service (Amazon SQS) キュー内のシステム負荷の変化に応じて Auto Scaling グループをスケーリングする方法について説明します。Amazon SQS の使用方法の詳細については、「Amazon Simple Queue Service 開発者ガイド」を参照してください。

Amazon SQS キューのアクティビティに応じたスケーリングを検討するシナリオはいくつかあります。たとえば、ユーザーがイメージをアップロードしてオンラインで使用できるウェブアプリがあるとします。このシナリオでは、各イメージはサイズ変更されエンコードされてから公開されます。このアプリケーションは、標準的なアップロード速度を処理するように設定された Auto Scaling グループ内の EC2 インスタンスで実行されます。異常なインスタンスは終了され置き換えられて、常に現在のインスタンスレベルが維持されます。このアプリは処理のためイメージの raw ビットマップデータを SQS キューに配置します。イメージが処理され、処理されたイメージはユーザーから確認できる場所に発行されます。このシナリオのアーキテクチャは、イメージのアップロード数が時間の経過とともに変化しない場合に有効です。ただし、アップロード数が時間の経過とともに変化する場合は、動的スケーリングを使用して Auto Scaling グループの容量を拡張することを検討してください。

適切なメトリクスでのターゲットトラッキングの使用

カスタム Amazon SQS キューメトリクスに基づくターゲット追跡スケーリングポリシーを使用する場合、動的スケーリングはアプリケーションの需要曲線に合わせてより効果的に調整できます。ターゲット追跡のメトリクスの選択の詳細については、「メトリクスの選択」を参照してください。

ターゲット追跡に ApproximateNumberOfMessagesVisible のような CloudWatch Amazon SQS メトリクスを使用する場合の問題は、キュー内のメッセージの数が、キューからのメッセージを処理する Auto Scaling グループのサイズに比例して変化しない可能性があることです。これは SQS キューにあるメッセージの数のみでは、必要なインスタンスの数は定義されないためです。Auto Scaling グループ内のインスタンスの数は複数の要因によって決まります。たとえば、メッセージを処理するためにかかる時間や、許容されるレイテンシー (キュー遅延) の量などです。

解決策は、インスタンスあたりのバックログのメトリクスを使用して、ターゲット値を維持するインスタンスあたりの適正バックログにすることです。これらの数は以下のように計算できます。

  • インスタンスあたりのバックログ: インスタンスあたりのバックログを計算するには、まず ApproximateNumberOfMessages キュー属性を使用して SQS キューの長さ (このキューから取得できるメッセージ数) を決定します。その数をフリートの実行キャパシティーで割ります。Auto Scaling グループの場合、これは InService 状態にあるインスタンスの数です。これでインスタンスあたりのバックログを得ることができます。

  • インスタンスあたりの適正バックログ: ターゲット値を計算するには、まずレイテンシーの点でアプリケーションが受け付けることができる数を決定します。次に、適切なレイテンシー値を取ってそれを EC2 インスタンスがメッセージを処理する平均所要時間で割ります。

例で説明すると、現在の ApproximateNumberOfMessages は 1500 であり、フリートの実行キャパシティーは 10 であるとします。メッセージあたりの平均処理時間が 0.1 秒であり、最長許容レイテンシーが 10 秒の場合、インスタンスあたりの適正バックログは 10/0.1、つまり 100 です。つまり、100 がターゲット追跡ポリシーのターゲット値です。インスタンスあたりバックログが現在 150 (1500/10) の場合、フリートはターゲット値との比例を維持するために 5 インスタンス分スケールアウトします。

次の手順は、カスタムメトリクスを公開し、これらの計算に基づいてスケーリングするように Auto Scaling グループを設定するターゲット追跡スケーリングポリシーを作成する方法を示しています。

この設定は 3 つの主要な部分で構成されます。

  • SQS キューからのメッセージを処理するために EC2 インスタンスを管理する Auto Scaling グループ。

  • Amazon CloudWatch に送信するカスタムメトリクス。Auto Scaling グループの EC2 インスタンスごとにキュー内のメッセージの数を測定します。

  • ターゲット追跡ポリシー。カスタムメトリクスと一連のターゲット値に基づいて Auto Scaling グループをスケールするように設定します。CloudWatch アラームでスケーリングポリシーを呼び出します。

次の図は、この設定のアーキテクチャを示しています。


                        キューを使用する Amazon EC2 Auto Scaling のアーキテクチャ図

制限事項と前提条件

この設定を使用するには、次の制限事項に注意する必要があります。

  • カスタムメトリクスを CloudWatch に発行するには、AWS CLI または AWS SDK を使用する必要があります。その後、AWS マネジメントコンソール を使用してメトリクスを監視できます。

  • SQS キューメトリクス ApproximateNumberOfMessages が CloudWatch にありません。このメトリクスの値は、SQS get-queue-attributes コマンドまたは GetQueueAttributes オペレーションを使用してのみ取得できます。

  • カスタムメトリクスを公開したら、AWS CLI または AWS SDK を使用して、カスタマイズされたメトリクス仕様でターゲット追跡スケーリングポリシーを作成する必要があります。

次のセクションでは、実行する必要があるタスクに AWS CLI を使用するよう指示しています。CLI がインストールされ設定されていることを確認します。

開始する前に、使用する Amazon SQS キューが必要です。以下のセクションは、キュー (標準または FIFO)、Auto Scaling グループ、キューを使用するアプリケーションを実行している EC2 インスタンスがあることを前提としています。Amazon SQS の詳細については、「Amazon Simple Queue Service 開発者ガイド」を参照してください。

Amazon SQS に基づくスケーリングを設定

ステップ 1: CloudWatch カスタムメトリクスを作成する

カスタムメトリックスは、選択したメトリックス名と名前空間を使用して定義されます。カスタムメトリクスの名前空間を「AWS/」で始めることはできません。カスタムメトリクスの発行に関する詳細については、Amazon CloudWatch ユーザーガイド の「カスタムメトリクスを発行する」トピックを参照してください。

以下の手順に従って、AWS アカウントの情報を最初に読み込んでカスタムメトリクスを作成します。次に、前のセクション で推奨されたようにインスタンスメトリクスごとにバックログを計算します。最後に、この数字を CloudWatch に 1 分間隔で発行します。可能な限り、システム負荷の変化に迅速に対応できるように、メトリクスを 1 分単位でスケーリングすることを強くお勧めします。

CloudWatch カスタムメトリクスを作成するには

  1. SQS get-queue-attributes コマンドを使用して、キューで待機しているメッセージ数を取得します (ApproximateNumberOfMessages)。

    aws sqs get-queue-attributes --queue-url https://sqs.region.amazonaws.com/123456789/MyQueue \ --attribute-names ApproximateNumberOfMessages
  2. describe-auto-scaling-groups コマンドを使用して、グループの実行キャパシティーを取得します。これは InService ライフサイクル状態にあるインスタンスの数です。このコマンドは、Auto Scaling グループのインスタンスとそのライフサイクル状態を返します。

    aws autoscaling describe-auto-scaling-groups --auto-scaling-group-names my-asg
  3. キューからの取得に使用できるメッセージの概数を、フリートの実行キャパシティーで割って、インスタンスごとのバックログを計算します。

  4. 結果を CloudWatch カスタムメトリクスとして 1 分間隔で発行します。

    以下に CLI put-metric-data コマンドの例を示します。

    aws cloudwatch put-metric-data --metric-name MyBacklogPerInstance --namespace MyNamespace \ --unit None --value 20 --dimensions MyOptionalMetricDimensionName=MyOptionalMetricDimensionValue

アプリケーションが目的のメトリクスを出力すると、データが CloudWatch に送信されます。メトリクスは CloudWatch コンソールで表示できます。メトリクスにアクセスするには、AWS マネジメントコンソール にログインして CloudWatch ページに移動します。その後、メトリクスを表示するには、メトリクスページに移動するか、検索ボックスを使用してメトリクスを検索します。メトリクスの表示については、Amazon CloudWatch ユーザーガイド の「利用可能なメトリクスを表示する」を参照してください。

ステップ 2: ターゲット追跡スケーリングポリシーを作成する

カスタムメトリクスを公開したら、カスタマイズされたメトリクス仕様を使用してターゲット追跡スケーリングポリシーを作成します。

ターゲット追跡スケーリングポリシーを作成するには

  1. 以下のコマンドを使用して、ホームディレクトリの config.json ファイルにスケーリングポリシーのターゲット値を指定します。

    TargetValue には、インスタンスあたりの適正バックログメトリックスを計算して、それを入力します。この数を計算するには、通常のレイテンシー値を決定し、メッセージの処理にかかる平均時間で割ります。

    $ cat ~/config.json { "TargetValue":100, "CustomizedMetricSpecification":{ "MetricName":"MyBacklogPerInstance", "Namespace":"MyNamespace", "Dimensions":[ { "Name":"MyOptionalMetricDimensionName", "Value":"MyOptionalMetricDimensionValue" } ], "Statistic":"Average", "Unit":"None" } }
  2. 前のステップで作成した config.json ファイルと共に put-scaling-policy コマンドを使用して、スケーリングポリシーを作成します。

    aws autoscaling put-scaling-policy --policy-name sqs100-target-tracking-scaling-policy \ --auto-scaling-group-name my-asg --policy-type TargetTrackingScaling \ --target-tracking-configuration file://~/config.json

    これにより、2 つのアラーム (スケールアウトとスケールイン) が作成されます。また、CloudWatch に登録されたポリシーの Amazon リソースネーム (ARN) も返されます。CloudWatch はこれを使用して、メトリクスが違反するたびにスケーリングを呼び出します。

ステップ 3: スケーリングポリシーをテストする

設定が完了したら、スケーリングポリシーが機能していることを確認します。SQS キュー内のメッセージ数を増やし、Auto Scaling グループが追加の EC2 インスタンスを起動したことを確認することによってテストできます。SQS キュー内のメッセージ数を減らし、Auto Scaling グループが EC2 インスタンスを終了したことを確認することによってもテストできます。

スケールアウト機能をテストするには

  1. チュートリアル: Amazon SQS キューへのメッセージの送信」の手順に従って、キューにメッセージを追加します。インスタンスあたりのバックログメトリックスがターゲット値を超えるようにキュー内のメッセージ数を増やしたことを確認します。

    この変更により CloudWatch アラームがトリガーされるまで数分かかる場合があります。

  2. describe-auto-scaling-groups コマンドを使用して、グループがインスタンスを起動したことを確認します。

    aws autoscaling describe-auto-scaling-groups --auto-scaling-group-name my-asg

スケールイン機能をテストするには

  1. チュートリアル: Amazon SQS キューへのメッセージの送信」の手順に従って、キューからメッセージを削除します。インスタンスあたりのバックログメトリックスがターゲット値を下回るようにキュー内のメッセージ数を減らしたことを確認します。

    この変更により CloudWatch アラームがトリガーされるまで数分かかる場合があります。

  2. describe-auto-scaling-groups コマンドを使用して、グループがインスタンスを終了したことを確認します。

    aws autoscaling describe-auto-scaling-groups --auto-scaling-group-name my-asg