整合性のあるビュー

警告

2023 年 6 月 1 日に、EMRFS コンシステントビューは、future の Amazon EMR リリースの標準サポートが終了します。EMRFS コンシステントビューは、既存のリリースでも引き続き機能します。

2020 年 12 月 1 日に Amazon S3 read-after-write の強力な整合性がリリースされたことで、Amazon EMR クラスターで EMRFS コンシステントビュー (EMRFS CV) を使用する必要がなくなりました。EMRFS CV は、Amazon EMR クラスターが Amazon S3 read-after-write オブジェクトの一覧と整合性を確認できます。クラスターを作成し、EMRFS CV を有効にすると、Amazon EMR は Amazon DynamoDB データベースを作成し、S3 read-after-write オブジェクトの一覧と整合性の追跡に使用されます。EMRFS CV をオフにして、使用している DynamoDB データベースを削除して、追加コストが発生しないようにできるようになりました。以下の手順では、CV 機能を確認して無効にし、その機能が使用する DynamoDB データベースを削除する方法について説明します。

EMRFS CV 機能を使用しているかどうかを確認するには

1. 「構成」タブに移動します。クラスターが以下の構成になっている場合は、EMRFS CV を使用します。

   Classification=emrfs-site,Property=fs.s3.consistent,Value=true

2. または、AWS CLIを使用して describe-clusterAPI でクラスターを記述することもできます。出力にが含まれる場合fs.s3.consistent: true、クラスターは EMRFS CV を使用します。

Amazon EMR クラスターで EMRFS CV をオフにするには

EMRFS CV 機能を無効にするには、以下の 3 つのオプションのいずれかを使用します。これらのオプションを実稼働環境に適用する前に、テスト環境でテストする必要があります。

1. 既存のクラスターを停止し、EMRFS CV オプションなしで新しいクラスターを開始するには。

   1. クラスターを停止する前に、必ずデータをバックアップし、ユーザーに通知してください。

   2. クラスターを停止するには、「クラスターの終了」の手順に従います。

   3. Amazon EMR コンソールを使用して新しいクラスターを作成する場合は、詳細オプションに移動します。「ソフトウェア設定の編集」セクションで、EMRFS CV を有効にするオプションの選択を解除します。EMRFS コンシステントビューのチェックボックスがある場合は、オフのままにしてください。

   4. create-clusterAPIAWS CLI を使用して新しいクラスターを作成する場合は、EMRFS CV--emrfs を有効にするオプションを使用しないでください。

   5. SDKAWS CloudFormation を使用する場合や新しいクラスターを作成する場合は、「コンシステントビューの設定」に記載されている構成は使用しないでください。

2. クラスターをクローンして EMRFS CV を削除するには

   1. Amazon EMR コンソールで、EMRFS CV を使用するクラスターを選択します。

   2. クラスターの詳細ページの上部にある [クローン] を選択します。

   3. [前へ] を選択し、[ステップ 1: ソフトウェアとステップ] に移動します。

   4. [ソフトウェア設定の編集] で、EMRFS CV を削除します。「構成の編集」 で、emrfs-site分類内の次の構成を削除します。S3 バケットから JSON を読み込む場合は、S3 オブジェクトを変更する必要があります。

      [
      	{"classification":
      		"emrfs-site",
      		"properties": {
      			"fs.s3.consistent.retryPeriodSeconds":"10",
      			"fs.s3.consistent":"true",
      			"fs.s3.consistent.retryCount":"5",
      			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
      		}
      	}
      ]

3. インスタンスグループを使用するクラスターから EMRFS CV を削除するには

   1. 次のコマンドを使用して、単一の EMR クラスターが EMRFS CV に関連付けられた DynamoDB テーブルを使用しているかどうか、または複数のクラスターがテーブルを共有しているかどうかを確認します。テーブル名はfs.s3.consistent.metadata.tableName、「コンシステントビューの設定」で説明されているようにで指定されています。EMRFS CV が使用するデフォルトのテーブル名はですEmrFSMetadata。

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

   2. クラスターが DynamoDB データベースを他のクラスターと共有していない場合は、次のコマンドを使用してクラスターを再設定し、EMRFS CV を非アクティブ化します。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      このコマンドは、変更するファイルを開きます。次の設定を使用して、ファイルを変更します。

      {
      	"ClusterId": "j-xxxx",
      	"InstanceGroups": [
      		{
      			"InstanceGroupId": "ig-xxxx",
      			"Configurations": [
      				{
      					"Classification": "emrfs-site",
      					"Properties": {
      						"fs.s3.consistent": "false"
      					},
      					"Configurations": []
      				}
      			]
      		}
      	]
      }

   3. クラスターが DynamoDB テーブルを別のクラスターと共有している場合は、クラスターが共有 S3 ロケーションのオブジェクトを変更しない時点で、すべてのクラスターで EMRFS CV をオフにします。

EMRFS CVに関連する Amazon DynamoDB リソースを削除するには

Amazon EMR クラスターから EMRFS CV を削除したら、EMRFS CV に関連付けられた DynamoDB リソースを削除します。そうするまでは、引き続き EMRFS CV に関連する DynamoDB 料金が発生します。

1. DynamoDB CloudWatch テーブルのメトリックスを確認し、そのテーブルがどのクラスターでも使用されていないことを確認します。

2. DynamoDB テーブルを削除します。

   aws dynamodb delete-table --table-name <your-table-name>

EMRFS CVに関連する Amazon SQS リソースを削除するには

1. 不一致通知を Amazon SQS にプッシュするようにクラスターを設定した場合、すべての SQS キューを削除できます。

2. 「コンシステントビューの設定」の説明に従ってfs.s3.consistent.notification.SQS.queueName、で指定された Amazon SQS キュー名を検索します。デフォルトのキュー名形式はですEMRFS-Inconsistency-<j-cluster ID>。

   aws sqs list-queues | grep ‘EMRFS-Inconsistency’
   aws sqs delete-queue –queue-url <your-queue-url>

EMRFS CLI の使用を停止するには

• EMRFS CLIは、EMRFS CVが生成するメタデータを管理します。Amazon EMR のfuture リリースで EMRFS CV の標準サポートが終了すると、EMRFS CLI のサポートも終了する予定です。

トピック

• 整合性のあるビューを有効にする
• EMRFS の整合性のあるビューが Amazon S3 内のオブジェクトを追跡する方法を理解する
• 再試行ロジック
• EMRFS の整合性のあるビューのメタデータ
• CloudWatch と Amazon SQS の整合性通知を設定する
• 整合性のあるビューを設定する
• EMRFS CLI コマンドリファレンス