整合性のあるビュー - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

整合性のあるビュー

警告

2023 年 6 月 1 日、EMRFS整合性のあるビューは、将来の Amazon EMRリリースの標準サポートを終了します。 EMRFS整合性のあるビューは、既存のリリースでも引き続き機能します。

2020 年 12 月 1 日の Amazon S3 の強力な read-after-write整合性のリリースにより、Amazon EMRクラスターでEMRFS整合性のあるビュー (EMRFS CV) を使用する必要がなくなりました。 EMRFSCV は、Amazon EMRクラスターが Amazon S3 オブジェクトのリストと read-after-write整合性をチェックできるようにするオプション機能です。クラスターを作成し、EMRFSCV をオンにすると、Amazon は Amazon DynamoDB データベースEMRを作成し、S3 オブジェクトのリストと read-after-write整合性を追跡するために使用するオブジェクトメタデータを保存します。EMRFS CV をオフにして、使用する DynamoDB データベースを削除して、追加コストが発生しないようにできるようになりました。次の手順に従うと、CV 機能の確認と無効化に加え、その機能が使用する DynamoDB データベースの削除を行えます。

CV EMRFS 機能を使用しているかどうかを確認するには

  1. [設定] タブに移動します。クラスターに次の設定がある場合は、CV EMRFS を使用します。

    Classification=emrfs-site,Property=fs.s3.consistent,Value=true

  2. または、 AWS CLI を使用して describe-cluster APIでクラスターを記述します。出力に が含まれている場合fs.s3.consistent: true、クラスターは CV EMRFS を使用します。

Amazon EMRクラスターで EMRFS CV をオフにするには

CV 機能を無効にするには、次の EMRFS 3 つのオプションのいずれかを使用します。これらのオプションは、テスト環境でテストした後に、実稼働環境に適用する必要があります。

  1. 既存のクラスターを停止し、CV EMRFS オプションなしで新しいクラスターを起動するには。

    1. クラスターの停止前に、データを確実にバックアップし、ユーザーに停止を通知してください。

    2. クラスターを停止するには、「クラスターを終了する」の手順に従います。

    3. Amazon EMRコンソールを使用して新しいクラスターを作成する場合は、詳細オプションに移動します。「ソフトウェア設定の編集」セクションで、CV EMRFS を有効にするオプションの選択を解除します。EMRFS 整合性のあるビューのチェックボックスが使用可能な場合は、オフのままにします。

    4. AWS CLI を使用して で新しいクラスターを作成する場合は、CV create-cluster APIをオンにする EMRFS --emrfsオプションを使用しないでください。

    5. SDK または を使用して新しいクラスター AWS CloudFormation を作成する場合は、「整合性のあるビューを設定する」に記載されている設定を使用しないでください。

  2. クラスターのクローンを作成して CV EMRFS を削除するには

    1. Amazon EMRコンソールで、CV EMRFS を使用するクラスターを選択します。

    2. [クラスターの詳細] ページの上部で、[クローン] を選択します。

    3. [前へ] を選択して、[ステップ 1: ソフトウェアとステップ] に移動します。

    4. ソフトウェア設定の編集で、CV EMRFS を削除します。[設定を編集する] で、emrfs-site 分類内にある次の設定を削除します。S3 バケットJSONからロードする場合は、S3 オブジェクトを変更する必要があります。

      [
	{"classification":
		"emrfs-site",
		"properties": {
			"fs.s3.consistent.retryPeriodSeconds":"10",
			"fs.s3.consistent":"true",
			"fs.s3.consistent.retryCount":"5",
			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
		}
	}
]
  3. インスタンスグループを使用するクラスターから EMRFS CV を削除するには

    1. 次のコマンドを使用して、1 つのEMRクラスターが CV に関連付けられている DynamoDB EMRFS テーブルを使用しているか、複数のクラスターがテーブルを共有しているかを確認します。「整合性のあるビューを設定する」の説明どおり、テーブル名は fs.s3.consistent.metadata.tableName で指定します。EMRFS CV で使用されるデフォルトのテーブル名は ですEmrFSMetadata。

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

    2. クラスターが DynamoDB データベースを別のクラスターと共有しない場合は、次のコマンドを使用してクラスターを再設定し、CV EMRFS を無効にします。詳細については、「実行中のクラスター内のインスタンスグループの再設定」を参照してください。

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      このコマンドにより、変更対象のファイルが開きます。次の設定を使用してファイルを変更します。

      {
	"ClusterId": "j-xxxx",
	"InstanceGroups": [
		{
			"InstanceGroupId": "ig-xxxx",
			"Configurations": [
				{
					"Classification": "emrfs-site",
					"Properties": {
						"fs.s3.consistent": "false"
					},
					"Configurations": []
				}
			]
		}
	]
}

    3. クラスターが DynamoDB テーブルを別のクラスターと共有している場合は、クラスターが共有 S3 EMRFS ロケーション内のオブジェクトを変更しない場合、一度にすべてのクラスターで CV をオフにします。

CV に関連付けられた Amazon DynamoDB EMRFS リソースを削除するには

Amazon EMRクラスターから EMRFS CV を削除したら、CV に関連付けられた DynamoDB EMRFS リソースを削除します。これを行うまでは、CV に関連する DynamoDB EMRFS 料金が引き続き発生します。

  1. DynamoDB テーブルの CloudWatch メトリクスを確認し、テーブルがどのクラスターでも使用されていないことを確認します。

  2. DynamoDB テーブルを削除します。

    aws dynamodb delete-table --table-name <your-table-name>
CV に関連付けられた Amazon EMRFS SQSリソースを削除するには

  1. 不整合通知を Amazon にプッシュするようにクラスターを設定した場合はSQS、すべてのSQSキューを削除できます。

  2. 「整合性のあるビューを設定する」の説明に従ってfs.s3.consistent.notification.SQS.queueName、 で指定された Amazon SQSキュー名を見つけます。デフォルトの場合、キュー名の形式は、EMRFS-Inconsistency-<j-cluster ID> です。

    aws sqs list-queues | grep ‘EMRFS-Inconsistency’
aws sqs delete-queue –queue-url <your-queue-url>
の使用を停止するには EMRFS CLI

  • は、CV EMRFS が生成するメタデータEMRFSCLIを管理します。EMRFS CV の標準サポートEMRFSCLIは Amazon の今後のリリースで終了するためEMR、 のサポートも終了します。

トピック