Konfigurieren der konsistenten Ansicht

Sie können zusätzliche Einstellungen für die konsistente Ansicht konfigurieren, indem Sie sie mithilfe von Konfigurationseigenschaften für emrfs-site-Eigenschaften bereitstellen. Sie können beispielsweise einen anderen Standard-DynamoDB-Durchsatz wählen, indem Sie die folgenden Argumente an die CLI---emrfs-Option übergeben, die emrfs-site-Konfigurationsklassifizierung (nur Amazon EMR Version 4.x und höher) oder eine Bootstrap-Aktion zur Konfiguration der Datei emrfs-site.xml auf dem Hauptknoten verwenden:

Beispiel Ändern der Standardwerte zum Lesen und Schreiben von Metadaten bei Cluster-Start

aws emr create-cluster --release-label emr-7.1.0 --instance-type m5.xlarge \
--emrfs Consistent=true,Args=[fs.s3.consistent.metadata.read.capacity=600,\
fs.s3.consistent.metadata.write.capacity=300] --ec2-attributes KeyName=myKey

Verwenden Sie alternativ die folgende Konfigurationsdatei und speichern Sie sie lokal oder in Amazon S3:

[
    {
      "Classification": "emrfs-site",
      "Properties": {
        "fs.s3.consistent.metadata.read.capacity": "600",
        "fs.s3.consistent.metadata.write.capacity": "300"
      }
    }
 ]

Verwenden Sie die Konfiguration, die Sie erstellt haben, mit der folgenden Syntax:

aws emr create-cluster --release-label emr-7.1.0 --applications Name=Hive \
--instance-type m5.xlarge --instance-count 2 --configurations file://./myConfig.json

Anmerkung

Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

Die folgenden Optionen können mithilfe von Konfigurationen oder AWS CLI --emrfs Argumenten festgelegt werden. Informationen über diese Argumente finden Sie in der AWS CLI -Befehlsreferenz.

emrfs-site.xml-Eigenschaften für die konsistente Ansicht
Eigenschaft	Standardwert	Beschreibung
fs.s3.consistent	false	Wenn diese Eigenschaft auf true festgelegt wurde, wird EMRFS für die Verwendung von DynamoDB zur Bereitstellung von Konsistenz konfiguriert.
fs.s3.consistent.retryPolicyType	exponential	Diese Eigenschaft gibt die Richtlinie an, die für Wiederholversuche bei Konsistenzproblemen verwendet werden soll. Optionen: exponentiell, fest oder keine.
fs.s3.consistent.retryPeriodSeconds	1	Diese Eigenschaft legt die Wartezeit zwischen den Wiederholversuchen bei Konsistenzproblemen fest.
fs.s3.consistent.retryCount	10	Diese Eigenschaft legt die maximale Anzahl von Wiederholversuchen bei erkannten Inkonsistenzen fest.
fs.s3.consistent.throwExceptionOnInconsistency	true	Diese Eigenschaft bestimmt, ob eine Konsistenzausnahme ausgelöst oder protokolliert werden soll. Wenn diese Eigenschaft auf true festgelegt wurde, wird eine ConsistencyException ausgelöst.
fs.s3.consistent.metadata.autoCreate	true	Wenn diese Eigenschaft auf true festgelegt wurde, ermöglicht sie die automatische Erstellung von Metadatentabellen.
fs.s3.consistent.metadata.etag.verification.enabled	true	Mit Amazon EMR 5.29.0 ist diese Eigenschaft standardmäßig aktiviert. Wenn diese Option aktiviert ist, verwendet EMRFS S3-ETags, um zu überprüfen, ob gelesene Objekte die neueste verfügbare Version sind. Diese Funktion ist hilfreich für read-after-update Anwendungsfälle, in denen Dateien auf S3 überschrieben werden, während derselbe Name beibehalten wird. Diese ETag-Verifizierungsfunktion funktioniert derzeit nicht mit S3 Select.
fs.s3.consistent.metadata.tableName	EmrFSMetadata	Diese Eigenschaft gibt den Namen der Metadatentabelle in DynamoDB an.
fs.s3.consistent.metadata.read.capacity	500	Diese Eigenschaft gibt die DynamoDB-Lesekapazität an, die bei Erstellung der Metadatentabelle bereitgestellt wird.
fs.s3.consistent.metadata.write.capacity	100	Diese Eigenschaft gibt die DynamoDB-Schreibkapazität an, die bei Erstellung der Metadatentabelle bereitgestellt wird.
fs.s3.consistent.fastList	true	Wenn diese Eigenschaft auf true festgelegt wurde, verwendet sie mehrere Threads zum Auflisten eines Verzeichnisses (wenn notwendig). Damit diese Eigenschaft verwendet werden kann, muss Konsistenz aktiviert sein.
fs.s3.consistent.fastList.prefetchMetadata	false	Wenn diese Eigenschaft auf true festgelegt wurde, ermöglicht sie den Vorabruf von Metadaten für Verzeichnisse mit mehr als 20.000 Elementen.
fs.s3.consistent.notification.CloudWatch	false	Wenn diese Option auf gesetzt isttrue, werden CloudWatch Metriken für FileSystem API-Aufrufe aktiviert, die aufgrund eventueller Konsistenzprobleme von Amazon S3 fehlschlagen.
fs.s3.consistent.notification.SQS	false	Wenn diese Eigenschaft auf true festgelegt wurde, werden Benachrichtigungen zu eventuellen Konsistenzproblemen per Push an eine Amazon-SQS-Warteschlange gesendet.
fs.s3.consistent.notification.SQS.queueName	EMRFS-Inconsistency-<jobFlowId>	Wenn Sie diese Eigenschaft ändern, können Sie Ihren eigenen SQS-Warteschlangennamen für Nachrichten zu eventuellen Konsistenzproblemen von Amazon S3 angeben.
fs.s3.consistent.notification.SQS.customMsg	none	Über diese Eigenschaft können Sie benutzerdefinierte Informationen angeben, die in SQS-Nachrichten zu eventuellen Konsistenzproblemen von Amazon S3 enthalten sein sollen. Wenn für diese Eigenschaft kein Wert festgelegt ist, ist das entsprechende Feld in der Nachricht leer.
fs.s3.consistent.dynamodb.endpoint	none	Über diese Eigenschaft können Sie einen benutzerdefinierten DynamoDB-Endpunkt für Ihre Metadaten der konsistenten Ansicht angeben.
fs.s3.useRequesterPaysHeader	false	Wenn diese Eigenschaft auf true gesetzt ist, erlaubt sie Amazon-S3-Anfragen an Buckets mit aktivierter Bezahler-Option.