Angeben einer Konfiguration beim Erstellen eines Clusters - Amazon EMR

Sofern wir eine Übersetzung der englischsprachigen Version des Handbuchs bereitstellen, gilt im Fall von Widersprüchen die englischsprachige Version des Handbuchs. Bei der Übersetzung handelt es sich um eine maschinelle Übersetzung.

Angeben einer Konfiguration beim Erstellen eines Clusters

Wenn Sie einen Cluster erstellen, können Sie die Standardkonfigurationen für Anwendungen überschreiben. Verwenden Sie dazu das Amazon EMR Konsole, die AWS Command Line Interface ( ( (AWS CLI) oder das AWS SDK.

Angeben einer Konfiguration in der Konsole beim Erstellen eines Clusters

Zur Bereitstellung einer Konfiguration navigieren Sie zum Cluster erstellen Seite und wählen Sie Softwareeinstellungen bearbeiten. Sie können dann die Konfiguration direkt mittels JSON oder einer Syntax-Kurznotation angeben, dargestellt als abgedunkelter Text in der Konsole. Ansonsten können Sie eine Amazon S3 URI für eine Datei mit einer JSON Configurations Objekt.

Um eine Konfiguration für eine Instanz-Gruppe bereitzustellen, navigieren Sie zum Hardwarekonfiguration Seite. Unter dem Instanztyp Spalte im Knotentyp Tabelle, wählen Sie, um die Konfigurationen für Anwendungen für jede Instanz-Gruppe.

Angeben einer Konfiguration mit der AWS-CLI beim Erstellen eines Clusters

Sie können eine Konfiguration bereitstellen, um create-cluster indem Sie einen Pfad zu einer JSON-Datei bereitstellen, die lokal oder in Amazon S3. Im folgenden Beispiel wird davon ausgegangen, dass Sie bereits erstellte Standardrollen für Amazon EMR verwenden. Wenn Sie die Rollen erstellen müssen, führen Sie zuerst aws emr create-default-roles aus.

aws emr create-cluster --use-default-roles --release-label emr-5.30.1 --instance-type m5.xlarge --instance-count 2 --applications Name=Hive --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json

Wenn sich die Konfiguration im lokalen Verzeichnis befindet, können Sie folgendermaßen vorgehen:

aws emr create-cluster --use-default-roles --release-label emr-5.30.1 --applications Name=Hive \ --instance-type m5.xlarge --instance-count 3 --configurations file://./configurations.json

Angeben einer Konfiguration mit dem Java-SDK beim Erstellen eines Clusters

Der folgende Programmausschnitt zeigt, wie eine Konfiguration mit bereitgestellt wird:AWS SDK for Java:

Application hive = new Application().withName("Hive"); Map<String,String> hiveProperties = new HashMap<String,String>(); hiveProperties.put("hive.join.emit.interval","1000"); hiveProperties.put("hive.merge.mapfiles","true"); Configuration myHiveConfig = new Configuration() .withClassification("hive-site") .withProperties(hiveProperties); RunJobFlowRequest request = new RunJobFlowRequest() .withName("Create cluster with ReleaseLabel") .withReleaseLabel("emr-5.20.0") .withApplications(hive) .withConfigurations(myHiveConfig) .withServiceRole("EMR_DefaultRole") .withJobFlowRole("EMR_EC2_DefaultRole") .withInstances(new JobFlowInstancesConfig() .withEc2KeyName("myEc2Key") .withInstanceCount(3) .withKeepJobFlowAliveWhenNoSteps(true) .withMasterInstanceType("m4.large") .withSlaveInstanceType("m4.large") );