Angeben einer Konfiguration beim Erstellen eines Clusters - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Angeben einer Konfiguration beim Erstellen eines Clusters

Wenn Sie einen Cluster erstellen, können Sie die Standardkonfigurationen für Anwendungen überschreiben. Verwenden Sie zu diesem Zweck die Amazon EMR-Konsole, die AWS Command Line Interface (AWS CLI) oder das AWS-SDK.

Angeben einer Konfiguration in der Konsole beim Erstellen eines Clusters

Um eine Konfiguration anzugeben, navigieren Sie zur Seite Create cluster (Cluster erstellen) und wählen Edit software settings (Softwareeinstellungen bearbeiten) aus. Sie können dann die Konfiguration direkt mittels JSON oder einer Syntax-Kurznotation angeben, dargestellt als abgedunkelter Text in der Konsole. Andernfalls können Sie eine Amazon S3-URI für eine Datei mit einem Configurations-JSON-Objekt bereitstellen.

Um eine Konfiguration für eine Instance-Gruppe bereitzustellen, navigieren Sie zur Seite Hardware Configuration (Hardwarekonfiguration). Bearbeiten Sie in der Spalte Instance type (Instance-Typ) der Tabelle Node type (Knotentyp) die Configurations (Konfigurationen) für Anwendungen der verschiedenen Instance-Gruppen.

Angeben einer Konfiguration mit der AWS-CLI beim Erstellen eines Clusters

Sie können eine Konfiguration für create-cluster bereitstellen, indem Sie den Pfad zu einer JSON-Datei angeben, die lokal oder in Amazon S3 gespeichert ist. Im folgenden Beispiel wird davon ausgegangen, dass Sie bereits erstellte Standardrollen für Amazon EMR verwenden. Wenn Sie die Rollen erstellen müssen, führen Sie zuerst aws emr create-default-roles aus.

aws emr create-cluster --use-default-roles --release-label emr-5.31.0 --instance-type m5.xlarge --instance-count 2 --applications Name=Hive --configurations https://s3.amazonaws.com/mybucket/myfolder/myConfig.json

Wenn sich die Konfiguration im lokalen Verzeichnis befindet, können Sie folgendermaßen vorgehen:

aws emr create-cluster --use-default-roles --release-label emr-5.31.0 --applications Name=Hive \ --instance-type m5.xlarge --instance-count 3 --configurations file://./configurations.json

Angeben einer Konfiguration mit dem Java-SDK beim Erstellen eines Clusters

Der folgende Programmausschnitt zeigt, wie eine Konfiguration mit AWS SDK for Java bereitgestellt wird:

Application hive = new Application().withName("Hive"); Map<String,String> hiveProperties = new HashMap<String,String>(); hiveProperties.put("hive.join.emit.interval","1000"); hiveProperties.put("hive.merge.mapfiles","true"); Configuration myHiveConfig = new Configuration() .withClassification("hive-site") .withProperties(hiveProperties); RunJobFlowRequest request = new RunJobFlowRequest() .withName("Create cluster with ReleaseLabel") .withReleaseLabel("emr-5.20.0") .withApplications(hive) .withConfigurations(myHiveConfig) .withServiceRole("EMR_DefaultRole") .withJobFlowRole("EMR_EC2_DefaultRole") .withInstances(new JobFlowInstancesConfig() .withEc2KeyName("myEc2Key") .withInstanceCount(3) .withKeepJobFlowAliveWhenNoSteps(true) .withMasterInstanceType("m4.large") .withSlaveInstanceType("m4.large") );