EmrCluster - AWS Data Pipeline
SchedulersEMRAmazon-Release-VersionenEMRAmazon-BerechtigungenSyntaxWeitere Informationen finden Sie unter:

AWS Data Pipeline ist für Neukunden nicht mehr verfügbar. Bestehende Kunden von AWS Data Pipeline können den Service weiterhin wie gewohnt nutzen. Weitere Informationen

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EmrCluster

Stellt die Konfiguration eines EMR Amazon-Clusters dar. Dieses Objekt wird von EmrActivity und HadoopActivity zum Starten eines Clusters verwendet.

Inhalt

Schedulers

Scheduler bieten eine Möglichkeit, die Ressourcenzuweisung und Auftragspriorisierung in einem Hadoop-Cluster festzulegen. Administratoren oder Benutzer können einen Scheduler für verschiedene Klassen von Benutzern und Anwendungen auswählen. Ein Scheduler könnte Warteschlangen nutzen, um Ressourcen für Benutzer und Anwendungen zuzuweisen. Sie richten diese Warteschlangen beim Erstellen des Clusters ein. Anschließend können Sie für bestimmte Arbeits- und Benutzertypen eine höhere Priorität festlegen als für andere. Dieses Vorgehen ermöglicht die effiziente Nutzung von Cluster-Ressourcen, wenn mehrere Benutzer Arbeiten zum Cluster übermitteln. Es gibt drei Arten von Schedulern:

  • FairScheduler— Versucht, Ressourcen gleichmäßig über einen längeren Zeitraum einzuplanen.

  • CapacityScheduler— Verwendet Warteschlangen, um Clusteradministratoren zu ermöglichen, Benutzer Warteschlangen mit unterschiedlicher Priorität und Ressourcenzuweisung zuzuweisen.

  • Standard: wird vom Cluster verwendet, was über Ihre Site konfiguriert werden kann.

EMRAmazon-Release-Versionen

Eine EMR Amazon-Version ist eine Reihe von Open-Source-Anwendungen aus dem Big-Data-Ökosystem. Jede Version umfasst verschiedene Big-Data-Anwendungen, -Komponenten und -Funktionen, die Sie bei der Erstellung eines Clusters für die EMR Installation und Konfiguration von Amazon auswählen. Sie geben die Version unter Verwendung der Versionsbezeichnung an. Versionsbezeichnungen haben die Form emr-x.x.x. Beispiel, emr-5.30.0. EMRAmazon-Cluster basieren auf dem Release-Label emr-4.0.0 und verwenden später die releaseLabel Eigenschaft, um das Release-Label eines EmrCluster Objekts anzugeben. Frühere Versionen verwenden die Eigenschaft amiVersion.

Wichtig

Alle EMR Amazon-Cluster, die mit der Release-Version 5.22.0 oder höher erstellt wurden, verwenden Signature Version 4, um Anfragen an Amazon S3 zu authentifizieren. Einige frühere Versionen verwenden Signature Version 2. Die Unterstützung für Signature Version 2 wird eingestellt. Weitere Informationen finden Sie unter Amazon S3 Update — SigV2 Deprecation Period Extended and Modified. Wir empfehlen dringend, eine EMR Amazon-Release-Version zu verwenden, die Signature Version 4 unterstützt. Für frühere Versionen, beginnend mit EMR 4.7.x, wurde die neueste Version der Serie aktualisiert, um Signature Version 4 zu unterstützen. Wenn Sie eine frühere EMR Version verwenden, empfehlen wir, die neueste Version der Serie zu verwenden. Vermeiden Sie außerdem Versionen vor EMR 4.7.0.

Überlegungen und Einschränkungen

Verwenden Sie die neueste Version von Task Runner

Wenn Sie ein selbstverwaltetes EmrCluster Objekt mit einem Release-Label verwenden, verwenden Sie den neuesten Task Runner. Weitere Informationen zu Task-Runner finden Sie unter Arbeiten mit Task Runner. Sie können Eigenschaftswerte für alle EMR Amazon-Konfigurationsklassifizierungen konfigurieren. Weitere Informationen finden Sie unter Configuring Applications im Amazon EMR Release Guide, in und in den EmrConfiguration Eigenschaft Objektreferenzen.

Support für IMDSv2

Bisher nur AWS Data Pipeline unterstütztIMDSv1. Wird jetzt IMDSv2 in Amazon EMR 5.23.1, 5.27.1 und 5.32 oder höher sowie Amazon 6.2 oder höher AWS Data Pipeline unterstützt. EMR IMDSv2verwendet eine sitzungsorientierte Methode, um die Authentifizierung beim Abrufen von Metadateninformationen aus Instances besser handhaben zu können. Sie sollten Ihre Instanzen so konfigurieren, dass sie IMDSv2 Aufrufe tätigen, indem Sie benutzerverwaltete Ressourcen mit -2.0 erstellen. TaskRunner

Amazon EMR 5.32 oder höher und Amazon EMR 6.x

Die Releaseserien von Amazon EMR 5.32 oder höher und 6.x verwenden Hadoop Version 3.x, mit der grundlegende Änderungen bei der Bewertung des Klassenpfads von Hadoop im Vergleich zu Hadoop-Version 2.x eingeführt wurden. Gängige Bibliotheken wie Joda-Time wurden aus dem Klassenpfad entfernt.

Wenn EmrActivity oder eine HadoopActivity Jar-Datei ausführt, die Abhängigkeiten von einer Bibliothek hat, die in Hadoop 3.x entfernt wurde, schlägt der Schritt mit dem Fehler oder fehl. java.lang.NoClassDefFoundError java.lang.ClassNotFoundException Dies kann bei Jar-Dateien passieren, die mit den Release-Versionen von Amazon EMR 5.x problemlos ausgeführt wurden.

Um das Problem zu beheben, müssen Sie Abhängigkeiten von Jar-Dateien in den Hadoop-Klassenpfad eines EmrCluster Objekts kopieren, bevor Sie den oder den starten. EmrActivity HadoopActivity Dafür stellen wir ein Bash-Skript zur Verfügung. Das Bash-Skript ist an der folgenden Stelle verfügbar, wo MyRegion ist zum Beispiel us-west-2 die AWS Region, in der Ihr EmrCluster Objekt ausgeführt wird.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh

Die Art und Weise, wie das Skript ausgeführt wird, hängt davon ab, ob EmrActivity es auf einer Ressource HadoopActivity ausgeführt wird, die von einer selbst verwalteten Ressource verwaltet wird, AWS Data Pipeline oder ob es auf einer selbst verwalteten Ressource ausgeführt wird.

Wenn Sie eine Ressource verwenden, die von verwaltet wird AWS Data Pipeline, fügen Sie dem EmrCluster Objekt eine bootstrapAction hinzu. Das bootstrapAction gibt das Skript und die Jar-Dateien an, die als Argumente kopiert werden sollen. Sie können bis zu 255 bootstrapAction Felder pro EmrCluster Objekt hinzufügen, und Sie können ein bootstrapAction Feld zu einem EmrCluster Objekt hinzufügen, das bereits über Bootstrap-Aktionen verfügt.

Um dieses Skript als Bootstrap-Aktion anzugeben, verwenden Sie die folgende Syntax: Wo JarFileRegion ist die Region, in der die JAR-Datei gespeichert ist, und MyJarFilen ist der absolute Pfad einer Jar-Datei in Amazon S3, die in den Hadoop-Klassenpfad kopiert werden soll. Geben Sie standardmäßig keine Jar-Dateien an, die sich im Hadoop-Klassenpfad befinden.

s3://datapipeline-MyRegion/MyRegion/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,JarFileRegion,MyJarFile1,MyJarFile2[, ...]

Das folgende Beispiel spezifiziert eine Bootstrap-Aktion, die zwei Jar-Dateien in Amazon S3 kopiert: my-jar-file.jar und dieemr-dynamodb-tool-4.14.0-jar-with-dependencies.jar. Die im Beispiel verwendete Region ist us-west-2.

{
  "id" : "MyEmrCluster",
  "type" : "EmrCluster",
  "keyPair" : "my-key-pair",
  "masterInstanceType" : "m5.xlarge",
  "coreInstanceType" : "m5.xlarge",
  "coreInstanceCount" : "2",
  "taskInstanceType" : "m5.xlarge",
  "taskInstanceCount": "2",
  "bootstrapAction" : ["s3://datapipeline-us-west-2/us-west-2/bootstrap-actions/latest/TaskRunner/copy-jars-to-hadoop-classpath.sh,us-west-2,s3://path/to/my-jar-file.jar,s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar"]
}

Sie müssen die Pipeline speichern und aktivieren, damit die Änderung an der neuen bootstrapAction Pipeline wirksam wird.

Wenn Sie eine selbstverwaltete Ressource verwenden, können Sie das Skript auf die Clusterinstanz herunterladen und es über SSH die Befehlszeile mit dem Befehl ausführen. Das Skript erstellt ein Verzeichnis mit dem Namen /etc/hadoop/conf/shellprofile.d und eine datapipeline-jars.sh in diesem Verzeichnis benannte Datei. Die als Befehlszeilenargumente bereitgestellten JAR-Dateien werden in ein Verzeichnis kopiert, das das Skript mit dem Namen erstellt. /home/hadoop/datapipeline_jars Wenn Ihr Cluster anders eingerichtet ist, ändern Sie das Skript nach dem Herunterladen entsprechend.

Die Syntax für die Ausführung des Skripts in der Befehlszeile unterscheidet sich geringfügig von der im vorherigen Beispiel bootstrapAction gezeigten Syntax. Verwenden Sie Leerzeichen anstelle von Kommas zwischen Argumenten, wie im folgenden Beispiel gezeigt.

./copy-jars-to-hadoop-classpath.sh us-west-2 s3://path/to/my-jar-file.jar s3://dynamodb-dpl-us-west-2/emr-ddb-storage-handler/4.14.0/emr-dynamodb-tools-4.14.0-jar-with-dependencies.jar

EMRAmazon-Berechtigungen

Wenn Sie eine benutzerdefinierte IAM Rolle erstellen, sollten Sie sorgfältig die Mindestberechtigungen berücksichtigen, die Ihr Cluster zur Ausführung seiner Aufgaben benötigt. Stellen Sie sicher, dass Sie Zugriff auf die erforderlichen Ressourcen gewähren, z. B. Dateien in Amazon S3 oder Daten in AmazonRDS, Amazon Redshift oder DynamoDB. Wenn Sie visibleToAllUsers auf „False“ festlegen möchten, muss Ihre Rolle über die entsprechenden Berechtigungen verfügen. Beachten Sie, dass DataPipelineDefaultRole nicht über diese Berechtigungen verfügt. Sie müssen entweder eine Vereinigung der DataPipelineDefaultRole Rollen DefaultDataPipelineResourceRole und als EmrCluster Objektrolle angeben oder zu diesem Zweck eine eigene Rolle erstellen.

Syntax

Objektaufruf-Felder Beschreibung Slot-Typ
schedule Dieses Objekt wird innerhalb der Ausführung eines Zeitplanintervalls aufgerufen. Sie müssen einen Zeitplanverweis auf ein anderes Objekt angeben, um die Abhängigkeitsausführungsreihenfolge für dieses Objekt festzulegen. Sie können diese Anforderung erfüllen, indem Sie explizit einen Zeitplan für das Objekt festlegen, indem sie beispielsweise "schedule": {"ref": "DefaultSchedule"} angeben. In den meisten Fällen ist es besser, den Zeitplanverweis auf das Standard-Pipeline-Objekt zu setzen, damit alle Objekte diesen Zeitplan erben. Wenn die Pipeline über einen Baum mit Zeitplänen verfügt (Zeitpläne innerhalb des Hauptplans), können Sie ein übergeordnetes Objekt mit Zeitplänenreferenz erstellen. Weitere Informationen zu optionalen Beispiel-Zeitplankonfigurationen finden Sie unter https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-schedule.html. Referenzobjekt, z. B. "schedule":{"ref":"myScheduleId"}

Optionale Felder Beschreibung Slot-Typ
actionOnResourceFehlschlag Die Aktion, die nach einem Ressourcenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "retryall", der für die festgelegte Dauer wiederholt versucht, alle Aufgaben des Clusters durchzuführen, und "retrynone". String
actionOnTaskFehlschlag Die Aktion, die nach einem Aufgabenfehler dieser Ressource ausgeführt wird. Gültige Werte sind "continue", was bedeutet, dass der Cluster nicht beendet wird, und "terminate". String
additionalMasterSecurityGroupIds Der Bezeichner der zusätzlichen Master-Sicherheitsgruppen des EMR Clusters, der der Form XXXX6a sg-01 folgt. Weitere Informationen finden Sie unter EMRZusätzliche Amazon Security Groups im Amazon EMR Management Guide. String
additionalSlaveSecurityGroupIds Die ID der zusätzlichen Slave-Sicherheitsgruppen des EMR Clusters, die dem Formular folgtsg-01XXXX6a. String
amiVersion Die Amazon Machine Image (AMI) -Version, die Amazon zur Installation der Clusterknoten EMR verwendet. Weitere Informationen finden Sie im Amazon EMR Management Guide. String
applications Anwendungen, die im Cluster mit durch Kommas getrennten Argumenten installiert werden sollen. Hive und Pig sind standardmäßig installiert. Dieser Parameter gilt nur für Amazon EMR Version 4.0 und höher. String
attemptStatus Der zuletzt gemeldete Status von der Remote-Aktivität. String
attemptTimeout Timeout für die Remote-Arbeit abgeschlossen. Wenn diese Option aktiviert ist, kann eine Remote-Aktivität, die nicht innerhalb der festgelegten Startzeit abgeschlossen wird, wiederholt werden. Intervall
availabilityZone Die Availability Zone, in der der Cluster gestartet werden soll. String
bootstrapAction Eine Aktion, die ausgeführt werden soll, wenn der Cluster startet. Sie können durch Kommas getrennte Argumente festlegen. Wenn Sie mehrere Aktionen angeben möchten (maximal 255), fügen Sie die entsprechende Anzahl von bootstrapAction-Feldern hinzu. Standardmäßig wird der Cluster ohne Bootstrap-Aktionen gestartet. String
Konfiguration Konfiguration für den EMR Amazon-Cluster. Dieser Parameter gilt nur für Amazon EMR Version 4.0 und höher. Referenzobjekt, z. B. "configuration":{"ref":"myEmrConfigurationId"}
coreInstanceBidPreis Der maximale Spot-Preis, den Sie bereit sind, für EC2 Amazon-Instances zu zahlen. Wenn ein Angebotspreis angegeben ist, EMR verwendet Amazon Spot-Instances für die Instance-Gruppe. Spezifiziert inUSD. String
coreInstanceCount Gibt an, wie viele Core-Knoten für den Cluster verwendet werden sollen. Ganzzahl
coreInstanceType Der Typ der EC2 Amazon-Instance, die für Kernknoten verwendet werden soll. Siehe Unterstützte Amazon EC2 EC2-Instances für Amazon EMR-Cluster . String
coreGroupConfiguration Die Konfiguration für die Amazon EMR Cluster Core-Instance-Gruppe. Dieser Parameter gilt nur für Amazon EMR Version 4.0 und höher. Referenzobjekt, z. B. “configuration”: {“ref”: “myEmrConfigurationId”}
coreEbsConfiguration Die Konfiguration für EBS Amazon-Volumes, die an jeden der Kernknoten in der Kerngruppe im EMR Amazon-Cluster angehängt werden. Weitere Informationen finden Sie im EC2Amazon-Benutzerhandbuch unter Instance-Typen, die die EBS Optimierung Support. Referenzobjekt, z. B. “coreEbsConfiguration”: {“ref”: “myEbsConfiguration”}
customAmiId Gilt nur für EMR Amazon-Release-Version 5.7.0 und höher. Gibt die AMI ID eines Customs an, der verwendet werden AMI soll, wenn Amazon EMR EC2 Amazon-Instances bereitstellt. Sie kann auch anstelle von Bootstrap-Aktionen verwendet werden, um Cluster-Knotenkonfigurationen anzupassen. Weitere Informationen finden Sie unter dem folgenden Thema im Amazon EMR Management Guide. Verwenden Sie ein benutzerdefiniertes AMI String
EbsBlockDeviceConfig

Die Konfiguration eines angeforderten EBS Amazon-Blockgeräts, das der Instanzgruppe zugeordnet ist. Diese umfasst eine feste Anzahl an Volumes, die jeder Instance in der Instance-Gruppe zugeordnet wird. Sie umfasst volumesPerInstance und volumeSpecification, wobei:

  • volumesPerInstanceist die Anzahl der EBS Volumes mit einer bestimmten Volume-Konfiguration, die jeder Instance in der Instance-Gruppe zugeordnet werden.

  • volumeSpecificationsind die EBS Amazon-Volume-Spezifikationen, wie Volume-Typ und Größe in Gigabytes (GiB)IOPS, die für das EBS Volume angefordert werden, das an eine EC2 Instance im EMR Amazon-Cluster angehängt ist.

 Referenzobjekt, z. B. “EbsBlockDeviceConfig”: {“ref”: “myEbsBlockDeviceConfig”}
emrManagedMasterSecurityGroupId Die Kennung der Master-Sicherheitsgruppe des EMR Amazon-Clusters, die der Form von folgtsg-01XXXX6a. Weitere Informationen finden Sie unter Configure Security Groups im Amazon EMR Management Guide. String
emrManagedSlaveSecurityGroupId Die Kennung der Slave-Sicherheitsgruppe des EMR Amazon-Clusters, die der Form folgtsg-01XXXX6a. String
enableDebugging Aktiviert das Debuggen auf dem EMR Amazon-Cluster. String
failureAndRerunModus Beschreibt das Verhalten des Konsumentenknotens, wenn Abhängigkeiten fehlschlagen oder erneut ausgeführt werden. Aufzählung
hadoopSchedulerType Der Scheduler-Typ des Clusters. Gültige Typen sind: PARALLEL_FAIR_SCHEDULING PARALLEL_CAPACITY_SCHEDULING und DEFAULT_SCHEDULER. Aufzählung
httpProxy Der Proxyhost, über den Clients eine Verbindung zu AWS Diensten herstellen. Referenzobjekt, zum Beispiel "httpProxy„: {" ref“:“ myHttpProxy Id "}
initTimeout Die Zeit, die auf den Start der Ressource gewartet wird. Intervall
keyPair Das EC2 Amazon-Schlüsselpaar, das für die Anmeldung am Master-Knoten des EMR Amazon-Clusters verwendet werden soll. String
lateAfterTimeout Die verstrichene Zeit nach dem Start der Pipeline, innerhalb derer das Objekt abgeschlossen werden muss. Sie wird nur ausgelöst, wenn der Zeitplantyp nicht auf eingestellt ist. ondemand Intervall
masterInstanceBidPreis Der maximale Spot-Preis, den Sie bereit sind, für EC2 Amazon-Instances zu zahlen. Es handelt sich um einen Dezimalwert zwischen 0 und einschließlich 20,00. Spezifiziert inUSD. Wenn Sie diesen Wert festlegen, werden Spot-Instances für den EMR Amazon-Cluster-Masterknoten aktiviert. Wenn ein Angebotspreis angegeben ist, EMR verwendet Amazon Spot-Instances für die Instance-Gruppe. String
masterInstanceType Der Typ der EC2 Amazon-Instance, die für den Master-Knoten verwendet werden soll. Siehe Unterstützte Amazon EC2 EC2-Instances für Amazon EMR-Cluster . String
masterGroupConfiguration Die Konfiguration für die EMR Amazon-Cluster-Master-Instance-Gruppe. Dieser Parameter gilt nur für Amazon EMR Version 4.0 und höher. Referenzobjekt, z. B. “configuration”: {“ref”: “myEmrConfigurationId”}
masterEbsConfiguration Die Konfiguration für EBS Amazon-Volumes, die an jeden der Master-Knoten in der Master-Gruppe im EMR Amazon-Cluster angehängt werden. Weitere Informationen finden Sie im EC2Amazon-Benutzerhandbuch unter Instance-Typen, die die EBS Optimierung Support. Referenzobjekt, z. B. “masterEbsConfiguration”: {“ref”: “myEbsConfiguration”}
maxActiveInstances Die maximale Anzahl gleichzeitiger aktiver Instances einer Komponente. Wiederholungen zählen nicht zur Anzahl der aktiven Instances. Ganzzahl
maximumRetries Maximale Anzahl von Versuchen bei Ausfällen. Ganzzahl
onFail Eine Aktion, die ausgeführt werden soll, wenn das aktuelle Objekt fehlschlägt. Referenzobjekt, z. B. "onFail":{"ref":"myActionId"}
onLateAction Aktionen, die ausgelöst werden sollen, wenn ein Objekt noch nicht geplant oder noch nicht abgeschlossen wurde. Referenzobjekt, z. B. "onLateAction":{"ref":"myActionId"}
onSuccess Eine Aktion, die ausgeführt wird, wenn das aktuelle Objekt erfolgreich ist. Referenzobjekt, z. B. "onSuccess":{"ref":"myActionId"}
übergeordneter Übergeordnetes Objekt des aktuellen Objekts, aus dem Slots übernommen werden. Referenzobjekt, z. B. "parent":{"ref":"myBaseObjectId"}
pipelineLogUri Amazon S3 URI (z. B. 's3://BucketName/Key/ ') zum Hochladen von Protokollen für die Pipeline. String
Region Der Code für die Region, in der der EMR Amazon-Cluster ausgeführt werden soll. Standardmäßig wird der Cluster in derselben Region wie die Pipeline ausgeführt. Sie können den Cluster in derselben Region als abhängiges Datenset ausführen. Aufzählung
releaseLabel Versionsbezeichnung für den EMR Cluster. String
reportProgressTimeout Timeout für aufeinanderfolgende Aufrufe von Remote-Arbeit in reportProgress. Wenn diese Option aktiviert ist, werden Remote-Aktivitäten, die den Fortschritt für den angegebenen Zeitraum nicht melden, als fehlgeschlagen angesehen und es wird erneut versucht. Intervall
resourceRole Die IAM Rolle, die zur Erstellung des EMR Amazon-Clusters AWS Data Pipeline verwendet wird. Die Standardrolle ist DataPipelineDefaultRole. String
retryDelay Die Zeitüberschreitungsdauer zwischen zwei Wiederholungsversuchen. Zeitraum
role Die IAM Rolle wurde an Amazon übergebenEMR, um EC2 Knoten zu erstellen. String
runsOn Dieses Feld ist für dieses Objekt nicht zulässig. Referenzobjekt, z. B. "runsOn":{"ref":"myResourceId"}
securityConfiguration Die Kennung der EMR Sicherheitskonfiguration, die auf den Cluster angewendet wird. Dieser Parameter gilt nur für EMR Amazon-Version 4.8.0 und höher. String
serviceAccessSecurityGroupId Die Kennung für die Sicherheitsgruppe für den Servicezugriff des EMR Amazon-Clusters. Zeichenfolge. Sie hat das Format sg-01XXXX6a, z. B. sg-1234abcd.
scheduleType Mit dem Zeitplantyp können Sie angeben, ob die Objekte in Ihrer Pipeline-Definition am Anfang des Intervalls oder am Ende des Intervalls geplant werden sollen. Werte sind cron, ondemand und timeseries. Die timeseries-Planung bedeutet, dass Instances am Ende jedes Intervalls geplant sind. Die cron-Planung bedeutet, dass Instances am Anfang jedes Intervalls geplant sind. Ein ondemand-Zeitplan ermöglicht es Ihnen, eine Pipeline einmal pro Aktivierung auszuführen. Sie müssen die Pipeline nicht klonen oder neu erstellen, um sie erneut auszuführen. Wenn Sie einen ondemand-Zeitplan verwenden, muss er im Standardobjekt angegeben werden und der einzige für die Objekte in der Pipeline angegebene scheduleType sein. Um ondemand-Pipelines zu verwenden, rufen Sie einfach den ActivatePipeline-Vorgang für jeden nachfolgenden Lauf auf. Aufzählung
subnetId Die Kennung des Subnetzes, in dem der EMR Amazon-Cluster gestartet werden soll. String
supportedProducts Ein Parameter, der Drittanbieter-Software auf einem EMR Amazon-Cluster installiert, z. B. eine Drittanbieter-Distribution von Hadoop. String
taskInstanceBidPreis Der maximale Spot-Preis, den Sie bereit sind, für EC2 Instances zu zahlen. Geben Sie eine Dezimalzahl von 0 bis 20,00 ein. Spezifiziert inUSD. Wenn ein Angebotspreis angegeben ist, EMR verwendet Amazon Spot-Instances für die Instance-Gruppe. String
taskInstanceCount Die Anzahl der Task-Knoten, die für den EMR Amazon-Cluster verwendet werden sollen. Ganzzahl
taskInstanceType Der Typ der EC2 Amazon-Instance, die für Task-Knoten verwendet werden soll. String
taskGroupConfiguration Die Konfiguration für die EMR Amazon-Cluster-Task-Instance-Gruppe. Dieser Parameter gilt nur für Amazon EMR Version 4.0 und höher. Referenzobjekt, z. B. “configuration”: {“ref”: “myEmrConfigurationId”}
taskEbsConfiguration Die Konfiguration für EBS Amazon-Volumes, die an jeden der Task-Knoten in der Aufgabengruppe im EMR Amazon-Cluster angehängt werden. Weitere Informationen finden Sie im EC2Amazon-Benutzerhandbuch unter Instance-Typen, die die EBS Optimierung Support. Referenzobjekt, z. B. “taskEbsConfiguration”: {“ref”: “myEbsConfiguration”}
terminateAfter Die Zeitspanne in Stunden, nach der die Ressource beendet wird. Ganzzahl
VolumeSpecification

Die EBS Amazon-Volumenspezifikationen, wie Volumetyp und Größe in Gigabytes (GiB)IOPS, die für das EBS Amazon-Volume angefordert werden, das an eine EC2 Amazon-Instance im Amazon-Cluster angehängt ist. EMR Der Knoten kann ein Core-, Master- oder Aufgabenknoten sein.

VolumeSpecification enthält:

  • iops() Ganzzahl. Die Anzahl der I/O-Operationen pro Sekunde (IOPS), die das EBS Amazon-Volume unterstützt, z. B. 1000. Weitere Informationen finden Sie unter EBSI/O Characteristics im EC2Amazon-Benutzerhandbuch.

  • sizeinGB(). Ganzzahl. Die EBS Amazon-Volume-Größe in Gibibyte (GiB), zum Beispiel 500. Informationen zu gültigen Kombinationen von Volumetypen und Festplattengrößen finden Sie unter EBSVolumetypen im EC2Amazon-Benutzerhandbuch.

  • volumetType. Schnur. Der EBS Amazon-Volumetyp, zum Beispiel gp2. Es werden die Volume-Typen standard, gp2, io1, st1, sc1 sowie weitere Typen unterstützt. Weitere Informationen finden Sie unter EBSVolumetypen im EC2Amazon-Benutzerhandbuch.

 Referenzobjekt, z. B. “VolumeSpecification”: {“ref”: “myVolumeSpecification”}
useOnDemandOnLastAttempt Dieses Feld bestimmt, ob beim letzten Versuch, eine Ressource anzufordern, eine On-Demand-Instance statt einer Spot-Instance angefordert wird. Auf diese Weise wird sichergestellt, dass wenn die vorherigen Versuche fehlgeschlagen sind, der letzte Versuch nicht unterbrochen wird. Boolesch
workerGroup Dieses Feld ist bei diesem Objekt nicht zulässig. String

Laufzeitfelder Beschreibung Slot-Typ
@activeInstances Liste der aktuell geplanten aktiven Instance-Objekte. Referenzobjekt, zum Beispiel "activeInstances„: {" ref“:“ myRunnableObject Id "}
@actualEndTime Zeitpunkt, zu dem die Ausführung dieses Objekts abgeschlossen wurde. DateTime
@actualStartTime Zeitpunkt, zu dem die Ausführung dieses Objekts gestartet wurde. DateTime
cancellationReason cancellationReason Wenn dieses Objekt storniert wurde. String
@cascadeFailedOn Beschreibung der Zuständigkeitskette, bei der das Objekt fehlgeschlagen ist. Referenzobjekt, zum Beispiel "cascadeFailedOn„: {" ref“:“ myRunnableObject Id "}
emrStepLog Schrittprotokolle sind nur Amazon EMR Amazon-Aktivitätsversuchen verfügbar. String
errorId Die Fehler-ID, wenn dieses Objekt fehlgeschlagen ist. String
errorMessage Die Fehlermeldung, wenn dieses Objekt fehlgeschlagen ist. String
errorStackTrace Die Fehler-Stack-Ablaufverfolgung., wenn dieses Objekt fehlgeschlagen ist. String
@failureReason Der Grund für den Ressourcenfehler. String
@finishedTime Der Zeitpunkt, zu der dieses Objekt seine Ausführung beendet hat. DateTime
hadoopJobLog Hadoop-Jobprotokolle sind bei Versuchen für EMR Amazon-Aktivitäten verfügbar. String
@healthStatus Der Integritätsstatus des Objekts, der Erfolg oder Misserfolg der letzten Objekt-Instance widerspiegelt, die einen beendeten Zustand erreicht hat. String
@healthStatusFromInstanceId ID des Objekts der letzten Instance, das einen beendeten Zustand erreicht hat. String
@ Zeit healthStatusUpdated Zeitpunkt, zu dem der Servicestatus beim letzten Mal aktualisiert wurde. DateTime
hostname Der Hostname des Clients, der den Aufgabenversuch aufnimmt. String
@lastDeactivatedTime Zeitpunkt, zu dem dieses Objekt zuletzt deaktiviert wurde. DateTime
@ latestCompletedRun Zeit Zeitpunkt des letzten Laufs, für den die Ausführung abgeschlossen wurde. DateTime
@latestRunTime Zeitpunkt des letzten Laufs, für den die Ausführung geplant war. DateTime
@nextRunTime Zeitpunkt des Laufs, der als nächstes geplant werden soll DateTime
reportProgressTime Der letzte Zeitpunkt, an dem die Remote-Aktivität einen Fortschritt gemeldet hat. DateTime
@scheduledEndTime Endzeit für Objekt einplanen. DateTime
@scheduledStartTime Startzeit für Objekt einplanen. DateTime
@Status Der Status des Objekts. String
@Version Pipeline-Version, mit der das Objekt erstellt wurde. String
@waitingOn Beschreibung der Liste der Abhängigkeiten, auf die dieses Objekt wartet. Referenzobjekt, zum Beispiel "waitingOn„: {" ref“:“ myRunnableObject Id "}

Systemfelder Beschreibung Slot-Typ
@error Fehler mit einer Beschreibung des falsch formatierten Objekts. String
@pipelineId ID der Pipeline, zu der dieses Objekt gehört. String
@sphere Die Position eines Objekts im Lebenszyklus. Komponentenobjekte ergeben Instance-Objekte, die Versuchsobjekte ausführen. String

Weitere Informationen finden Sie unter: