

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

# Anpassen eines serverlosen EMR-Images

Verwenden Sie ab Amazon EMR 6.9.0 benutzerdefinierte Images, um Anwendungsabhängigkeiten und Laufzeitumgebungen mit Amazon EMR Serverless in einem einzigen Container zu verpacken. Dies vereinfacht die Verwaltung von Workload-Abhängigkeiten und macht Ihre Pakete portabler. Wenn Sie Ihr EMR Serverless-Image anpassen, bietet es die folgenden Vorteile:
+ Installiert und konfiguriert Pakete, die für Ihre Workloads optimiert sind. Diese Pakete sind in der öffentlichen Distribution von Amazon EMR-Laufzeitumgebungen nicht allgemein verfügbar.
+ Integriert EMR Serverless in die aktuell etablierten Build-, Test- und Bereitstellungsprozesse in Ihrem Unternehmen, einschließlich lokaler Entwicklungs- und Testprozesse.
+ Wendet etablierte Sicherheitsprozesse an, wie z. B. das Scannen von Bildern, die die Compliance- und Governance-Anforderungen in Ihrem Unternehmen erfüllen.
+ Ermöglicht es Ihnen, Ihre eigenen Versionen von JDK und Python für Ihre Anwendungen zu verwenden.

EMR Serverless bietet Images, die Sie als Grundlage für die Erstellung Ihrer eigenen Images verwenden. Das Basis-Image stellt die grundlegenden Jars, Konfigurationen und Bibliotheken bereit, damit das Image mit EMR Serverless interagieren kann. Das Basis-Image finden Sie in der [Öffentliche Amazon ECR-Galerie](https://gallery.ecr.aws/emr-serverless/). Verwenden Sie das Image, das Ihrem Anwendungstyp (Spark oder Hive) und Ihrer Release-Version entspricht. Wenn Sie beispielsweise eine Anwendung auf Amazon EMR Version 6.9.0 erstellen, verwenden Sie die folgenden Bilder.


| Typ | Image | 
| --- | --- | 
| Spark | `public.ecr.aws/emr-serverless/spark/emr-6.9.0:latest` | 
| Hive | `public.ecr.aws/emr-serverless/hive/emr-6.9.0:latest` | 

## Voraussetzungen
<a name="worker-configs"></a>

Bevor Sie ein benutzerdefiniertes EMR Serverless-Image erstellen, müssen Sie diese Voraussetzungen erfüllen.

1. Erstellen Sie im selben Verzeichnis ein Amazon ECR-Repository AWS-Region das Sie verwenden, um EMR-Anwendungen ohne Server zu starten. Informationen zum Erstellen eines privaten Amazon ECR-Repositorys finden Sie unter [Ein privates Repository erstellen](https://docs.aws.amazon.com/AmazonECR/latest/userguide/repository-create.html).

1. Um Benutzern Zugriff auf Ihr Amazon ECR-Repository zu gewähren, fügen Sie Benutzern und Rollen, die EMR-Anwendungen ohne Server mit Bildern aus diesem Repository erstellen oder aktualisieren, die folgenden Richtlinien hinzu. 

------
#### [ JSON ]

****  

   ```json
   {
     "Version":"2012-10-17",		 	 	 
     "Statement": [
       {
         "Sid": "ECRRepositoryListGetPolicy",
         "Effect": "Allow",
         "Action": [
           "ecr:GetDownloadUrlForLayer",
           "ecr:BatchGetImage",
           "ecr:DescribeImages"
         ],
         "Resource": [
           "arn:aws:ecr:*:123456789012:repository/my-repo"
         ]
       }
     ]
   }
   ```

------

   Weitere Beispiele für identitätsbasierte Amazon ECR-Richtlinien finden Sie unter [Beispiele für identitätsbasierte Richtlinien in Amazon Elastic Container Registry](https://docs.aws.amazon.com/AmazonECR/latest/userguide/security_iam_id-based-policy-examples.html).

## Schritt 1: Erstellen Sie ein benutzerdefiniertes Image aus EMR Serverless-Basisimages
<a name="create-image"></a>

Erstellen Sie zunächst eine [Docker-Datei](https://docs.docker.com/engine/reference/builder/) das beginnt mit einem `FROM` Anweisung, die Ihr bevorzugtes Basis-Image verwendet. Nach dem `FROM` Anweisung, fügen Sie alle Änderungen hinzu, die Sie am Bild vornehmen möchten. Das Basisimage legt automatisch das fest `USER` zu `hadoop`. Diese Einstellung verfügt nicht über Berechtigungen für alle Änderungen, die Sie vornehmen. Um das Problem zu umgehen, legen Sie Folgendes fest `USER` zu `root`, ändern Sie Ihr Bild und legen Sie dann das fest `USER` zurück zu `hadoop:hadoop`. Beispiele für gängige Anwendungsfälle finden Sie unter [Verwenden von benutzerdefinierten Images mit EMR Serverless](using-custom-images.md).

```
# Dockerfile
FROM public.ecr.aws/emr-serverless/spark/emr-6.9.0:latest

USER root
# MODIFICATIONS GO HERE

# EMRS runs the image as hadoop
USER hadoop:hadoop
```

Nachdem Sie das Dockerfile haben, erstellen Sie das Image mit dem folgenden Befehl.

```
# build the docker image
docker build . -t {{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}[:tag]or[@digest]
```

## Schritt 2: Validieren Sie das Image lokal
<a name="validate"></a>

EMR Serverless bietet ein Offline-Tool, mit dem Sie Ihr benutzerdefiniertes Image statisch überprüfen können, um grundlegende Dateien, Umgebungsvariablen und korrekte Image-Konfigurationen zu überprüfen. Informationen zur Installation und Ausführung des Tools finden Sie unter [die Amazon EMR Serverless Image CLI GitHub](https://github.com/awslabs/amazon-emr-serverless-image-cli).

Führen Sie nach der Installation des Tools den folgenden Befehl aus, um ein Image zu überprüfen:

```
amazon-emr-serverless-image \
validate-image -r emr-6.9.0 -t spark \
-i {{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest
```

Die Ausgabe sieht in etwa wie folgt aus.

```
Amazon EMR Serverless - Image CLI
Version: 0.0.1
... Checking if docker cli is installed
... Checking Image Manifest
[INFO] Image ID: 9e2f4359cf5beb466a8a2ed047ab61c9d37786c555655fc122272758f761b41a
[INFO] Created On: 2022-12-02T07:46:42.586249984Z
[INFO] Default User Set to hadoop:hadoop : PASS
[INFO] Working Directory Set to  : PASS
[INFO] Entrypoint Set to /usr/bin/entrypoint.sh : PASS
[INFO] HADOOP_HOME is set with value: /usr/lib/hadoop : PASS
[INFO] HADOOP_LIBEXEC_DIR is set with value: /usr/lib/hadoop/libexec : PASS
[INFO] HADOOP_USER_HOME is set with value: /home/hadoop : PASS
[INFO] HADOOP_YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS
[INFO] HIVE_HOME is set with value: /usr/lib/hive : PASS
[INFO] JAVA_HOME is set with value: /etc/alternatives/jre : PASS
[INFO] TEZ_HOME is set with value: /usr/lib/tez : PASS
[INFO] YARN_HOME is set with value: /usr/lib/hadoop-yarn : PASS
[INFO] File Structure Test for hadoop-files in /usr/lib/hadoop: PASS
[INFO] File Structure Test for hadoop-jars in /usr/lib/hadoop/lib: PASS
[INFO] File Structure Test for hadoop-yarn-jars in /usr/lib/hadoop-yarn: PASS
[INFO] File Structure Test for hive-bin-files in /usr/bin: PASS
[INFO] File Structure Test for hive-jars in /usr/lib/hive/lib: PASS
[INFO] File Structure Test for java-bin in /etc/alternatives/jre/bin: PASS
[INFO] File Structure Test for tez-jars in /usr/lib/tez: PASS
-----------------------------------------------------------------
Overall Custom Image Validation Succeeded.
-----------------------------------------------------------------
```

## Schritt 3: Laden Sie das Bild in Ihr Amazon ECR-Repository hoch
<a name="upload-image"></a>

Übertragen Sie Ihr Amazon ECR-Image mit den folgenden Befehlen in Ihr Amazon ECR-Repository. Stellen Sie sicher, dass Sie über die richtigen IAM-Berechtigungen verfügen, um das Image in Ihr Repository zu übertragen. Weitere Informationen finden Sie unter [Ein Bild pushen](https://docs.aws.amazon.com/AmazonECR/latest/userguide/image-push.html) in der *Amazon ECR-Benutzerhandbuch*.

```
# login to ECR repo
aws ecr get-login-password --region region | docker login --username AWS --password-stdin {{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com

# push the docker image
docker push {{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest
```

## Schritt 4: Erstellen oder aktualisieren Sie eine Anwendung mit benutzerdefinierten Bildern
<a name="create-app"></a>

Wählen Sie AWS-Managementkonsole Tab oder AWS CLI Wählen Sie die Tabulatortaste, je nachdem, wie Sie Ihre Anwendung starten möchten, und führen Sie dann die folgenden Schritte aus.

------
#### [ Console ]

1. Melden Sie sich bei der EMR Studio-Konsole unter an [https://console.aws.amazon.com/emr](https://console.aws.amazon.com/emr). Navigieren Sie zu Ihrer Anwendung oder erstellen Sie eine neue Anwendung mit den Anweisungen unter [Erstellen Sie eine Anwendung](https://docs.aws.amazon.com/emr/latest/EMR-Serverless-UserGuide/studio.html#studio-create-app).

1. Um benutzerdefinierte Images anzugeben, wenn Sie eine EMR-Serverless-Anwendung erstellen oder aktualisieren, wählen Sie **Benutzerdefinierte Einstellungen** in den Setup-Optionen der Anwendung.

1. In der **Benutzerdefinierte Bildeinstellungen** Abschnitt, wählen Sie den **Verwenden Sie das benutzerdefinierte Bild mit dieser Anwendung** Kontrollkästchen.

1. Fügen Sie die Amazon ECR-Bild-URI in das **Bild-URI** Feld. EMR Serverless verwendet dieses Image für alle Workertypen für die Anwendung. Alternativ können Sie wählen **Verschiedene benutzerdefinierte Bilder** und fügen Sie verschiedene Amazon ECR-Image-URIs für jeden Worker-Typ ein.

------
#### [ CLI ]
+ Erstellen Sie eine Anwendung mit dem `image-configuration` Parameter. EMR Serverless wendet diese Einstellung auf alle Workertypen an.

  ```bash
  aws emr-serverless create-application \
  --release-label emr-6.9.0 \
  --type SPARK \
  --image-configuration '{
      "imageUri": "{{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest"
  }'
  ```

  Um eine Anwendung mit unterschiedlichen Image-Einstellungen für jeden Worker-Typ zu erstellen, verwenden Sie den `worker-type-specifications` Parameter.

  ```bash
  aws emr-serverless create-application \
  --release-label emr-6.9.0 \
  --type SPARK \
  --worker-type-specifications '{
      "Driver": {
          "imageConfiguration": {
              "imageUri": "{{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest"
          }
      },
      "Executor" : {
          "imageConfiguration": {
              "imageUri": "{{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest"
          }
      }
  }'
  ```

  Um eine Anwendung zu aktualisieren, verwenden Sie den `image-configuration` Parameter. EMR Serverless wendet diese Einstellung auf alle Workertypen an.

  ```bash
  aws emr-serverless update-application \
  --application-id {{application-id}} \
  --image-configuration '{
      "imageUri": "{{aws-account-id}}.dkr.ecr.{{region}}.amazonaws.com/{{my-repository}}:tag/@digest"
  }'
  ```

------

## Schritt 5: Erlauben Sie EMR Serverless den Zugriff auf das benutzerdefinierte Image-Repository
<a name="access-repo"></a>

Fügen Sie dem Amazon ECR-Repository die folgende Ressourcenrichtlinie hinzu, damit der EMR Serverless Service Principal die verwenden kann `get`, `describe`, und `download` Anfragen aus diesem Repository.

------
#### [ JSON ]

****  

```json
{
  "Version":"2012-10-17",		 	 	 
  "Statement": [
    {
      "Sid": "EmrServerlessCustomImageSupport",
      "Effect": "Allow",
      "Principal": {
        "Service": "emr-serverless.amazonaws.com"
      },
      "Action": [
        "ecr:BatchGetImage",
        "ecr:DescribeImages",
        "ecr:GetDownloadUrlForLayer"
      ],
      "Resource": "arn:aws:ecr:*:123456789012:repository/my-repo",
      "Condition": {
        "ArnLike": {
          "aws:SourceArn": "arn:aws:emr-serverless:*:123456789012:/applications/*"
        }
      }
    }
  ]
}
```

------

Fügen Sie als bewährte Sicherheitsmethode eine hinzu `aws:SourceArn` Bedingungsschlüssel für die Repository-Richtlinie. Der globale IAM-Bedingungsschlüssel `aws:SourceArn` stellt sicher, dass EMR Serverless das Repository nur für einen Anwendungs-ARN verwendet. Weitere Informationen zu den Amazon ECR-Repository-Richtlinien finden Sie unter [Ein privates Repository erstellen](https://docs.aws.amazon.com/AmazonECR/latest/userguide/repository-policies.html).

## Überlegungen und Einschränkungen
<a name="considerations"></a>

Wenn Sie mit benutzerdefinierten Bildern arbeiten, beachten Sie Folgendes:
+ Verwenden Sie das richtige Basis-Image, das dem Typ (Spark oder Hive) und der Release-Bezeichnung entspricht (z. B. `emr-6.9.0`) für Ihre Anwendung.
+ EMR Serverless ignoriert `[CMD]` oder `[ENTRYPOINT]` Anweisungen in der Docker-Datei. Verwenden Sie allgemeine Anweisungen in der Docker-Datei, z. B. `[COPY]`, `[RUN]`, und `[WORKDIR]`.
+ Ändern Sie keine Umgebungsvariablen `JAVA_HOME`, `SPARK_HOME`, `HIVE_HOME`, `TEZ_HOME` wenn Sie ein benutzerdefiniertes Bild erstellen.
+ Benutzerdefinierte Bilder dürfen eine Größe von 10 GB nicht überschreiten.
+ Wenn Sie Binärdateien oder JAR-Dateien in den Amazon EMR-Basis-Images ändern, kann dies zu Fehlern beim Start von Anwendungen oder Jobs führen.
+ Das Amazon ECR-Repository muss sich im selben Verzeichnis befinden AWS-Region das Sie verwenden, um EMR-Anwendungen ohne Server zu starten.