Überlegungen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Überlegungen

Wenn Sie Docker-Images anpassen, können Sie die genaue Laufzeit für Ihren Auftrag detailliert auswählen. Folgen Sie diesen bewährten Methoden bei der Verwendung dieses Features:

  • Sicherheit ist eine gemeinsame Verantwortung zwischen Ihnen AWS und Ihnen. Sie sind dafür verantwortlich, die Binärdateien, die Sie dem Image hinzufügen, mit Sicherheitspatches zu aktualisieren. Befolgen Sie Bewährte Methoden für Sicherheit in Amazon EMR in EKS, insbesondere Die neuesten Sicherheitsupdates für benutzerdefinierte Images erhalten und Das Prinzip der geringsten Berechtigung anwenden.

  • Wenn Sie ein Basis-Image anpassen, müssen Sie den Docker-Benutzer hadoop:hadoop so ändern, dass die Aufträge nicht mit dem Root-Benutzer ausgeführt werden.

  • Amazon EMR in EKS mountet zur Laufzeit Dateien zusätzlich zu den Konfigurationen für das Image, z. B. spark-defaults.conf. Um diese Konfigurationsdateien zu überschreiben, empfehlen wir, den applicationOverrides-Parameter während der Auftragsübermittlung zu verwenden und die Dateien im benutzerdefinierten Image nicht direkt zu ändern.

  • Amazon EMR in EKS mountet bestimmte Ordner zur Laufzeit. Alle Änderungen, die Sie an diesen Ordnern vornehmen, sind im Container nicht verfügbar. Wenn Sie eine Anwendung oder deren Abhängigkeiten für benutzerdefinierte Images hinzufügen möchten, empfehlen wir Ihnen, ein Verzeichnis zu wählen, das nicht Teil der folgenden vordefinierten Pfade ist:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • Sie können Ihr benutzerdefiniertes Image in ein beliebiges Docker-kompatibles Repository wie Amazon ECR, Docker Hub oder ein privates Unternehmens-Repository hochladen. Weitere Informationen zur Konfiguration der Amazon-EKS-Cluster-Authentifizierung mit dem ausgewählten Docker-Repository finden Sie unter Abrufen eines Images aus einer privaten Registrierung.