Voraussetzungen und Überlegungen bei der Integration eines EMR Notebooks in ein Repository

Beachten Sie die folgenden bewährten Methoden in Bezug auf Commits, Berechtigungen und Hosting, wenn Sie planen, ein Git-basiertes Repository in Notebooks zu integrieren. EMR

Anmerkung

EMRNotebooks sind in der Konsole als EMR Studio-Workspaces verfügbar. Mit der Schaltfläche „Arbeitsbereich erstellen“ in der Konsole können Sie neue Notizbücher erstellen. Um auf Workspaces zuzugreifen oder diese zu erstellen, benötigen EMR Notebook-Benutzer zusätzliche IAM Rollenberechtigungen. Weitere Informationen finden Sie unter Amazon EMR Notebooks sind Amazon EMR Studio-Workspaces in der Konsole und EMRAmazon-Konsole.

AWS CodeCommit

Wenn Sie ein CodeCommit Repository verwenden, müssen Sie Git-Anmeldeinformationen und HTTPS mit verwenden CodeCommit. SSHSchlüssel und HTTPS mit dem AWS CLI Credential Helper werden nicht unterstützt. CodeCommit unterstützt keine persönlichen Zugriffstoken (PATs). Weitere Informationen finden Sie unter Verwenden IAM mit CodeCommit: Git-Anmeldeinformationen, SSH Schlüsseln und AWS Zugriffstasten im IAMBenutzerhandbuch und im Setup für HTTPS Benutzer, die Git-Anmeldeinformationen verwenden, in AWS CodeCommit Benutzerleitfaden.

Überlegungen zu Zugriff und Berechtigungen

Bevor Sie Ihrem Notebook ein Repository zuordnen, stellen Sie sicher, dass Ihr Cluster, Ihre IAM Rolle für EMR Notebooks und Ihre Sicherheitsgruppen über die richtigen Einstellungen und Berechtigungen verfügen. Sie können auch Git-basierte Repositorys konfigurieren, die Sie in einem privaten Netzwerk hosten, indem Sie den Anweisungen unter Ein privat gehostetes Git-Repository für Notebooks konfigurieren EMR folgen.

• Cluster-Internetzugriff – Die Netzwerkschnittstelle, die gestartet wird, hat nur eine private IP-Adresse. Das bedeutet, dass sich der Cluster, mit dem Ihr Notebook eine Verbindung herstellt, in einem privaten Subnetz mit einem Network Address Translation (NAT) -Gateway befinden muss oder über ein virtuelles privates Gateway auf das Internet zugreifen können muss. Weitere Informationen finden Sie unter VPCAmazon-Optionen.

  Die Sicherheitsgruppen für Ihr Notebook müssen eine Regel für ausgehenden Datenverkehr enthalten, sodass das Notebook Datenverkehr vom Cluster an das Internet weiterleiten kann. Wir empfehlen, eigene Sicherheitsgruppen zu erstellen. Weitere Informationen finden Sie unter EC2Sicherheitsgruppen für EMR Notebooks angeben.

  Wichtig

  Wenn die Netzwerkschnittstelle in ein öffentliches Subnetz gestartet wird, kann sie nicht über ein Internet-Gateway (IGW) mit dem Internet kommunizieren.

• Berechtigungen für AWS Secrets Manager— Wenn Sie Secrets Manager zum Speichern von Geheimnissen verwenden, die Sie für den Zugriff auf ein Repository verwenden, Servicerolle für EMR Notebooks muss eine Berechtigungsrichtlinie angehängt sein, die die secretsmanager:GetSecretValue Aktion zulässt.

Ein privat gehostetes Git-Repository für Notebooks konfigurieren EMR

Verwenden Sie die folgenden Anweisungen, um privat gehostete Repositorys für Notebooks zu konfigurieren. EMR Sie müssen eine Konfigurationsdatei mit Informationen zu Ihren DNS und Git-Servern bereitstellen. Amazon EMR verwendet diese Informationen, um EMR Notebooks zu konfigurieren, die den Datenverkehr an Ihre privat gehosteten Repositorys weiterleiten können.

Voraussetzungen

Bevor Sie ein privat gehostetes Git-Repository für EMR Notebooks konfigurieren, müssen Sie über Folgendes verfügen:

• Importieren in &S3; Amazon S3 Control Speicherort, an dem Dateien für Ihr EMR Notizbuch gespeichert werden.

Um ein oder mehrere privat gehostete Git-Repositorys für Notebooks zu konfigurieren EMR

1. Erstellen Sie eine Konfigurationsdatei mit der bereitgestellten Vorlage. Geben Sie für jeden Git-Server, den Sie in Ihrer Konfiguration angeben möchten, die folgenden Werte an:

   • DnsServerIpV4- Die IPv4 Adresse Ihres Servers. DNS Wenn Sie Werte für sowohl DnsServerIpV4 als auch GitServerIpV4List angeben, hat der Wert für DnsServerIpV4 Vorrang und wird zur Auflösung Ihres GitServerDnsName verwendet.

     Anmerkung

     Um privat gehostete Git-Repositorys verwenden zu können, muss Ihr DNS Server eingehenden Zugriff von Notebooks zulassen. EMR Wir empfehlen Ihnen dringend, Ihren DNS Server vor anderen, unbefugten Zugriffen zu schützen.

   • GitServerDnsName- Der DNS Name Ihres Git-Servers. Zum Beispiel "git.example.com".

   • GitServerIpV4List- Eine Liste von IPv4 Adressen, die zu deinen Git-Servern gehören.

   [
       {
           "Type": "PrivatelyHostedGitConfig",
           "Value": [
               {
                   "DnsServerIpV4": "<10.24.34.xxx>",
                   "GitServerDnsName": "<enterprise.git.com>",
                   "GitServerIpV4List": [
                       "<xxx.xxx.xxx.xxx>",
                       "<xxx.xxx.xxx.xxx>"
                   ]
               },
               {
                   "DnsServerIpV4": "<10.24.34.xxx>",
                   "GitServerDnsName": "<git.example.com>",
                   "GitServerIpV4List": [
                       "<xxx.xxx.xxx.xxx>",
                       "<xxx.xxx.xxx.xxx>"
                   ]
               }
           ]
       }
   ]

2. Speichern Sie Ihre Konfigurationsdatei unter configuration.json.

3. Laden Sie die Konfigurationsdatei in den von Ihnen angegebenen Amazon-S3-Speicherort in einem Ordner mit dem Namen life-cycle-configuration hoch. Wenn Ihr Standard-S3-Speicherort beispielsweise s3://DOC-EXAMPLE-BUCKET/notebooks lautet, sollte sich Ihre Konfigurationsdatei unter s3://DOC-EXAMPLE-BUCKET/notebooks/life-cycle-configuration/configuration.json befinden.

   Wichtig

   Wir empfehlen dringend, den Zugriff auf Ihren life-cycle-configuration Ordner auf Ihre EMR Notebooks-Administratoren und auf die Servicerolle für EMR Notebooks zu beschränken. Sie sollten auch configuration.json vor unbefugtem Zugriff schützen. Anweisungen finden Sie unter Steuern des Zugriffs auf einen Bucket mit Benutzerrichtlinien oder Bewährte Sicherheitsmethoden für Amazon S3.

   Anweisungen zum Hochladen finden Sie unter Erstellen eines Ordners und Hochladen von Objekten im Benutzerhandbuch für Amazon Simple Storage Service.