Konfigurieren von Persistenz für Notebooks in Amazon S3

Sie können einen JupyterHub Cluster in Amazon EMR so konfigurieren, dass von einem Benutzer gespeicherte Notizbücher in Amazon S3 bestehen bleiben, außerhalb des kurzlebigen Speichers auf Cluster-Instances. EC2

Sie geben die Amazon-S3-Persistenz mithilfe der jupyter-s3-conf-Konfigurationsklassifizierung an, wenn Sie einen Cluster erstellen. Weitere Informationen finden Sie unter Anwendungen konfigurieren.

Zusätzlich zur Aktivierung der Amazon-S3-Persistenz mithilfe der Eigenschaft s3.persistence.enabled geben Sie einen Bucket in Amazon S3 an, in dem Notebooks mithilfe der Eigenschaft s3.persistence.bucket gespeichert werden. Notebooks für jeden Benutzer werden in einem jupyter/jupyterhub-user-name-Ordner im angegebenen Bucket gespeichert. Der Bucket muss bereits in Amazon S3 vorhanden sein, und die Rolle für das EC2 Instance-Profil, das Sie bei der Erstellung des Clusters angeben, muss über Berechtigungen für den Bucket verfügen (standardmäßig lautet die RolleEMR_EC2_DefaultRole). Weitere Informationen finden Sie unter IAM Rollen für EMR Amazon-Berechtigungen für AWS Dienste konfigurieren.

Wenn Sie einen neuen Cluster mit denselben Konfigurationsklassifizierungseigenschaften verwenden, können Benutzer Notebooks mit den Inhalten des Speicherorts öffnen.

Beachten Sie, dass wenn Sie Dateien als Module in ein Notebook importieren und Amazon S3 aktiviert haben, dies dazu führt, dass die Dateien auf Amazon S3 hochgeladen werden. Wenn Sie Dateien importieren, ohne die Amazon S3 S3-Persistenz zu aktivieren, werden sie in Ihren JupyterHub Container hochgeladen.

Im folgenden Beispiel wird Amazon-S3-Persistenz aktiviert. Von Benutzern gespeicherte Notebooks werden im Ordner s3://MyJupyterBackups/jupyter/jupyterhub-user-name der einzelnen Benutzer gespeichert. Dabei ist jupyterhub-user-name ein Benutzername wie beispielsweise diego.

[
    {
        "Classification": "jupyter-s3-conf",
        "Properties": {
            "s3.persistence.enabled": "true",
            "s3.persistence.bucket": "MyJupyterBackups"
        }
    }
]