Configurar a persistência de cadernos no Amazon S3

Você pode configurar um JupyterHub cluster na Amazon EMR para que os notebooks salvos por um usuário permaneçam no Amazon S3, fora do armazenamento temporário em instâncias de cluster. EC2

Especifique a persistência do Amazon S3 usando a classificação de configuração jupyter-s3-conf ao criar um cluster. Para obter mais informações, consulte Configurar aplicações.

Além de habilitar a persistência do Amazon S3 usando a propriedade s3.persistence.enabled, especifique um bucket no Amazon S3 no qual os cadernos são salvos com a propriedade s3.persistence.bucket. Os notebooks para cada usuário são salvos em uma pasta jupyter/jupyterhub-user-name no bucket especificado. O bucket já deve existir no Amazon S3, e a função do perfil de EC2 instância que você especifica ao criar o cluster deve ter permissões para o bucket (por padrão, a função éEMR_EC2_DefaultRole). Para obter mais informações, consulte Configurar IAM funções para EMR permissões de AWS serviços da Amazon.

Quando você inicia um novo cluster usando a mesma classificação de configuração propriedades, os usuários podem abrir notebooks com o conteúdo do local salvo.

Observe que, ao importar arquivos como módulos em um caderno quando o Amazon S3 está habilitado, isso resulta no carregamento dos arquivos para o Amazon S3. Quando você importa arquivos sem habilitar a persistência do Amazon S3, eles são enviados para o seu contêiner. JupyterHub

O exemplo a seguir habilita a persistência do Amazon S3. Os notebooks salvos por usuários são salvos na pasta s3://MyJupyterBackups/jupyter/jupyterhub-user-name para cada usuário, em que jupyterhub-user-name é um nome de usuário, como diego.

[
    {
        "Classification": "jupyter-s3-conf",
        "Properties": {
            "s3.persistence.enabled": "true",
            "s3.persistence.bucket": "MyJupyterBackups"
        }
    }
]