Configuration d'un emplacement de sortie - Amazon EMR
Création et configuration d'un compartiment Amazon S3

Configuration d'un emplacement de sortie

Le format de sortie le plus courant d'un cluster Amazon EMR est sous forme de fichiers texte, compressés ou non. En général, ceux-ci sont écrits dans un compartiment Amazon S3. Ce compartiment doit avoir été créé avant le lancement du cluster. Vous spécifiez le compartiment S3 comme emplacement de sortie lorsque vous lancez le cluster.

Pour plus d'informations, consultez les rubriques suivantes :

Rubriques

Création et configuration d'un compartiment Amazon S3

Amazon EMR (Amazon EMR) utilise Amazon S3 pour stocker les données d'entrée, les fichiers journaux et les données de sortie. Amazon S3 fait référence à ces emplacements de stockage en tant que compartiments. Les compartiments sont soumis à certaines restrictions et limitations pour se conformer aux exigences Amazon S3 et DNS. Pour de plus amples informations, consultez Limites et restrictions applicables aux compartiments dans le Guide du développeur Amazon Simple Storage Service.

Pour créer un compartiment Amazon S3, suivez les instructions de la page Création d'un compartiment du Guide du développeur Amazon Simple Storage Service.

Note

Si vous activez la journalisation dans l'assistant de création d'un compartiment, cela active uniquement les journaux d'accès au compartiment, et non les journaux de cluster.

Note

Pour plus d'informations sur la spécification de compartiments propres à une région, consultez Compartiments et régions dans le Guide du développeur Amazon Simple Storage Service et Points de terminaison de région disponibles pour les kits SDK AWS.

Après avoir créé votre compartiment, vous pouvez définir les autorisations appropriées sur celui-ci. Généralement, vous (le propriétaire) vous accordez un accès en lecture et en écriture. Nous vous recommandons vivement de suivre les Bonnes pratiques de sécurité pour Amazon S3 lors de la configuration de votre compartiment.

Les compartiments Amazon S3 requis doivent avoir été créés pour que vous puissiez créer un cluster. Vous devez charger les scripts obligatoires ou les données référencées dans le cluster vers Amazon S3. Le tableau suivant décrit des exemples de données, de scripts et d'emplacements de fichier journal.

Informations Exemple d'emplacement sur Amazon S3
script ou programme s3://DOC-EXAMPLE-BUCKET1/script/MapperScript.py
fichiers journaux s3://DOC-EXAMPLE-BUCKET1/logs
données d'entrée s3://DOC-EXAMPLE-BUCKET1/input
données de sortie s3://DOC-EXAMPLE-BUCKET1/output