Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Vous pouvez utiliser le chargement partitionné pour charger un seul objet en tant qu’ensemble de parties. Chaque partie est une portion contiguë des données de l'objet. Vous pouvez charger ces parties d’objet indépendamment et dans n’importe quel ordre. Si le transfert d'une partie échoue, vous pouvez la retransférer sans affecter les autres. Une fois toutes les parties de l'objet chargées, Amazon S3 les assemble et crée l'objet. En général, lorsque l'objet atteint la taille de 100 Mo, vous devez préférer les chargements partitionnés au chargement d'objet en une seule opération.
L’utilisation du chargement partitionné offre les avantages suivants :
-
Meilleur débit : vous pouvez charger des parties en parallèle pour améliorer le débit.
-
Quick recovery from any network issues (Récupération rapide après des problèmes réseau) — la taille réduite des parties minimise l’impact du redémarrage d’un chargement qui a échoué en raison d’une erreur réseau.
-
Pause and resume object uploads (Interruption et reprise des chargements d'objet) — vous pouvez charger des parties d'objet au fil du temps. Après le lancement d’un chargement partitionné, il n’y a aucune date d’expiration. Vous devez explicitement finaliser ou abandonner le chargement partitionné.
-
Begin an upload before you know the final object size (Lancement d’un chargement avant de connaître la taille finale de l’objet) — vous pouvez charger un objet à mesure que vous le créez.
Nous vous recommandons d’utiliser le chargement partitionné comme suit :
-
Si vous chargez des objets volumineux sur un réseau à large bande passante stable, utilisez le chargement partitionné pour optimiser l’utilisation de la bande passante disponible en chargeant des parties d’objet en parallèle pour bénéficier de performances multithreads.
-
Si vous effectuez un chargement sur un réseau irrégulier, utilisez le chargement partitionné pour augmenter la résilience aux erreurs réseau en évitant les redémarrages du chargement. Lorsque vous utilisez le chargement partitionné, vous n’avez besoin de relancer le chargement que pour les parties d’objet dont le chargement a été interrompu. Vous n’avez pas besoin de redémarrer le chargement de vos objets depuis le début.
Lorsque vous utilisez des chargements partitionnés pour charger des objets vers la classe de stockage Amazon S3 Express One Zone dans des compartiments de répertoire, le processus est similaire au processus d’utilisation du chargement partitionné pour charger des objets dans des compartiments à usage général. Cependant, il existe quelques différences importantes.
Pour plus d’informations sur l’utilisation du chargement partitionné pour charger des objets dans S3 Express One Zone, consultez les rubriques suivantes.
Rubriques
Processus de chargement partitionné
Un chargement partitionné est un processus en trois étapes :
-
Vous lancez le chargement.
-
Vous chargez les parties de l’objet.
-
Une fois que vous avez chargé toutes les parties, vous pouvez finaliser le chargement partitionné.
Dès réception de la demande de finalisation du chargement partitionné, Amazon S3 crée l’objet à partir des parties chargées pour que vous puissiez ensuite y accéder comme vous le feriez avec n’importe quel autre objet du compartiment.
Lancement du chargement partitionné
Lorsque vous envoyez une demande pour lancer un chargement partitionné, Amazon S3 renvoie une réponse avec un ID de chargement, qui est un identifiant unique pour le chargement partitionné. Vous devez inclure cet ID de chargement dès que vous chargez les parties, listez les parties, terminez un chargement ou interrompez un chargement.
Chargement de parties
Lorsque vous chargez une partie, outre l’ID de chargement, vous devez spécifier un numéro de partie. Lorsque vous utilisez le chargement partitionné avec S3 Express One Zone, les numéros de chaque partie du chargement doivent être consécutifs. Si vous essayez d’effectuer une demande de chargement partitionné avec des numéros de partie non consécutifs, une erreur HTTP 400 Bad Request
(ordre non valide) est générée.
Un numéro de partie identifie de manière unique une partie et sa place dans l’objet que vous chargez. Si vous chargez une nouvelle partie avec le même numéro qu’une partie précédemment chargée, cette dernière sera écrasée.
Chaque fois que vous chargez une partie, Amazon S3 renvoie un en-tête entity tag (ETag) dans sa réponse. Pour chaque téléchargement partiel, vous devez enregistrer le numéro de pièce et la ETag valeur. Les ETag valeurs de tous les chargements de parties d'objets resteront les mêmes, mais un numéro de pièce différent sera attribué à chaque partie. Vous devez inclure ces valeurs dans la demande ultérieure pour terminer le chargement partitionné.
Amazon S3 chiffre automatiquement tous les nouveaux objets chargés dans un compartiment S3. Dans le cadre d’un chargement partitionné, si vous ne spécifiez pas d’informations de chiffrement dans votre demande, le paramètre de chiffrement des parties chargées est défini sur la configuration de chiffrement par défaut du compartiment de destination. La configuration de chiffrement par défaut d’un compartiment Amazon S3 est toujours activée et est au minimum définie sur le chiffrement côté serveur avec les clés gérées par Amazon S3 (SSE-S3). Pour les compartiments d'annuaire, le SSE-S3 et le chiffrement côté serveur avec AWS KMS clés (SSE-KMS) sont pris en charge. Pour de plus amples informations, veuillez consulter Protection et chiffrement des données.
Fin du chargement partitionné
Lorsque vous terminez un chargement partitionné, Amazon S3 crée l’objet en concaténant les parties par ordre croissant en fonction des numéros de partie. À l’issue d’une demande de chargement complet, les parties n’existent plus.
Votre demande complète de téléchargement en plusieurs parties doit inclure l'ID de téléchargement et une liste des deux numéros de pièce et de leurs ETag valeurs correspondantes. La réponse Amazon S3 inclut un ETag identifiant unique les données d'objet combinées. Il ne ETag s'agit pas d'un MD5 hachage des données de l'objet.
Listes de chargement partitionné
Vous pouvez lister les parties d'un chargement partitionné spécifique ou de tous les chargements partitionnés en cours. L’opération de liste des parties renvoie des informations sur les parties que vous avez chargées pour un chargement partitionné spécifique. Pour chaque demande de liste des parties, Amazon S3 renvoie des informations sur les parties pour le chargement partitionné spécifié, pour 1 000 parties maximum. Si le chargement partitionné compte plus de 1 000 parties, vous devez utiliser la pagination pour récupérer toutes les parties.
La liste des parties retournée n’inclut pas les parties qui n’ont pas fini d’être chargées. En utilisant l’opération d’affichage des chargements partitionnés, vous pouvez obtenir la liste des chargements partitionnés qui sont en cours.
Un chargement partitionné en cours est un chargement que vous avez lancé, mais que vous n’avez pas encore terminé ou interrompu. Chaque demande renvoie 1 000 chargements partitionnés maximum. S’il y a plus de 1 000 chargements partitionnés en cours, vous devez envoyer des demandes supplémentaires pour récupérer les chargements partitionnés restants. Utilisez la liste renvoyée uniquement pour la vérification. N’utilisez pas le résultat de la liste lorsque vous envoyez une requête de chargement partitionné complet. Conservez plutôt votre propre liste des numéros de pièce que vous avez spécifiés lors du chargement des pièces et des ETag valeurs correspondantes renvoyées par Amazon S3.
Pour plus d'informations sur les listes de téléchargement partitionné, voir ListPartsdans le manuel Amazon Simple Storage Service API Reference.
Totaux de contrôle avec les opérations de chargement partitionné
Lorsque vous chargez un objet vers, vous pouvez spécifier un algorithme de somme de contrôle pour vérifier l'intégrité de l'objet. MD5 n'est pas pris en charge pour les compartiments de répertoire. Vous pouvez spécifier l’un des algorithmes suivants de contrôle de l’intégrité des données, Secure Hash Algorithms (SHA) ou Cyclic Redundancy Check (CRC) :
-
CRC32
-
CRC32 C
-
SHA-1
-
SHA-256
Vous pouvez utiliser l'API REST Amazon S3 ou AWS SDKs pour récupérer la valeur de la somme de contrôle pour des parties individuelles en utilisant GetObject
ouHeadObject
. Pour récupérer les valeurs de contrôle des parties individuelles de téléchargements partitionnés toujours en cours, vous pouvez utiliser ListParts
.
Important
Lorsque vous utilisez les algorithmes de somme de contrôle précédents, les numéros de chaque partie du chargement partitionné doivent être consécutifs. Si vous essayez d’effectuer une demande de chargement partitionné avec des numéros de partie non consécutifs, Amazon S3 génère une erreur HTTP 400 Bad Request
(ordre non valide).
Pour plus d’informations sur le fonctionnement des sommes de contrôle avec les objets d’un chargement partitionné, consultez Vérification de l’intégrité des objets dans Amazon S3.
Opérations simultanées de chargement partitionné
Dans un environnement de développement distribué, l’application peut lancer plusieurs mises à jour sur le même objet en même temps. Par exemple, l’application peut lancer plusieurs chargements partitionnés à l’aide de la même clé d’objet. Pour chacun de ces chargements, l’application peut ensuite charger des parties et envoyer une demande de chargement complet à Amazon S3 pour créer l’objet. Pour S3 Express One Zone, l’instant de création de l’objet correspond à la date d’achèvement du chargement partitionné.
Important
La gestion des versions n’est pas prise en charge pour les objets stockés dans les compartiments de répertoires.
Chargement partitionné et tarification
Lorsque vous lancez un chargement partitionné, Amazon S3 conserve toutes les parties jusqu’à ce que vous terminiez ou annuliez le chargement. Tout au long de sa durée de vie, le stockage, la bande passante et les demandes pour ce chargement partitionné ainsi que ses parties associées vous sont facturés. Si vous abandonnez le chargement partitionné, S3 supprime les artefacts de chargement et les parties que vous avez chargées, et ils ne vous sont plus facturés. Aucuns frais de suppression anticipée ne sont facturés pour la suppression de chargements partitionnés incomplets, quelle que soit la classe de stockage spécifiée. Pour plus d’informations sur la tarification, consultez Tarification Amazon S3
Important
Si la demande de finalisation du chargement partitionné n’est pas envoyée correctement, les parties de l’objet ne sont pas assemblées et aucun objet n’est créé. Vous êtes facturé pour tout le stockage associé aux parties chargées. Il est donc important de finaliser le chargement partitionné pour que l’objet soit créé, ou d’annuler le chargement partitionné pour supprimer les parties déjà chargées.
Avant de supprimer un compartiment de répertoires, vous devez finaliser ou annuler tous les chargements partitionnés en cours. Les compartiments de répertoires ne prennent pas en charge les configurations de cycle de vie S3. Si nécessaire, vous pouvez répertorier vos chargements partitionnés actifs, puis annuler les chargements et supprimer votre compartiment.
Opérations de l’API de chargement partitionné et autorisations
Pour autoriser l’accès aux opérations d’API de gestion des objets sur un compartiment de répertoires, vous accordez l’autorisation s3express:CreateSession
dans un compartiment de répertoires ou une politique basée sur l’identité AWS Identity and Access Management
(IAM).
Vous devez posséder les autorisations nécessaires pour utiliser les opérations de chargement partitionné. Vous pouvez utiliser des politiques de compartiment ou des politiques basées sur l’identité IAM pour accorder aux principaux IAM les autorisations nécessaires pour effectuer ces opérations. Le tableau suivant répertorie les autorisations nécessaires pour diverses opérations de chargement partitionné.
Vous pouvez identifier l’initiateur d’un chargement partitionné avec l’élément Initiator
. Si l'initiateur est un Compte AWS, cet élément fournit les mêmes informations que l'Owner
élément. Si l’initiateur est un utilisateur IAM, cet élément fournit l’ARN utilisateur et le nom complet.
Action | Autorisations requises |
---|---|
Créer un chargement partitionné |
Pour créer un chargement partitionné, vous devez être autorisé à effectuer l’action |
Lancement d’un chargement partitionné |
Pour lancer un chargement partitionné, vous devez être autorisé à effectuer l’action |
Chargement d’une partie |
Pour charger une partie, vous devez être autorisé à effectuer l’action Le propriétaire du compartiment doit autoriser l’initiateur à effectuer l’action |
Chargement d’une partie (copie) |
Pour charger une partie, vous devez être autorisé à effectuer l’action Pour que l’initiateur puisse charger une partie pour un objet, le propriétaire du compartiment doit l’autoriser à effectuer l’action |
Terminer un chargement partitionné |
Pour finaliser un chargement partitionné, vous devez être autorisé à effectuer l’action Le propriétaire du compartiment doit autoriser l’initiateur à effectuer l’action |
Abandonner un chargement partitionné |
Pour abandonner un chargement partitionné, vous devez être autorisé à exécuter l’action Pour annuler un chargement partitionné, son initiateur doit avoir obtenu une autorisation d’accès explicite pour effectuer l’action |
Liste des parties |
Pour répertorier les parties d’un chargement partitionné, vous devez être autorisé à effectuer l’action |
Lister des chargements partitionnés en cours |
Pour répertorier les chargements partitionnés en cours dans un compartiment, vous devez être autorisé à exécuter l’action |
Prise en charge des opérations d’API pour le chargement partitionné
Les sections suivantes de la Référence d’API Amazon Simple Storage Service décrivent les opérations d’API REST Amazon S3 pour les chargement partitionnés.
Exemples
Pour charger un objet dans S3 Express One Zone dans un compartiment de répertoires à l’aide du chargement partitionné, consultez les exemples suivants.
Rubriques
Création d’un chargement partitionné
Note
Pour les compartiments de répertoires, lorsque vous effectuez une opération CreateMultipartUpload
et une opération UploadPartCopy
, le chiffrement par défaut du compartiment doit utiliser la configuration de chiffrement souhaitée, et les en-têtes de demande que vous fournissez dans la demande CreateMultipartUpload
doivent correspondre à la configuration de chiffrement par défaut du compartiment de destination.
Les exemples suivants montrent comment créer un chargement partitionné.
Cet exemple montre comment créer un chargement partitionné pour un compartiment de répertoires à l’aide de l’ AWS CLI. Cette commande lance un téléchargement partitionné vers le compartiment de répertoire bucket-base-name
zone-id
--x-s3 pour l'objet. KEY_NAME
Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api create-multipart-upload --bucket
bucket-base-name
--zone-id
--x-s3 --keyKEY_NAME
Pour de plus amples informations, veuillez consulter create-multipart-upload
Chargement des parties d’un chargement partitionné
Les exemples suivants montrent comment charger les parties d’un chargement partitionné.
Cet exemple montre comment diviser un seul objet en plusieurs parties, puis comment charger ces parties dans un compartiment de répertoires à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api upload-part --bucket
bucket-base-name
--zone-id
--x-s3 --keyKEY_NAME
--part-number1
--bodyLOCAL_FILE_NAME
--upload-id "AS_mgt9RaQE9GEaifATue15dAAAAAAAAAAEMAAAAAAAAADQwNzI4MDU0MjUyMBYAAAAAAAAAAA0AAAAAAAAAAAH2AfYAAAAAAAAEBSD0WBKMAQAAAABneY9yBVsK89iFkvWdQhRCcXohE8RbYtc9QvBOG8tNpA
"
Pour plus d’informations, consultez upload-part
Achèvement d’un chargement partitionné
Les exemples suivants montrent comment finaliser un chargement partitionné.
Cet exemple montre comment finaliser un chargement partitionné pour un compartiment de répertoires à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api complete-multipart-upload --bucket
bucket-base-name
--zone-id
--x-s3 --keyKEY_NAME
--upload-id "AS_mgt9RaQE9GEaifATue15dAAAAAAAAAAEMAAAAAAAAADQwNzI4MDU0MjUyMBYAAAAAAAAAAA0AAAAAAAAAAAH2AfYAAAAAAAAEBSD0WBKMAQAAAABneY9yBVsK89iFkvWdQhRCcXohE8RbYtc9QvBOG8tNpA
" --multipart-uploadfile://parts.json
Cet exemple utilise une structure JSON qui décrit les parties du chargement partitionné qui doivent être réassemblées dans le fichier complet. Dans cet exemple, le préfixe file://
est utilisé pour charger la structure JSON à partir d’un fichier du dossier local nommé parts
.
parts.json :
parts.json
{
"Parts": [
{
"ETag": "6b78c4a64dd641a58dac8d9258b88147",
"PartNumber": 1
}
]
}
Pour de plus amples informations, veuillez consulter complete-multipart-upload
Interruption d’un chargement partitionné
Les exemples suivants montrent comment abandonner un chargement partitionné.
Les exemples suivants montrent comment abandonner un chargement partitionné à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api abort-multipart-upload --bucket
bucket-base-name
--zone-id
--x-s3 --keyKEY_NAME
--upload-id "AS_mgt9RaQE9GEaifATue15dAAAAAAAAAAEMAAAAAAAAADQwNzI4MDU0MjUyMBYAAAAAAAAAAA0AAAAAAAAAAAH2AfYAAAAAAAAEAX5hFw-MAQAAAAB0OxUFeA7LTbWWFS8WYwhrxDxTIDN-pdEEq_agIHqsbg
"
Pour de plus amples informations, veuillez consulter abort-multipart-upload
Création d’une opération de copie d’un chargement partitionné
Note
Pour chiffrer de nouvelles copies partielles d’objets dans un compartiment de répertoires avec SSE-KMS, vous devez spécifier SSE-KMS comme configuration de chiffrement par défaut de ce compartiment avec une clé KMS (plus spécifiquement, une clé gérée par le client). La Clé gérée par AWS (
aws/s3
) n’est pas prise en charge. Votre configuration SSE-KMS ne peut prendre en charge qu’une seule clé gérée par le client par compartiment de répertoires pendant toute la durée de vie du compartiment. Après avoir spécifié une clé gérée par le client pour SSE-KMS, vous ne pouvez pas remplacer cette clé pour la configuration SSE-KMS du compartiment. Vous ne pouvez pas spécifier de paramètres de chiffrement côté serveur pour les nouvelles copies partielles d'objets avec SSE-KMS dans les en-têtes de demande. UploadPartCopy En outre, les en-têtes de demande que vous fournissez dans la demandeCreateMultipartUpload
doivent correspondre à la configuration de chiffrement par défaut du compartiment de destination.Les clés de compartiment S3 ne sont pas prises en charge lorsque vous copiez des objets chiffrés SSE-KMS depuis des compartiments à usage général vers des compartiments de répertoire, des compartiments de répertoire vers des compartiments à usage général, ou entre des compartiments de répertoire, via UploadPartCopy. Dans ce cas, Amazon S3 effectue un appel à AWS KMS chaque fois qu'une demande de copie est faite pour un objet chiffré par KMS.
Les exemples suivants montrent comment copier des objets d’un compartiment vers un autre à l’aide du chargement partitionné.
L’exemple suivant montre comment utiliser un chargement partitionné pour copier par programmation un objet d’un compartiment vers un compartiment de répertoire à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api upload-part-copy --bucket
bucket-base-name
--zone-id
--x-s3 --keyTARGET_KEY_NAME
--copy-sourceSOURCE_BUCKET_NAME/SOURCE_KEY_NAME
--part-number1
--upload-id "AS_mgt9RaQE9GEaifATue15dAAAAAAAAAAEMAAAAAAAAADQwNzI4MDU0MjUyMBYAAAAAAAAAAA0AAAAAAAAAAAH2AfYAAAAAAAAEBnJ4cxKMAQAAAABiNXpOFVZJ1tZcKWib9YKE1C565_hCkDJ_4AfCap2svg
"
Pour de plus amples informations, veuillez consulter upload-part-copy
Affichage de la liste des chargements partitionnés en cours
Pour répertorier les téléchargements partitionnés en cours vers un bucket de répertoire, vous pouvez utiliser le AWS SDKs, ou le. AWS CLI
Les exemples suivants montrent comment répertorier les chargements partitionnés (incomplets) en cours à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api list-multipart-uploads --bucket
bucket-base-name
--zone-id
--x-s3
Pour de plus amples informations, veuillez consulter list-multipart-uploads
Affichage de la liste des parties d’un chargement partitionné
Les exemples suivants montrent comment répertorier les parties d’un chargement partitionné dans un compartiment de répertoires.
Les exemples suivants montrent comment répertorier les parties d’un chargement partitionné dans un compartiment de répertoires à l’aide de l’ AWS CLI. Pour utiliser la commande, remplacez les user input placeholders
par vos propres informations.
aws s3api list-parts --bucket
--key
bucket-base-name
--zone-id
--x-s3KEY_NAME
--upload-id "AS_mgt9RaQE9GEaifATue15dAAAAAAAAAAEMAAAAAAAAADQwNzI4MDU0MjUyMBYAAAAAAAAAAA0AAAAAAAAAAAH2AfYAAAAAAAAEBSD0WBKMAQAAAABneY9yBVsK89iFkvWdQhRCcXohE8RbYtc9QvBOG8tNpA
"
Pour plus d’informations, consultez list-parts