Copie d'un objet à l'aide du chargement partitionné

Le téléchargement partitionné vous permet de copier des objets sous la forme d'un ensemble de parties. Les exemples présentés dans cette section vous montrent comment copier des objets de plus de 5 Go à l'aide du téléchargement API partitionné. Pour plus d'informations sur les téléchargements partitionnés, consultez. Chargement et copie d'objets à l'aide d'un chargement partitionné

Vous pouvez copier des objets de moins de 5 Go en une seule opération sans utiliser le téléchargement API partitionné. Vous pouvez copier des objets de moins de 5 Go à l'aide du AWS Management Console AWS CLI, RESTAPI, ou AWS SDKs. Pour de plus amples informations, veuillez consulter Copier, déplacer et renommer des objets.

Pour une end-to-end procédure de téléchargement d'un objet avec un téléchargement en plusieurs parties avec une somme de contrôle supplémentaire, voir. Tutoriel : Chargement d'un objet par téléchargement en plusieurs parties et vérification de l'intégrité de ses données

La section suivante explique comment copier un objet avec un téléchargement partitionné à l'aide du REST API ou AWS SDKs.

En utilisant le REST API

Les sections suivantes du manuel Amazon Simple Storage Service API Reference décrivent REST API le chargement partitionné. Pour copier un objet existant, utilisez la partie Upload (Copy) API et spécifiez l'objet source en ajoutant l'en-tête de x-amz-copy-source demande dans votre demande.

• Lancement du chargement partitionné

• Chargement d'une partie

• Chargement d'une partie (Copy)

• Achèvement du chargement partitionné

• Interruption du chargement partitionné

• Liste des parties

• Liste des chargements partitionnés

Vous pouvez les utiliser APIs pour faire vos propres REST demandes, ou vous pouvez utiliser l'un de ceux SDKs que nous fournissons. Pour plus d'informations sur l'utilisation du téléchargement partitionné avec AWS CLI le. À l'aide du AWS CLI Pour plus d'informations sur leSDKs, consultezPrise en charge d'AWS SDK pour le chargement partitionné.

À l'aide du AWS SDKs

Pour copier un objet à l'aide du bas niveauAPI, procédez comme suit :

• Lancez un chargement partitionné en appelant la méthode AmazonS3Client.initiateMultipartUpload().

• Enregistrez l'ID de chargement de l'objet de la réponse renvoyé par la méthode AmazonS3Client.initiateMultipartUpload(). Vous devez fournir cet ID de chargement pour chaque opération de chargement de partie.

• Copiez toutes les parties. Pour chaque partie que vous devez copier, créez une nouvelle instance de la classe CopyPartRequest. Fournissez les informations sur la partie, notamment les noms des compartiments source et de destination, les clés d'objet source et de destination, l'ID de chargement, les emplacement des premier et dernier octets de la partie, ainsi que le numéro de la partie.

• Enregistrez les réponses des appels de méthode AmazonS3Client.copyPart(). Chaque réponse inclut la valeur ETag et le numéro de partie de la partie chargée. Vous avez besoin de ces informations pour terminer le chargement partitionné.

• Appelez la méthode AmazonS3Client.completeMultipartUpload() pour terminer l'opération de copie.

Java

L'exemple suivant montre comment utiliser le Java de bas niveau d'Amazon S3 API pour effectuer une copie en plusieurs parties. Pour obtenir des instructions sur la création et le test d'un échantillon fonctionnel, voir Getting Started dans le guide du AWS SDK for Java développeur.

import com.amazonaws.AmazonServiceException;
import com.amazonaws.SdkClientException;
import com.amazonaws.auth.profile.ProfileCredentialsProvider;
import com.amazonaws.regions.Regions;
import com.amazonaws.services.s3.AmazonS3;
import com.amazonaws.services.s3.AmazonS3ClientBuilder;
import com.amazonaws.services.s3.model.*;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class LowLevelMultipartCopy {

    public static void main(String[] args) throws IOException {
        Regions clientRegion = Regions.DEFAULT_REGION;
        String sourceBucketName = "*** Source bucket name ***";
        String sourceObjectKey = "*** Source object key ***";
        String destBucketName = "*** Target bucket name ***";
        String destObjectKey = "*** Target object key ***";

        try {
            AmazonS3 s3Client = AmazonS3ClientBuilder.standard()
                    .withCredentials(new ProfileCredentialsProvider())
                    .withRegion(clientRegion)
                    .build();

            // Initiate the multipart upload.
            InitiateMultipartUploadRequest initRequest = new InitiateMultipartUploadRequest(destBucketName,
                    destObjectKey);
            InitiateMultipartUploadResult initResult = s3Client.initiateMultipartUpload(initRequest);

            // Get the object size to track the end of the copy operation.
            GetObjectMetadataRequest metadataRequest = new GetObjectMetadataRequest(sourceBucketName, sourceObjectKey);
            ObjectMetadata metadataResult = s3Client.getObjectMetadata(metadataRequest);
            long objectSize = metadataResult.getContentLength();

            // Copy the object using 5 MB parts.
            long partSize = 5 * 1024 * 1024;
            long bytePosition = 0;
            int partNum = 1;
            List<CopyPartResult> copyResponses = new ArrayList<CopyPartResult>();
            while (bytePosition < objectSize) {
                // The last part might be smaller than partSize, so check to make sure
                // that lastByte isn't beyond the end of the object.
                long lastByte = Math.min(bytePosition + partSize - 1, objectSize - 1);

                // Copy this part.
                CopyPartRequest copyRequest = new CopyPartRequest()
                        .withSourceBucketName(sourceBucketName)
                        .withSourceKey(sourceObjectKey)
                        .withDestinationBucketName(destBucketName)
                        .withDestinationKey(destObjectKey)
                        .withUploadId(initResult.getUploadId())
                        .withFirstByte(bytePosition)
                        .withLastByte(lastByte)
                        .withPartNumber(partNum++);
                copyResponses.add(s3Client.copyPart(copyRequest));
                bytePosition += partSize;
            }

            // Complete the upload request to concatenate all uploaded parts and make the
            // copied object available.
            CompleteMultipartUploadRequest completeRequest = new CompleteMultipartUploadRequest(
                    destBucketName,
                    destObjectKey,
                    initResult.getUploadId(),
                    getETags(copyResponses));
            s3Client.completeMultipartUpload(completeRequest);
            System.out.println("Multipart copy complete.");
        } catch (AmazonServiceException e) {
            // The call was transmitted successfully, but Amazon S3 couldn't process
            // it, so it returned an error response.
            e.printStackTrace();
        } catch (SdkClientException e) {
            // Amazon S3 couldn't be contacted for a response, or the client
            // couldn't parse the response from Amazon S3.
            e.printStackTrace();
        }
    }

    // This is a helper function to construct a list of ETags.
    private static List<PartETag> getETags(List<CopyPartResult> responses) {
        List<PartETag> etags = new ArrayList<PartETag>();
        for (CopyPartResult response : responses) {
            etags.add(new PartETag(response.getPartNumber(), response.getETag()));
        }
        return etags;
    }
}

.NET

L'exemple C# suivant montre comment utiliser le AWS SDK for .NET pour copier un objet Amazon S3 d'une taille supérieure à 5 Go d'un emplacement source à un autre, par exemple d'un compartiment à un autre. Pour copier des objets dont la taille est inférieure à 5 Go, utilisez la procédure de copie en une seule opération décrite dans À l'aide du AWS SDKs. Pour en savoir plus sur les chargements partitionnés Amazon S3, veuillez consulter Chargement et copie d'objets à l'aide d'un chargement partitionné.

Cet exemple montre comment copier un objet Amazon S3 d'une taille supérieure à 5 Go d'un compartiment S3 vers un autre à l'aide du téléchargement AWS SDK for .NET API partitionné.

using Amazon;
using Amazon.S3;
using Amazon.S3.Model;
using System;
using System.Collections.Generic;
using System.Threading.Tasks;

namespace Amazon.DocSamples.S3
{
    class CopyObjectUsingMPUapiTest
    {
        private const string sourceBucket = "*** provide the name of the bucket with source object ***";
        private const string targetBucket = "*** provide the name of the bucket to copy the object to ***";
        private const string sourceObjectKey = "*** provide the name of object to copy ***";
        private const string targetObjectKey = "*** provide the name of the object copy ***";
        // Specify your bucket region (an example region is shown).
        private static readonly RegionEndpoint bucketRegion = RegionEndpoint.USWest2; 
        private static IAmazonS3 s3Client;

        public static void Main()
        {
            s3Client = new AmazonS3Client(bucketRegion);
            Console.WriteLine("Copying an object");
            MPUCopyObjectAsync().Wait();
        }
        private static async Task MPUCopyObjectAsync()
        {
            // Create a list to store the upload part responses.
            List<UploadPartResponse> uploadResponses = new List<UploadPartResponse>();
            List<CopyPartResponse> copyResponses = new List<CopyPartResponse>();

            // Setup information required to initiate the multipart upload.
            InitiateMultipartUploadRequest initiateRequest =
                new InitiateMultipartUploadRequest
                {
                    BucketName = targetBucket,
                    Key = targetObjectKey
                };

            // Initiate the upload.
            InitiateMultipartUploadResponse initResponse =
                await s3Client.InitiateMultipartUploadAsync(initiateRequest);

            // Save the upload ID.
            String uploadId = initResponse.UploadId;

            try
            {
                // Get the size of the object.
                GetObjectMetadataRequest metadataRequest = new GetObjectMetadataRequest
                {
                    BucketName = sourceBucket,
                    Key = sourceObjectKey
                };

                GetObjectMetadataResponse metadataResponse =
                    await s3Client.GetObjectMetadataAsync(metadataRequest);
                long objectSize = metadataResponse.ContentLength; // Length in bytes.

                // Copy the parts.
                long partSize = 5 * (long)Math.Pow(2, 20); // Part size is 5 MB.

                long bytePosition = 0;
                for (int i = 1; bytePosition < objectSize; i++)
                {
                    CopyPartRequest copyRequest = new CopyPartRequest
                    {
                        DestinationBucket = targetBucket,
                        DestinationKey = targetObjectKey,
                        SourceBucket = sourceBucket,
                        SourceKey = sourceObjectKey,
                        UploadId = uploadId,
                        FirstByte = bytePosition,
                        LastByte = bytePosition + partSize - 1 >= objectSize ? objectSize - 1 : bytePosition + partSize - 1,
                        PartNumber = i
                    };

                    copyResponses.Add(await s3Client.CopyPartAsync(copyRequest));

                    bytePosition += partSize;
                }

                // Set up to complete the copy.
                CompleteMultipartUploadRequest completeRequest =
                new CompleteMultipartUploadRequest
                {
                    BucketName = targetBucket,
                    Key = targetObjectKey,
                    UploadId = initResponse.UploadId
                };
                completeRequest.AddPartETags(copyResponses);

                // Complete the copy.
                CompleteMultipartUploadResponse completeUploadResponse = 
                    await s3Client.CompleteMultipartUploadAsync(completeRequest);
            }
            catch (AmazonS3Exception e)
            {
                Console.WriteLine("Error encountered on server. Message:'{0}' when writing an object", e.Message);
            }
            catch (Exception e)
            {
                Console.WriteLine("Unknown encountered on server. Message:'{0}' when writing an object", e.Message);
            }
        }
    }
}