Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Configurazione dei AWS DataSync trasferimenti con Amazon S3
Per trasferire dati da o verso il tuo bucket S3, devi creare una posizione di AWS DataSync trasferimento. DataSyncpuò utilizzare questa posizione come origine o destinazione per il trasferimento dei dati.
Importante
Prima di creare la tua posizione, assicurati di leggere le seguenti sezioni:
Accesso ai bucket S3
DataSyncrichiede l'accesso al bucket Amazon S3. A tal fine, DataSync assume un ruolo AWS Identity and Access Management (IAM) con una politica IAM e una relazione di AWS Security Token Service (AWS STS) fiducia. La policy determina le operazioni che questo ruolo può eseguire.
DataSyncpuò creare questo ruolo per te, ma ci sono situazioni in cui potresti dover creare un ruolo manualmente. Per ulteriori informazioni, consulta Utilizzo delle policy IAM per accedere al tuo bucket S3.
Considerazioni sulla classe di storage con i trasferimenti Amazon S3
DataSyncpuò trasferire oggetti direttamente nella classe di storage Amazon S3
Importante
I nuovi oggetti copiati in un bucket S3 vengono archiviati utilizzando la classe di storage specificata durante la creazione della posizione Amazon S3. DataSyncnon cambierà la classe di archiviazione degli oggetti esistenti nel bucket (anche se quell'oggetto è stato modificato nella posizione di origine).
Classe di storage di Amazon S3 | Considerazioni |
---|---|
S3 Standard | Scegli S3 Standard per archiviare in modo ridondante i file a cui accedi di frequente in più zone di disponibilità separate geograficamente. Questa è l'impostazione predefinita se non specifichi una classe di storage. |
S3 Intelligent-Tiering |
Scegli S3 Intelligent-Tiering per ottimizzare i costi di storage spostando automaticamente i dati nel livello di accesso allo storage più conveniente. Paghi una tariffa mensile per oggetto archiviato nella classe di storage S3 Intelligent-Tiering. Questa tariffa Amazon S3 include il monitoraggio dei modelli di accesso ai dati e lo spostamento di oggetti tra i livelli. |
S3 Standard-IA |
Scegli S3 Standard-IA per archiviare in modo ridondante gli oggetti a cui si accede raramente in più zone di disponibilità separate geograficamente. Gli oggetti archiviati nella classe di archiviazione S3 Standard - accesso infrequente possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero. Considera la frequenza con cui questi oggetti cambiano, la durata di conservazione degli oggetti e la frequenza con cui è necessario accedervi. Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione di un oggetto e alla creazione di uno nuovo per sostituirlo. Ciò comporta costi aggiuntivi per gli oggetti archiviati nella classe di storage S3 Standard - accesso infrequente. Gli oggetti di dimensioni inferiori a 128 KB sono inferiori alla capacità minima per oggetto nella classe di storage S3 Standard - accesso infrequente. Questi oggetti sono archiviati nella classe di archiviazione S3 Standard. |
S3 One Zone-IA |
Scegli S3 One Zone-IA per archiviare gli oggetti a cui accedi di rado in un'unica zona di disponibilità. Gli oggetti archiviati nella classe di archiviazione S3 One Zone — IA possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero. Considera la frequenza con cui questi oggetti cambiano, la durata di conservazione degli oggetti e la frequenza con cui è necessario accedervi. Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione di un oggetto e alla creazione di uno nuovo per sostituirlo. Ciò comporta costi aggiuntivi per gli oggetti archiviati nella classe di storage One Zone — IA S3. Gli oggetti di dimensioni inferiori a 128 KB sono inferiori alla capacità minima per oggetto nella classe di storage One Zone — IA S3. Questi oggetti sono archiviati nella classe di archiviazione S3 Standard. |
S3 Glacier Instant Retrieval |
Scegli S3 Glacier Instant Retrieval per archiviare oggetti a cui si accede raramente ma che richiedono il recupero in millisecondi. I dati memorizzati nella classe di archiviazione S3 Glacier Instant Retrieval offrono un risparmio sui costi rispetto alla classe di archiviazione S3 Standard-IA con le stesse prestazioni di archiviazione di S3 Standard-IA con le stesse prestazioni di archiviazione S3 Glacier Instant Retrieval. Tuttavia, S3 Glacier Instant Retrieval ha costi di accesso ai dati più elevati rispetto a S3 Standard - accesso infrequente. Gli oggetti archiviati in S3 Glacier Instant Retrieval possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero. Considera la frequenza con cui questi oggetti cambiano, la durata di conservazione degli oggetti e la frequenza con cui è necessario accedervi. Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione di un oggetto e alla creazione di uno nuovo per sostituirlo. Ciò comporta costi aggiuntivi per gli oggetti archiviati nella classe di archiviazione S3 Glacier Instant Retrieval. Gli oggetti di dimensione inferiore a 128 KB sono inferiori alla capacità minima per oggetto nella classe di archiviazione S3 Glacier Instant Retrieval. Questi oggetti sono archiviati nella classe di archiviazione S3 Standard. |
S3 Glacier Flexible Retrieval | Scegli S3 Glacier Flexible Retrieval per archivi più attivi. Gli oggetti archiviati in S3 Glacier Flexible Retrieval possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero. Considera la frequenza con cui questi oggetti cambiano, la durata di conservazione degli oggetti e la frequenza con cui è necessario accedervi. Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione di un oggetto e alla creazione di uno nuovo per sostituirlo. Ciò comporta costi aggiuntivi per gli oggetti archiviati nella classe di archiviazione S3 Glacier Flexible Retrieval. Gli oggetti di dimensione inferiore a 40 KB sono inferiori alla capacità minima per oggetto nella classe di archiviazione S3 Glacier Flexible Retrieval. Questi oggetti sono archiviati nella classe di archiviazione S3 Standard. È necessario ripristinare gli oggetti archiviati in questa classe di archiviazione prima di DataSync poterli leggere. Per informazioni, consulta Lavorare con oggetti archiviati nella Guida per l'utente di Amazon S3.Quando usi S3 Glacier Flexible Retrieval, scegli l'opzione Verifica solo i dati trasferiti per confrontare i checksum di dati e metadati al termine del trasferimento. Non è possibile utilizzare l'opzione Verifica tutti i dati nella destinazione per questa classe di archiviazione perché richiede il recupero di tutti gli oggetti esistenti dalla destinazione. |
S3 Glacier Deep Archive |
Scegli S3 Glacier Deep Archive per archiviare i tuoi oggetti per la conservazione dei dati a lungo termine e la conservazione digitale, dove i dati sono accessibili una o due volte all'anno. Gli oggetti archiviati in S3 Glacier Deep Archive possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero. Considera la frequenza con cui questi oggetti cambiano, la durata di conservazione degli oggetti e la frequenza con cui è necessario accedervi. Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione di un oggetto e alla creazione di uno nuovo per sostituirlo. Ciò comporta costi aggiuntivi per gli oggetti archiviati nella classe di archiviazione S3 Glacier Deep Archive. Gli oggetti di dimensione inferiore a 40 KB sono inferiori alla capacità minima per oggetto nella classe di archiviazione S3 Glacier Deep Archive. Questi oggetti sono archiviati nella classe di archiviazione S3 Standard. È necessario ripristinare gli oggetti archiviati in questa classe di archiviazione prima di DataSync poterli leggere. Per informazioni, consulta Lavorare con oggetti archiviati nella Guida per l'utente di Amazon S3. Quando usi S3 Glacier Deep Archive, scegli l'opzione Verifica solo i dati trasferiti per confrontare i checksum di dati e metadati al termine del trasferimento. Non è possibile utilizzare l'opzione Verifica tutti i dati nella destinazione per questa classe di archiviazione perché richiede il recupero di tutti gli oggetti esistenti dalla destinazione. |
Outposts S3 |
La classe di storage per Amazon S3 su Outposts. |
Valutazione dei costi delle richieste S3 durante l'utilizzo DataSync
Con le sedi Amazon S3, dovrai sostenere i costi relativi alle richieste API S3 effettuate da. DataSync Questa sezione può aiutarti a capire come DataSync vengono utilizzate queste richieste e come possono influire sui costi di Amazon S3
Richieste S3 effettuate da DataSync
La tabella seguente descrive le richieste S3 che DataSync possono essere effettuate durante la copia di dati da o verso una posizione Amazon S3.
Richiesta S3 | Come DataSync lo usa |
---|---|
DataSynceffettua almeno una |
|
DataSynceffettua HEAD richieste per recuperare i metadati degli oggetti durante le fasi di preparazione e verifica di un'attività. Possono esserci più |
|
DataSynceffettua |
|
DataSynceffettua |
|
DataSynceffettua una |
Considerazioni sui costi
DataSynceffettua richieste S3 sui bucket S3 ogni volta che esegui un'attività. Ciò può comportare l'aumento degli addebiti in determinate situazioni. Ad esempio:
-
Trasferisci spesso oggetti da o verso un bucket S3.
-
Forse non stai trasferendo molti dati, ma il tuo bucket S3 contiene molti oggetti. Puoi ancora vedere costi elevati in questo scenario perché DataSync effettua richieste S3 su ciascuno degli oggetti del bucket.
-
Stai effettuando il trasferimento tra bucket S3, così DataSync come l'invio di richieste S3 all'origine e alla destinazione.
Per ridurre al minimo i costi delle richieste S3 correlate aDataSync, considera quanto segue:
Quali classi di storage S3 sto utilizzando?
I costi delle richieste S3 possono variare in base alla classe di archiviazione Amazon S3 utilizzata dagli oggetti, in particolare per le classi che archiviano gli oggetti (come S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive).
Ecco alcuni scenari in cui le classi di archiviazione possono influire sui costi delle richieste S3 durante l'utilizzo: DataSync
-
Ogni volta che esegui un'attività, DataSync effettua
HEAD
richieste per recuperare i metadati degli oggetti. Queste richieste comportano addebiti anche se non sposti alcun oggetto. L'impatto di queste richieste sulla fattura dipende dalla classe di archiviazione utilizzata dagli oggetti e dal numero di oggetti sottoposti a DataSync scansione. -
Se avete spostato oggetti nella classe di storage S3 Glacier Instant Retrieval (direttamente o tramite una configurazione del ciclo di vita del bucket), le richieste sugli oggetti di questa classe sono più costose rispetto agli oggetti di altre classi di storage.
-
Se configuri l'DataSyncattività per verificare che le posizioni di origine e destinazione siano completamente sincronizzate, verranno
GET
inviate richieste per ogni oggetto in tutte le classi di archiviazione (tranne S3 Glacier Flexible Retrieval e S3 Glacier Deep Archive). -
Oltre alle
GET
richieste, il recupero dei dati per gli oggetti nelle classi di archiviazione S3 Standard-IA, S3 One Zone-IA o S3 Glacier Instant Retrieval.
Per ulteriori informazioni, consulta i Prezzi di Amazon S3
Con che frequenza devo trasferire i miei dati?
Se devi spostare i dati su base ricorrente, pensa a una pianificazione che non esegua più attività del necessario.
Potresti anche considerare di limitare l'ambito dei tuoi trasferimenti. Ad esempio, puoi configurare per DataSync concentrarti sugli oggetti in determinati prefissi o filtrare i dati che vengono trasferiti. Queste opzioni possono aiutare a ridurre il numero di richieste S3 effettuate ogni volta che esegui DataSync un'attività.
Altre considerazioni sui trasferimenti di Amazon S3
Quando usi Amazon S3 conDataSync, ricorda quanto segue:
-
Le modifiche ai dati o ai metadati degli oggetti equivalgono all'eliminazione e alla sostituzione di un oggetto. Queste modifiche comportano costi aggiuntivi nei seguenti scenari:
-
Quando si utilizza il controllo delle versioni degli oggetti: le modifiche ai dati o ai metadati degli oggetti creano una nuova versione dell'oggetto.
-
Quando si utilizzano classi di archiviazione che possono comportare costi aggiuntivi per la sovrascrittura, l'eliminazione o il recupero di oggetti, le modifiche ai dati o ai metadati degli oggetti comportano tali addebiti. Per ulteriori informazioni, consulta Considerazioni sulla classe di storage con i trasferimenti Amazon S3.
-
-
Quando si utilizza il controllo delle versioni degli oggetti in Amazon S3, l'esecuzione di un'DataSyncoperazione una volta può creare più di una versione di un oggetto Amazon S3.
-
DataSyncpotrebbe non trasferire un oggetto se il nome contiene caratteri non standard. Per ulteriori informazioni, consulta le linee guida per la denominazione delle chiavi degli oggetti nella Guida per l'utente di Amazon S3.
-
Per ridurre al minimo i costi di storage di Amazon S3, ti consigliamo di utilizzare una configurazione del ciclo di vita per bloccare i caricamenti incompleti in più parti. Per ulteriori informazioni, consulta la Guida per l'utente di Amazon S3.
-
Dopo aver inizialmente trasferito i dati da un bucket S3 a un file system (ad esempio, NFS o Amazon FSx), le successive esecuzioni della stessa DataSync attività non includeranno oggetti che sono stati modificati ma hanno le stesse dimensioni del primo trasferimento.
Creazione della posizione di trasferimento Amazon S3
Per creare la posizione, è necessario un bucket S3 esistente. Se non ne possiedi uno, consulta la Guida introduttiva ad Amazon S3 nella Guida per l'utente di Amazon S3.
Suggerimento
Se il tuo bucket S3 contiene oggetti con classi di storage diverse, scopri come DataSyncfunziona con queste classi di storage e come ciò può influire AWS sulla bolletta.
Per creare una posizione Amazon S3
Apri la AWS DataSync console all'indirizzo https://console.aws.amazon.com/datasync/
. -
Nel riquadro di navigazione a sinistra, espandi Trasferimento dati, quindi scegli Posizioni e Crea posizione.
-
Per il tipo di posizione, scegli Amazon S3.
-
Per bucket S3, scegli il bucket che desideri utilizzare come posizione. (Quando crei l'DataSyncattività in un secondo momento, specifichi se questa posizione è una posizione di origine o di destinazione.)
Se il tuo bucket S3 si trova su una AWS Outposts risorsa, devi specificare un punto di accesso Amazon S3. Per ulteriori informazioni, consulta Gestione dell'accesso ai dati con i punti di accesso Amazon S3 Access Point nella Guida per l'utente di Amazon S3 User Guide.
-
Per la classe di archiviazione S3, scegli una classe di archiviazione che desideri che i tuoi oggetti utilizzino.
Per ulteriori informazioni, consulta Considerazioni sulla classe di storage con i trasferimenti Amazon S3. DataSyncper impostazione predefinita utilizza la classe di archiviazione S3 Outposts per Amazon S3 su Outposts.
-
(Amazon S3 su Outposts) Per gli agenti, specifica l'Amazon Resource Name (ARN) dell'DataSyncagente sul Outpost.
Per ulteriori informazioni, consulta Implementa il tuo agente su AWS Outposts.
-
Per Folder, inserisci un prefisso nel bucket S3 su cui DataSync leggere o scrivere (a seconda che il bucket sia una posizione di origine o di destinazione).
Nota
Il prefisso non può iniziare con una barra (ad esempio
/photos
) o includere barre consecutive, ad esempio.photos//2006/January
-
In IAM role (Ruolo IAM), eseguire una delle seguenti operazioni:
-
Scegli Generazione automatica per DataSync creare automaticamente un ruolo IAM con le autorizzazioni necessarie per accedere al bucket S3.
Se DataSync in precedenza hai creato un ruolo IAM per questo bucket S3, quel ruolo viene scelto per impostazione predefinita.
-
Scegli un ruolo IAM personalizzato creato. Per ulteriori informazioni, consulta Creazione manuale di un ruolo IAM per accedere al bucket Amazon S3.
-
-
(Facoltativo) Scegli Aggiungi tag per contrassegnare la tua posizione Amazon S3.
Un tag è una coppia chiave-valore che aiuta a gestire, filtrare e cercare le posizioni.
-
Scegli Crea posizione.
Utilizzo delle policy IAM per accedere al tuo bucket S3
A seconda delle impostazioni di sicurezza del bucket S3, potrebbe essere necessario creare una policy IAM personalizzata che DataSync consenta di accedere al bucket.
Argomenti
Creazione manuale di un ruolo IAM per accedere al bucket Amazon S3
DataSyncPuoi creare un ruolo IAM per te con le autorizzazioni del bucket S3 richieste, ma puoi anche configurare un ruolo tu stesso.
Per creare manualmente un ruolo IAM per accedere al bucket Amazon S3
Aprire la console IAM all'indirizzo https://console.aws.amazon.com/iam/
. -
Nel riquadro di navigazione a sinistra, in Gestione degli accessi, scegli Ruoli, quindi scegli Crea ruolo.
-
Nella pagina Seleziona entità attendibile, per Tipo di entità attendibile, scegli Servizio AWS.
-
In Use case, scegli DataSyncnell'elenco a discesa e seleziona DataSync- S3 Location. Seleziona Successivo.
-
Nella pagina Aggiungi autorizzazioni, scegli i bucket AmazonS3 FullAccess per S3 in. Regioni AWS Seleziona Successivo.
Puoi creare manualmente una politica più restrittiva rispetto a FullAccessAmazonS3. Ecco un esempio:
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "
YourS3BucketArn
" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:GetObjectTagging", "s3:PutObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn
/*" } ] }Per Amazon S3 su Outposts, utilizza la seguente policy:
{ "Version": "2012-10-17", "Statement": [ { "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "
s3OutpostsBucketArn
", "s3OutpostsAccessPointArn
" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn
" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3-outposts:GetObjectTagging", "s3-outposts:PutObjectTagging" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn
/*", "s3OutpostsAccessPointArn
" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn
" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn
" } ] } -
Dai un nome al tuo ruolo e scegli Crea ruolo.
Apri la AWS DataSync console all'indirizzo https://console.aws.amazon.com/datasync/
. -
Seleziona il pulsante di aggiornamento accanto all'impostazione del ruolo IAM, quindi scegli il ruolo che hai appena creato.
Prevenzione del problema «confused deputy» tra servizi
Per evitare la confusione tra i vari servizi, ti consigliamo di utilizzare le chiavi di contesto aws:SourceArn
e le condizioni aws:SourceAccount
globali nella policy di fiducia del tuo ruolo IAM.
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole", "Condition": { "StringEquals": { "aws:SourceAccount": "
123456789012
" }, "StringLike": { "aws:SourceArn": "arn:aws:datasync:us-east-2
:123456789012
:*" } } } ] }
Accesso ai bucket S3 utilizzando la crittografia lato server
DataSyncpuò copiare dati da o verso bucket S3 che utilizzano la crittografia lato server. Il tipo di chiave di crittografia utilizzata da un bucket può determinare se è necessaria una politica personalizzata che DataSync consenta di accedere al bucket.
Quando si utilizza DataSync con bucket S3 che utilizzano la crittografia lato server, ricorda quanto segue:
-
Se il tuo bucket S3 è crittografato con una chiave AWS gestita, DataSync puoi accedere agli oggetti del bucket per impostazione predefinita se tutte le tue risorse sono uguali. Account AWS
-
Se il tuo bucket S3 è crittografato con una chiave customer-managed AWS Key Management Service (AWS KMS) (SSE-KMS), la policy della chiave deve includere il ruolo IAM utilizzato per accedere al bucket. DataSync
-
Se il tuo bucket S3 è crittografato con una chiave SSE-KMS gestita dal cliente e in un'altra, è DataSync necessaria l'autorizzazione per accedere al bucket dall'altro Account AWS. Account AWS Puoi configurarlo effettuando le seguenti operazioni:
-
Nel ruolo IAM utilizzato daDataSync, specifica la chiave SSE-KMS associata al bucket di destinazione.
-
Nella politica chiave SSE-KMS, specifica il ruolo IAM utilizzato da. DataSync
-
-
Se il bucket S3 è crittografato con una chiave di crittografia fornita dal cliente (SSE-C), non puoi accedere a questo bucket. DataSync
L'esempio seguente è una politica chiave per una chiave SSE-KMS gestita dal cliente. La policy è associata a un bucket S3 che utilizza la crittografia lato server. I seguenti valori sono specifici della configurazione:
-
il tuo account —
Il tuo. Account AWS -
your-admin-role
— Il ruolo IAM che può amministrare la chiave. -
your-datasync-role
— Il ruolo IAM che consente di DataSync utilizzare la chiave per accedere al bucket.
{ "Id": "key-consolepolicy-3", "Version": "2012-10-17", "Statement": [ { "Sid": "Enable IAM Permissions", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::
your-account
:root" }, "Action": "kms:*", "Resource": "*" }, { "Sid": "Allow access for Key Administrators", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-admin-role
" }, "Action": [ "kms:Create*", "kms:Describe*", "kms:Enable*", "kms:List*", "kms:Put*", "kms:Update*", "kms:Revoke*", "kms:Disable*", "kms:Get*", "kms:Delete*", "kms:TagResource", "kms:UntagResource", "kms:ScheduleKeyDeletion", "kms:CancelKeyDeletion" ], "Resource": "*" }, { "Sid": "Allow use of the key", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-datasync-role
" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*" ], "Resource": "*" }, { "Sid": "Allow attachment of persistent resources", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::your-account
:role/your-datasync-role
" }, "Action": [ "kms:CreateGrant", "kms:ListGrants", "kms:RevokeGrant" ], "Resource": "*", "Condition": { "Bool": { "kms:GrantIsForAWSResource": "true" } } } ] }
Trasferimento da o verso bucket S3 in diversi modi Account AWS
ConDataSync, puoi spostare i dati da o verso i bucket S3 in diversi modi. Account AWS Per ulteriori informazioni, consulta i tutorial seguenti: