Configurazione deiAWS DataSync trasferimenti con Azure Blob Storage - AWS DataSync
Accesso all'archiviazione BLOB di AzureTipi di blobConfigurazioneCrea il tuoDataSync agenteCreazione della posizione di trasferimento di Azure Blob StorageVisualizzazione della posizione di trasferimento di Azure Blob StorageAggiornamento della posizione di trasferimento di Azure Blob StorageGestione dei metadatiRestrizioni

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Configurazione deiAWS DataSync trasferimenti con Azure Blob Storage

Questa caratteristica è in versione di anteprima per AWS DataSync ed è soggetta a modifica.

Per trasferire i blob (noti anche come oggetti) da Azure Blob Storage, è necessario creare una posizione diAWS DataSync trasferimento. È quindi possibile spostare i blob su qualsiasi servizioAWS di archiviazioneDataSync supportato.

Accesso all'archiviazione BLOB di Azure

Per trasferire i tuoi oggetti, èDataSync necessaria l'autorizzazione per leggere il tuo Azure Blob Storage. I tuoi oggetti devono inoltre trovarsi in un livello di accesso con cuiDataSync possa funzionare.

Token SAS

Un token di firma ad accesso condiviso (SAS) specifica le autorizzazioni di accesso per lo storage blob. (Per ulteriori informazioni su SAS, consulta la documentazione di Azure Blob Storage.)

È possibile generare token SAS a diversi livelli di accesso. DataSyncsupporta i token con i seguenti livelli di accesso:

  • Account

  • Container

  • Cartella

Per fornireDataSync l'accesso necessario per il trasferimento, il token SAS deve avere almeno le autorizzazioni di lettura ed elenco. Potrebbe essere necessario configurare il token anche con altre autorizzazioni a seconda del livello di accesso. Ad esempio, un token con accesso a livello di account richiede più autorizzazioni rispetto a un token con accesso a livello di cartella.

Autorizzazioni dei token SAS per l'accesso a livello di account

DataSyncrichiede la configurazione di un token di accesso a livello di account con le seguenti autorizzazioni:

  • Servizi consentiti — Blob

  • Tipi di risorse consentiti: contenitore, oggetto (se non includi queste autorizzazioni, nonDataSync puoi trasferire i metadati dell'oggetto)

  • Autorizzazioni consentite: lettura, elenco

  • Autorizzazioni consentite per l'indice dei blob: lettura/scrittura (se si desideraDataSync copiare i tag degli oggetti)

Autorizzazioni dei token SAS per l'accesso a livello di contenitore

DataSyncrichiede la configurazione di un token di accesso a livello di contenitore con le seguenti autorizzazioni:

Autorizzazioni dei token SAS per l'accesso a livello di cartella

Se usi Azure Data Lake Storage Gen2 con il tuo archivio blob, puoi fornireDataSync un token SAS che consente solo l'accesso a una cartella specifica nel tuo contenitore.

DataSyncrichiede la configurazione di un token di accesso a livello di cartella con le seguenti autorizzazioni:

  • Lettura

  • Elenco

Per ulteriori informazioni sulla configurazione di questo tipo di token, consulta la documentazione di Azure Blob Storage.

Quando crei la tua posizione di Azure Blob Storage perDataSync, devi specificare il percorso completo di questa stessa cartella.

Politiche di scadenza SAS

Assicurati che il tuo SAS non scada prima che tu preveda di completare il trasferimento. Per informazioni sulla configurazione di una politica di scadenza SAS, consulta la documentazione di Azure Blob Storage.

Se il SAS scade durante il trasferimento, nonDataSync sarà più in grado di accedere alla posizione di Azure Blob Storage (è possibile che venga visualizzato un errore di apertura della directory non riuscita). Quando ciò accade, devi aggiornare la tua posizione con un nuovo token SAS e riavviare l'DataSyncattività.

Livelli di accesso

DataSyncpuò trasferire oggetti Azure Blob Storage nei livelli caldi o freddi. Salta il trasferimento di oggetti nel livello di accesso all'archivio. È necessario reidratare gli oggetti nel livello di archivio al livello caldo o freddo prima di poterli trasferire.

Tipi di blob

DataSyncpuò trasferire qualsiasi tipo di blob, inclusi i blob a blocchi, pagine e aggiunte. Per ulteriori informazioni, consulta la documentazione di Azure Blob Storage.

Configurazione

Al momento, puoi utilizzare questa funzionalità solo con laDataSync consoleAWS Command Line Interface, oAWS SDK for Java 2.x.

Nota

Non è necessaria alcuna configurazione se si utilizza laDataSync console.

Configurazione conAWS CLI

Le seguenti istruzioni descrivono come configurare la AWS Command Line Interface(AWS CLI) versione 2 per utilizzare questa funzionalità.

Per configurare la AWS CLI

  1. Scarica il modelloDataSync API e decomprimi il file JSON.

  2. Eseguire il comando seguente per aggiungere il modello di servizio allaAWS CLI configurazione.

    Questo esempio crea un nomedatasync-azure-blob di servizio. Puoi specificare un nome diverso.

    aws configure add-model \
  --service-model file://datasync-service-model.json \
  --service-name datasync-azure-blob

Una volta aggiunto il modello, puoi utilizzare questa funzione conAWS CLI.

Configurazione conAWS SDK for Java 2.x

Le seguenti istruzioni descrivono come configurare l'utilizzoAWS SDK for Java 2.x di questa funzionalità.

Per configurare l'SDK for Java 2.x

  1. Assicurarsi di disporre delAwsJavaSdk-DataSync-2.0.jar file. In caso contrario, contatta il tuoDataSync punto di contatto.

  2. Nel tuo progetto Maven, controlla ilpom.xml file per una dipendenza esplicita dall'SDKDataSync Java. Se non ce n'è una, crea la dipendenza usando il seguente esempio:

    <dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>datasync</artifactId>
    <version>2.17.290</version>
</dependency>

  3. Esegui il comando seguente:

    mvn org.apache.maven.plugins:maven-install-plugin:3.0.0-M1:install-file \
    --batch-mode -Dfile=/AwsJavaSdk-DataSync-2.0.jar \
    -DgroupId=software.amazon.awssdk \
    -DartifactId=datasync \
    -Dversion=2.17.290 \
    -Dpackaging=jar

    Tieni a mente:

    • Assicurati di utilizzare il percorso corretto per ilAwsJavaSdk-DataSync-2.0.jar file.

    • La2.17.290 versione è un esempio.

Crea il tuoDataSync agente

Hai bisogno di unDataSync agente in grado di connettersi al tuo contenitore Azure Blob Storage. L'agente legge il contenitore e facilita lo spostamento degli oggetti verso il contenitoreAWS.

Per creare un agente

  1. Scarica e distribuisci un agente Amazon EC2 in un Virtual Private Cloud (VPC) nel tuoAWS ambiente.

  2. Specifica un endpoint del servizio VPC con cui l'agente utilizza per comunicareAWS.

  3. Configura la tua rete per funzionare con gli endpoint VPC.

  4. Attiva l'agente.

Creazione della posizione di trasferimento di Azure Blob Storage

PuoiDataSync configurare l'utilizzo di un contenitore Azure Blob Storage esistente come posizione di origine per il trasferimento.

Prima di iniziare: assicurati di sapere comeDataSync accede al tuo Azure Blob Storage e come funziona con i livelli di accesso all'archiviazione BLOB.

  1. Apri laAWS DataSync console all'indirizzo https://console.aws.amazon.com/datasync/.

  2. Nel riquadro di navigazione a sinistra, espandi Trasferimento dati, quindi scegli Posizioni e Crea posizione.

  3. Per Tipo di posizione, scegli Microsoft Azure Blob Storage.

  4. Per gli agenti, scegli l'DataSyncagente in grado di connettersi al tuo contenitore Azure Blob Storage.

    Puoi scegliere più di un agente. Per ulteriori informazioni, consulta Utilizzo di più AWS DataSync agenti per il trasferimento.

  5. Per l'URL del contenitore, inserisci l'URL del contenitore coinvolto nel trasferimento.

  6. In Cartella, inserisci i segmenti del percorso se desideri limitare il trasferimento a una directory virtuale nel contenitore (ad esempio/my/images).

    DataSynccopia solo gli oggetti con questi segmenti di percorso.

    Importante

    Se il token SAS consente solo l'accesso a una cartella, è necessario specificare qui il percorso completo di questa cartella affinché il trasferimento funzioni.

  7. Per il token SAS, inserisci il token SAS cheDataSync consente di accedere allo storage blob.

    Il token fa parte della stringa URI SAS che segue l'URI della risorsa di archiviazione e un punto interrogativo. Un token è simile a:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  8. (Facoltativo) Inserisci i valori per i campi Chiave e Valore per etichettare la posizione.

    I tag ti aiutano a gestire, filtrare e cercare leAWS risorse. È consigliabile creare almeno un tag di nome per la posizione.

  9. Scegli Crea posizione.

Nota

Le istruzioni seguenti utilizzano ildatasync-azure-blob comando, ma è possibile denominarlo con un altro nome. Per ulteriori informazioni, consulta Configurazione conAWS CLI.

  1. Copia il seguentecreate-location-azure-blob comando:

    aws datasync-azure-blob create-location-azure-blob \
  --container-url "https://path/to/container" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data" \
  --tags [{"Key": "key1","Value": "value1"}]

  2. Per il--container-url parametro, specifica l'URL del contenitore Azure Blob Storage coinvolto nel trasferimento.

  3. Per il--authentication-type parametro, specificareSAS.

  4. Per l'Tokenopzione del--sas-configuration parametro, specifica il token SAS che consente diDataSync accedere allo storage blob.

    Il token fa parte della stringa URI SAS che segue l'URI della risorsa di archiviazione e un punto interrogativo. Un token è simile a:

    sp=r&st=2023-12-20T14:54:52Z&se=2023-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=aBBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Per il--agent-arns parametro, specifica l'ARN (ARN) specifica l'ARN (ARN) specifica l'ARN (ARN) dell'DataSyncagente che può connettersi al contenitore.

    Ecco un esempio di agente ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Puoi specificare più di un agente. Per ulteriori informazioni, consulta Utilizzo di più AWS DataSync agenti per il trasferimento.

  6. Per il--subdirectory parametro, specifica i segmenti del percorso se desideri limitare il trasferimento a una directory virtuale nel contenitore (ad esempio/my/images).

    DataSynccopia solo gli oggetti con questi segmenti di percorso.

    Importante

    Se il token SAS consente l'accesso solo a una sottodirectory (o cartella), è necessario specificare qui il percorso completo di questa sottodirectory affinché il trasferimento funzioni.

  7. (Facoltativo) Specifica coppie chiave-valore che facilitano la gestione, il filtraggio e la ricerca della tua posizione.--tags

    È consigliabile creare un tag di nome per la posizione.

  8. Esegui il comando create-location-azure-blob.

    Riceverai una risposta che ti mostra l'ARN della posizione che hai creato. Ad esempio:

    { 
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh" 
}

Visualizzazione della posizione di trasferimento di Azure Blob Storage

Puoi ottenere dettagli sulla tua posizione di Azure Blob Storage esistente.

  1. Apri laAWS DataSync console all'indirizzo https://console.aws.amazon.com/datasync/.

  2. Nel riquadro di navigazione a sinistra, scegliere Sedi.

  3. Scegli la tua posizione di Azure Blob Storage.

    Puoi visualizzare i dettagli sulla tua posizione, compreseDataSync le attività che la utilizzano.

Nota

Le istruzioni seguenti utilizzano ildatasync-azure-blob comando, ma è possibile denominarlo con un altro nome. Per ulteriori informazioni, consulta Configurazione conAWS CLI.

  1. Copia il seguentedescribe-location-azure-blob comando:

    aws datasync-azure-blob describe-location-azure-blob \
  --location-arn "your-azure-blob-location-arn"

  2. Per il--location-arn parametro, specifica l'ARN per la posizione di Azure Blob Storage che hai creato.

  3. Esegui il comando describe-location-azure-blob.

    Riceverai una risposta che ti mostra i dettagli sulla tua posizione. Ad esempio:

    {
    "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-12345678abcdefgh",
    "LocationUri": "azure-blob://my-user.blob.core.windows.net/container-1",
    "AuthenticationType": "SAS",
    "Subdirectory": "/my/images",
    "AgentArns": ["arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb"],
}

Aggiornamento della posizione di trasferimento di Azure Blob Storage

Se necessario, puoi modificare la configurazione della tua posizione.

Nota

Non puoi farlo con laDataSync console.

Nota

Le istruzioni seguenti utilizzano ildatasync-azure-blob comando, ma è possibile denominarlo con un altro nome. Per ulteriori informazioni, consulta Configurazione conAWS CLI.

  1. Copia il seguenteupdate-location-azure-blob comando:

    aws datasync-azure-blob update-location-azure-blob \
  --location-arn "your-azure-blob-location-arn" \
  --authentication-type "SAS" \
  --sas-configuration '{
      "Token": "your-sas-token"
    }' \
  --agent-arns my-datasync-agent-arn \
  --subdirectory "/path/to/my/data"

  2. Per il--location-arn parametro, specifica l'ARN per la posizione di Azure Blob Storage che stai aggiornando.

  3. Per il--authentication-type parametro, specificareSAS.

  4. Per l'Tokenopzione del--sas-configuration parametro, specifica il token SAS che consente diDataSync accedere allo storage blob.

    Il token fa parte della stringa URI SAS che segue l'URI della risorsa di archiviazione e un punto interrogativo. Un token è simile a:

    sp=r&st=2022-12-20T14:54:52Z&se=2022-12-20T22:54:52Z&spr=https&sv=2021-06-08&sr=c&sig=qCBKDWQvyuVcTPH9EBp%2FXTI9E%2F%2Fmq171%2BZU178wcwqU%3D

  5. Per il--agent-arns parametro, specifica l'ARN (ARN) specifica l'ARN (ARN) dell'DataSyncagente che desideri connettere al contenitore.

    Ecco un esempio di agente ARN:arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb

    Puoi specificare più di un agente. Per ulteriori informazioni, consulta Utilizzo di più AWS DataSync agenti per il trasferimento.

  6. Per il--subdirectory parametro, specifica i segmenti del percorso se desideri limitare il trasferimento a una directory virtuale nel contenitore (ad esempio/my/images).

    DataSynccopia solo gli oggetti con questi segmenti di percorso.

    Importante

    Se il token SAS consente l'accesso solo a una sottodirectory (o cartella), è necessario specificare qui il percorso completo di questa sottodirectory affinché il trasferimento funzioni.

Gestione dei metadati

LaDataSync modalità di gestione dei metadati durante il trasferimento da Azure Blob Storage dipende dalla posizione di destinazione.

Quando la tua destinazione è DataSynclattina

  • Simple Storage Service (Amazon S3)

Copia i seguenti metadati nella destinazione:

  • Metadati di oggetti definiti dall'utente

  • Tag oggetti

  • I seguenti metadati di oggetti definiti dal sistema:

    • Content-Disposition

    • Content-Encoding

    • Content-Language

    • Content-Type

    Nota:DataSync copia i metadati di sistema per tutti gli oggetti durante un trasferimento iniziale. Se configuri l'attività per trasferire solo i dati che sono stati modificati,DataSync non copierai i metadati di sistema nei trasferimenti successivi a meno che non siano stati modificati anche il contenuto di un oggetto o i metadati utente.

  • Amazon EFS

  • FSx for Lustre

  • FSx for OpenZFS

  • FSx per ONTAP (utilizzando NFS)

Applica i metadati POSIX predefiniti ai file e alle cartelle di destinazione. Questo approccio include l'utilizzo dei valori di ID utente POSIX e di ID gruppo predefiniti.

  • FSx per Windows File Server

  • FSx per ONTAP (utilizzando SMB)

Applica i seguenti metadati alla destinazione:

  • Timestamp di file e cartelle

  • Proprietà basata sull'utente Windows specificato durante la creazione della posizione diDataSync destinazione

  • Autorizzazioni ereditate dalla directory principale

Restrizioni

Le seguenti limitazioni sono attualmente presenti quando si spostano dati da Azure Blob Storage conDataSync:

  • Puoi creare una posizione Azure Blob Storage in qualsiasi posizione Regione AWSsupportataDataSync tranne le regioniAWS GovCloud (US) e la Cina.

  • Puoi usare Azure Blob Storage solo come posizione di origine.

  • Durante il trasferimento su Amazon S3,DataSync non trasferirà oggetti Azure Blob Storage di dimensioni superiori a 5 TB.

  • Durante il trasferimento su Amazon S3,DataSync non trasferirà oggetti Azure Blob Storage con metadati superiori a 2 KB.