Filtraggio dei dati trasferiti daAWS DataSync

AWS DataSyncconsente di applicare filtri se si desidera trasferire solo un sottoinsieme di dati (ad esempio file, cartelle o oggetti specifici).

Ad esempio, se la posizione di origine include file temporanei che terminano con.tmp, puoi creare un filtro di esclusione che impedisca a questi file di raggiungere la posizione di destinazione. Puoi anche utilizzare una combinazione di filtri di esclusione e di inclusione nella stessa attività.

Filtrare termini, definizioni e sintassi

Questi sono alcuni termini e definizioni da utilizzare con i filtri:

Filtro

L'intera stringa che costituisce un particolare filtro (ad esempio:*.tmp|*.temp o/folderA|/folderB).

I filtri sono costituiti da motivi delimitati da un | (tubo). Un delimitatore non è necessario quando si aggiungono motivi sulla console perché ogni modello viene aggiunto separatamente.

Nota

I filtri distinguono maiuscole e minuscole. Ad esempio, il filtro/folderA non corrisponderà/FolderA.

Pattern

Un modello all'interno di un filtro. Ad esempio,*.tmp è un pattern che fa parte del*.tmp|*.temp filtro.

Cartelle

• Tutti i filtri sono relativi al percorso della posizione di origine. Ad esempio, si supponga di specificare/my_source/ come percorso di origine quando si creano la posizione e l'attività di origine e si specifica il filtro di inclusione/transfer_this/. In questo caso,DataSync trasferisce solo la cartella/my_source/transfer_this/ e il suo contenuto.

• Per specificare una cartella direttamente nella posizione di origine, includi una barra (/) davanti al nome della cartella. Nell'esempio precedente, il modello utilizza /transfer_this, non transfer_this.

• DataSyncinterpreta i seguenti modelli allo stesso modo e corrisponde sia alla cartella che al suo contenuto.

  /dir

  /dir/

• Quando trasferisci dati da o verso un bucket Amazon S3,DataSync considera il/ carattere nella chiave oggetto come l'equivalente di una cartella su un file system.

Caratteri speciali

Di seguito sono riportati i caratteri speciali per l'uso con i filtri.

Carattere speciale	Descrizione
* (carattere jolly)	Un carattere usato per la corrispondenza con zero o più caratteri. Ad esempio, /movies_folder* corrisponde a /movies_folder e /movies_folder1.
| (delimitatore pipe)	Un carattere utilizzato come delimitatore tra modelli. Consente di specificare più modelli, uno dei quali corrisponde al filtro. Ad esempio, *.tmp|*.temp corrisponde ai file che terminano con tmp o temp. Nota Questo delimitatore non è necessario quando si aggiungono motivi sulla console perché ogni modello viene aggiunto su una riga separata.
\ (barra rovesciata)	Un carattere usato per sfuggire ai caratteri speciali (*, |,\) nel nome di un file o di un oggetto. Una barra rovesciata doppia (\\) è obbligatoria quando una barra rovesciata fa parte di un nome file. Analogamente, \\\\ rappresenta due barre rovesciate consecutive in un nome file. Una barra rovesciata da una pipe (\ |) è obbligatoria quando una pipe fa parte di un nome file. Una barra rovesciata (\) seguita da qualsiasi altro carattere o alla fine di uno schema viene ignorata.

Esclusione di dati da un trasferimento

I filtri di esclusione definiscono file, cartelle e oggetti che vengono esclusi quando trasferisci file da una posizione di origine in una posizione di destinazione. Puoi configurare questi filtri quando crei, modifichi o avvii un'attività.

Per creare un'attività con un filtro di esclusione nellaDataSync console, specifica un elenco di modelli nella sezione Configurazione del trasferimento dati in Escludi modelli. Ad esempio, per escludere le cartelle temporanee denominatetemp ortmp, è possibile specificare*/temp nella casella di testo Escludi modelli, scegliere Aggiungi motivi e quindi specificare*/tmp nella seconda casella di testo. Per aggiungere più modelli al filtro, scegli Add pattern (Aggiungi modello). Quando si utilizzaAWS Command Line Interface (AWS CLI), sono necessarie virgolette singole (') intorno al filtro e un | (tubo) viene utilizzato come delimitatore. Per questo esempio, è necessario specificare'*/temp |*/tmp'.

Dopo aver creato un'attività, è possibile modificare la configurazione dell'attività per aggiungere o rimuovere modelli dal filtro di esclusione. Le modifiche vengono applicate alle esecuzioni future dell'attività.

Quando si esegue un'attività, è possibile modificare i modelli di filtro di esclusione utilizzando l'opzione Inizia con sostituzioni. Qualsiasi modifica apportata viene applicata solo all'esecuzione dell'attività.

Per creare o modificare leAWS CLI unità di condivisione dati è possibile utilizzare anche la L'esempio seguente mostra una tale interfaccia a riga di comando.

aws datasync create-task 
    --source-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --cloud-watch-log-group-arn 'arn:aws:logs:region:account-id:log-group:your-log-group' 
    --name your-task-name
    --excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'

Nota

Se stai eseguendo la migrazione di file da unNetApp sistema, ti consigliamo di escludere le cartelle diNetApp backup*/.snapshot specificando uno schema nel filtro di esclusione.

Inclusione dei dati in un trasferimento

I filtri di inclusione definiscono file, cartelle e oggetti che vengonoDataSync trasferiti quando si esegue un'attività. Puoi configurare i filtri di inclusione quando crei, modifichi o avvii un'attività.

Per creare un'attività con un filtro di inclusione, scegliete l'opzione File e cartelle specifici, quindi specificate un elenco di modelli da includere in Includi modelli.

DataSyncscansiona e trasferisce solo i file e le cartelle che corrispondono ai filtri di inclusione. Ad esempio, per includere un sottoinsieme delle cartelle di origine, è possibile specificare/important_folder_1 |/important_folder_2.

Dopo aver creato un'attività, puoi modificare la configurazione dell'attività per aggiungere o rimuovere modelli dal filtro di inclusione. Qualsiasi modifica apportata viene applicata alle esecuzioni future dell'attività.

Quando si esegue un'attività, è possibile modificare i modelli di filtro di inclusione utilizzando l'opzione Inizia con sostituzioni. Qualsiasi modifica apportata viene applicata solo all'esecuzione dell'attività.

Per creare o modificare leAWS CLI unità di condivisione dati è possibile utilizzare anche la L'esempio seguente mostra il comando CLI. Prendi nota delle virgolette (') intorno al filtro e al| (tubo) utilizzato come delimitatore.

aws datasync start-task-execution 
   --task-arn 'arn:aws:datasync:region:account-id:task/task-id' 
   --includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'

Nota

I filtri di inclusione supportano il carattere jolly (*) solo come carattere più a destra di un pattern. Ad esempio,/documents* |/code* è supportato, ma*.txt non lo è.

Filtri di esempio

Di seguito sono sono sono sono sono sono sono sono sono sono sono sono sono sono sono sono sono sono sono possibile utilizzareDataSync

Nota

Esistono dei limiti al numero di caratteri che puoi usare in un filtro. Per ulteriori informazioni, consulta DataSyncquote di attività.

Esclusione di alcune cartelle dalla posizione di origine

In alcuni casi, potresti escludere le cartelle nella posizione di origine per non copiarle nella posizione di destinazione. Ad esempio, potresti avere delle unità di condivisione datiwork-in-progress temporanee. In alternativa, potresti utilizzare unNetApp sistema e voler escludere le cartelle di backup. In tali casi, puoi utilizzare il seguente filtro.

*/.snapshot

Per escludere cartelle con contenuti simili (ad esempio/reports2021 e/reports2022)), puoi utilizzare un filtro di esclusione come il seguente:

/reports*

Per escludere cartelle a qualsiasi livello nella gerarchia dei file, puoi utilizzare un filtro di esclusione come il seguente.

*/folder-to-exclude-1|*/folder-to-exclude-2

Per escludere le cartelle al livello superiore della posizione di origine, puoi utilizzare un filtro di esclusione come il seguente.

/top-level-folder-to-exclude-1|/top-level-folder-to-exclude-2

Includi un sottoinsieme delle cartelle nella posizione di origine

In alcuni casi, la posizione di origine potrebbe essere una condivisione di grandi dimensioni ed è necessario trasferire un sottoinsieme delle cartelle nella cartella principale. Per includere cartelle specifiche, avvia un'esecuzione dell'attività con un filtro di inclusione come il seguente.

/folder-to-transfer/*

Escludere tipi di file specifici

Per escludere alcuni tipi di file dal trasferimento, puoi creare un'esecuzione dell'attività con un filtro di esclusione come *.temp.

Trasferisci i singoli file specificati

Per trasferire un elenco di singoli file, avvia l'esecuzione di un'operazione con un filtro di inclusione come il seguente: "/folder/subfolder/file1.txt|/folder/subfolder/file2.txt |/folder/subfolder/file2.txt»