Filtrando dados transferidos porAWS DataSync

AWS DataSyncpermite aplicar filtros se você quiser transferir apenas um subconjunto de dados (como arquivos, pastas ou objetos específicos).

Por exemplo, se seu local de origem incluir arquivos temporários que terminam com.tmp, você pode criar um filtro de exclusão que impede que esses arquivos cheguem ao local de destino. Você também pode usar uma combinação de filtros de exclusão e inclusão na mesma tarefa.

Filtrando termos, definições e sintaxe

Estes são alguns termos e definições para uso com filtragem:

Filtro

A string inteira que compõe um filtro específico (por exemplo:*.tmp|*.temp ou/folderA|/folderB).

Os filtros são compostos por padrões delimitados por um | (tubo). Não é necessário um delimitador ao adicionar padrões no console porque você adiciona cada padrão separadamente.

nota

Os filtros diferenciam maiúsculas de minúsculas Por exemplo, o filtro/folderA não corresponderá/FolderA.

Pattern

Um padrão dentro de um filtro. Por exemplo,*.tmp é um padrão que faz parte do*.tmp|*.temp filtro.

Pastas

• Todos os filtros se referem ao caminho do local de origem. Por exemplo, suponha que você especifique/my_source/ como o caminho de origem ao criar seu local e tarefa de origem e especificar o filtro de inclusão/transfer_this/. Nesse caso,DataSync transfere somente o diretório/my_source/transfer_this/ e seu conteúdo.

• Para especificar uma pasta diretamente abaixo do local de origem, inclua uma barra (/) na frente do nome da pasta. No exemplo anterior, o padrão usa /transfer_this, e não transfer_this.

• DataSyncinterpreta os seguintes padrões da mesma forma e combina tanto com a pasta quanto com seu conteúdo.

  /dir

  /dir/

• Quando você está transferindo dados de ou para um bucket do Amazon S3,DataSync trata o/ caractere na chave do objeto como o equivalente a uma pasta em um sistema de arquivos.

Caracteres especiais

Veja a seguir caracteres especiais para usar com a filtragem.

Caractere especial	Descrição
* (curinga)	Um caractere usado para corresponder a zero ou mais caracteres. Por exemplo, /movies_folder* corresponde a /movies_folder e /movies_folder1.
| (barra vertical)	Um caractere usado como um delimitador entre padrões. Permite especificar vários padrões, em que qualquer um deles pode corresponder ao filtro. Por exemplo, *.tmp|*.temp corresponde a arquivos que terminam com tmp ou temp. nota Esse delimitador não é necessário quando você adiciona padrões no console porque você adiciona cada padrão em uma linha separada.
\ (barra invertida)	Um caractere usado para escapar de caracteres especiais (*, |,\) em um nome de arquivo ou objeto. Uma dupla barra invertida (\\) é necessária quando uma barra invertida fizer parte do nome de um arquivo. Da mesma forma, \\\\ representa duas barras invertidas consecutivas em um nome de arquivo. Uma barra invertida seguida de uma barra vertical (\|) é necessária quando uma barra vertical fizer parte do nome de um arquivo. Uma barra invertida (\) seguida por qualquer outro caractere, ou no final de um padrão, é ignorada.

Excluindo dados de uma transferência

Filtros de exclusão definem arquivos, pastas e objetos que são excluídos ao transferir arquivos de uma origem para um local de destino. Você pode configurar esses filtros ao criar, editar ou iniciar uma tarefa.

Para criar uma tarefa com um filtro de exclusão noDataSync console, especifique uma lista de padrões na seção Configuração de transferência de dados em Excluir padrões. Por exemplo, para excluir as pastas temporárias denominadastemp outmp, você pode especificar*/temp na caixa de texto Excluir padrões, escolher Adicionar padrões e especificar*/tmp na segunda caixa de texto. Para adicionar mais padrões ao filtro, escolha Add pattern (Adicionar padrão). Quando você está usando oAWS Command Line Interface (AWS CLI), aspas simples (') são necessárias ao redor do filtro e um | (tubo) é usado como delimitador. Neste exemplo, você especificaria'*/temp |*/tmp'.

Depois de criar uma tarefa, você pode editar a configuração da tarefa para adicionar ou remover padrões do filtro de exclusão. Suas alterações são aplicadas às future execuções da tarefa.

Ao executar uma tarefa, você pode modificar os padrões de filtro de exclusão usando a opção Iniciar com substituições. Todas as alterações feitas são aplicadas somente à execução da tarefa.

Também é possível usar oAWS CLI para criar ou editar um filtro de exclusão. O exemplo a seguir mostra um comando da CLI.

aws datasync create-task 
    --source-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --destination-location-arn 'arn:aws:datasync:region:account-id:location/location-id'
    --cloud-watch-log-group-arn 'arn:aws:logs:region:account-id:log-group:your-log-group' 
    --name your-task-name
    --excludes FilterType=SIMPLE_PATTERN,Value='*/temp|*/tmp'

nota

Se você estiver migrando arquivos de umNetApp sistema, recomendamos que você exclua as pastas deNetApp backup especificando*/.snapshot como um padrão em seu filtro de exclusão.

Incluindo dados em uma transferência

Os filtros de inclusão definem arquivos, pastas e objetos que sãoDataSync transferidos quando você executa uma tarefa. Você pode configurar filtros de inclusão ao criar, editar ou iniciar uma tarefa.

Para criar uma tarefa com um filtro de inclusão, escolha a opção Arquivos e pastas específicos e especifique uma lista de padrões a serem incluídos em Incluir padrões.

DataSyncescaneia e transfere somente arquivos e pastas que correspondam aos filtros de inclusão. Por exemplo, para incluir um subconjunto de suas pastas de origem, você pode especificar/important_folder_1 |/important_folder_2.

Depois de criar uma tarefa, você pode editar a configuração da tarefa para adicionar ou remover padrões do filtro de inclusão. Todas as alterações que você fizer serão aplicadas às future execuções da tarefa.

Ao executar uma tarefa, você pode modificar os padrões de filtro de inclusão usando a opção Iniciar com substituições. Todas as alterações feitas são aplicadas somente à execução da tarefa.

Também é possível usar oAWS CLI para criar ou editar um filtro de inclusão. O exemplo a seguir mostra o comando da CLI. Anote as aspas (') ao redor do filtro e o| (tubo) usado como delimitador.

aws datasync start-task-execution 
   --task-arn 'arn:aws:datasync:region:account-id:task/task-id' 
   --includes FilterType=SIMPLE_PATTERN,Value='/important_folder1|/important_folder2'

nota

Os filtros de inclusão suportam o caractere curinga (*) somente como o caractere mais à direita em um padrão. Por exemplo,/documents* |/code* é suportado, mas*.txt não é.

Exemplos de filtros

Os exemplos a seguir mostram filtros comuns que você pode usarDataSync.

nota

Há limites para quantos caracteres você pode usar em um filtro. Para obter mais informações, consulte DataSynccotas de tarefas.

Excluir algumas pastas do local de origem

Em alguns casos, você pode excluir pastas em seu local de origem para não copiá-las para seu local de destino. Por exemplo, você pode terwork-in-progress pastas temporárias. Ou talvez você use umNetApp sistema e queira excluir pastas de backup. Nesses casos, você pode usar o filtro a seguir.

*/.snapshot

Para excluir pastas com conteúdo semelhante (como/reports2021 e/reports2022)), você pode usar um filtro de exclusão como o seguinte:

/reports*

Para excluir pastas em qualquer nível na hierarquia de arquivos, você pode usar um filtro de exclusão como o seguinte.

*/folder-to-exclude-1|*/folder-to-exclude-2

Para excluir pastas no nível superior do local de origem, você pode usar um filtro de exclusão como o seguinte.

/top-level-folder-to-exclude-1|/top-level-folder-to-exclude-2

Inclua um subconjunto das pastas em seu local de origem

Em alguns casos, seu local de origem pode ser um grande compartilhamento e você precisa transferir um subconjunto das pastas para a raiz. Para incluir pastas específicas, inicie uma execução de tarefa com um filtro de inclusão, como o seguinte.

/folder-to-transfer/*

Excluir tipos de arquivo específicos

Para excluir determinados tipos de arquivo da transferência, crie uma execução de tarefa com um filtro de exclusão, como *.temp.

Transferir arquivos individuais que você especificar

Para transferir uma lista de arquivos individuais, inicie a execução de uma tarefa com um filtro de inclusão como o seguinte: "/folder/subfolder/file1.txt|/folder/subfolder/file2.txt |/folder/subfolder/file2.txt”