Conceitos básicos do Nimble Studio File Transfer

Este tutorial mostra como instalar e configurar File Transfer. Antes de começar as etapas a seguir, verifique se o tutorial Configurar o Nimble Studio File Transfer foi concluído pelo administrador.

Se você encontrar algum problema ao seguir este tutorial, consulte a página Suporte para Nimble Studio File Transfer.

Pré-requisitos

Conclua a seção Configurar o Nimble Studio File Transfer antes de instalar e configurar File Transfer.

Configuração do hardware

Recomendamos que seu computador atenda aos seguintes requisitos para você usar File Transfer. Para obter mais informações sobre como aumentar a velocidade de suas transferências, consulte Otimização de desempenho.

• 8 núcleos de CPU lógicos

• RAM de 8 GB

Suas velocidades de transferência dependem do hardware, da configuração da rede e da largura de banda. File Transfer pode transferir arquivos conforme sua rede e hardware permitirem. Se sua máquina recebeu uma largura de banda da rede de 500 Mbps, o mais rápido que File Transfer pode tentar completar tranferências é a 500 Mbps.

Etapa 1: Instalar o File Transfer

O instalador File Transfer o guiará pela configuração e definirá as threads corretas e o tamanho do bloco correto com base em suas máquinas.

Faça download e instale o cliente para Nimble Studio File Transfer em Clientes File Transfer.

Etapa 2: Configurar o File Transfer

Com File Transfer, você podeusar tanto a interface gráfica do usuário (GUI) quanto a interface de linha de comandos (CLI). Se você usa um sistema operacional (SO) com um desktop, você pode configurar File Transfer na GUI. Se você não estiver usando um SO com um desktop, você pode usar a CLI File Transfer para configurar e executar File Transfer. A CLI oferece mais flexibilidade na forma como você usa File Transfer.

GUI

Antes de transferir arquivos com o File Transfer, você deve adicionar uma configuração remota. As configurações remotas são tratadas como configurações diferentes que você pode usar para transferir arquivos a diferentes buckets e diretórios.

Para adicionar uma configuração remota

1. Escolha Criar uma configuração remota na janela do navegador de arquivos do bucket do S3 da GUI.

2. Na seção Adicionar configuração remota, insira as informações a seguir.

   1. Em Nome da configuração remota, insira um nome para a configuração remota. O nome não pode ser modificado depois de definido.

   2. Em Bucket do S3, insira o nome do bucket do S3 que você deseja usar para File Transfer. Para criar um bucket do S3, consulte Crie um bucket do S3.

   3. Em Região da AWS, insira a região em que o bucket do S3 está localizado.

   4. Em Perfil nomeado da AWS, insira um perfil nomeado da AWS a fim de usar para acesso ao S3. Caso você opte por usar uma chave de acesso da AWS ou uma chave secreta da AWS em vez disso, deixe esse campo em branco. Se você não tiver um perfil nomeado da AWS, consulte os tópicos Criar uma política de acesso do IAM e Configure o AWS CLI.

3. Escolha Adicionar para continuar.

4. Na seção Avançado, insira as informações a seguir.

   1. Classe de armazenamento especifica a classe de armazenamento do bucket S3. Consulte informações sobre classes de armazenamento em Categorias de armazenamento do Amazon S3.

   2. Algoritmo de soma de verificação especifica qual algoritmo de soma de verificação é usado para os cálculos da soma de verificação.

   3. (Opcional) Diretório local especifica o diretório padrão em sua máquina local.

   4. (Opcional) Prefixo do bucket do S3 especifica o diretório padrão do bucket do S3.

   5. Filtro especifica um filtro para arquivos com base no formato. Esse campo aceita expressões regulares válidas. Por exemplo, "^.*\.(mov)$" só carrega arquivos que terminam em .mov.

   6. Máximo de tempo Limita o File Transfer a arquivos criados ou modificados após o valor de tempo Max Age e antes da hora atual. As unidades são expressas em m (minutos), h (horas), d (dias) e w (semanas). Se nenhuma unidade for fornecida, o valor será especificado em segundos. Por exemplo, uma entrada de 5d transfere arquivos criados ou modificados nos últimos cinco dias. Uma entrada de 350 transfere arquivos criados ou modificados nos últimos 350 segundos.

   7. (Opcional) Lista de ordem de arquivos define a prioridade de transferência por extensão de arquivo. Insira uma extensão para adicioná-la à lista. Arquivos com extensões que não estão na lista têm a prioridade mais baixa e são transferidos na ordem em que estão listados no sistema de arquivos.

      

   8. A opção Ajuste automático de transferência define dinamicamente o número de threads e o tamanho do bloco para transferências de arquivos, quando habilitada. Esta opção está ativada por padrão. Recomendamos manter essa opção ativada.

      Número de threads

      Número de threads individuais usadas para transferir cada arquivo individual.

      Tamanho do bloco

      Tamanho do bloco (em megabytes) que é entregue por cada thread.

   9. A opção Usar S3 Transfer Acceleration melhora a velocidade de transferência de arquivos grandes, quando habilitada. A prática recomendada é manter o S3 Transfer Acceleration desativado, já que ele não é necessário realizar transferências de alta velocidade no File Transfer. Se o bucket estiver geograficamente longe de você, ative esse recurso. Consulte mais informações em S3 Transfer Acceleration. Se isso estiver habilitado, poderão ser aplicadas taxas adicionais. Para obter mais informações, consulte Preços do Amazon S3.

   10. A opção Habilitar filtro de metadados filtra automaticamente os arquivos de metadados do sistema, quando habilitada. Esses arquivos incluem aqueles que começam com ._, thumbs.db e .DS_Store.

5. Escolha Salvar

Para adicionar um ID de estúdio

1. Abra o File Transfer.

   1. Vá para o Menu iniciar e pesquise por File Transfer.

   2. Selecione Nimble Studio File Transfer na lista.

2. No menu suspenso ( ), escolha Configurações.

3. Insira o ID do estúdio que você encontrou no tutorial Configure um estúdio no Nimble Studio.

4. Escolha Save (Salvar).

CLI

Agora que File Transfer está instalado, edite o arquivo de configuração.

Para editar o arquivo de configuração

1. Abra o arquivo de configuração com qualquer software de edição de texto em seu computador.

   1. Windows: navegue até a pasta User/<your username> do seu computador. Abra a pasta .filetransfer e abra o arquivo filetransfer.yaml com um editor de texto.

   2. macOS: insira Cmd+Shift+G. Em seguida, insira ~/.filetransfer. Abra o arquivo filetransfer.yaml em um editor de texto.

   3. Linux: abra o arquivo filetransfer.yaml usando qualquer editor de texto. O arquivo está localizado em ~/.filetransfer/configuration.yaml.

2. Adicione as seguintes variáveis ao arquivo de configuração. Os valores necessários são preenchidos. Você deve fornecer os valores opcionais.

   1. studio_id: insira o ID do estúdio que você encontrou no tutorial Configure um estúdio no Nimble Studio.

   2. max_active_checksums: insira o número de somas de verificação individuais que são processadas ao mesmo tempo. Se esse valor exceder o número de núcleos de CPU disponíveis no sistema, uma mensagem de aviso será exibida e o valor será limitado ao número de núcleos de CPU. Para obter mais informações, consulte Somas de verificação de File Transfer.

   3. max_active_transfers: insira o número de arquivos individuais que são processados ao mesmo tempo.

3. Defina pelo menos uma configuração remota no arquivo de configuração. Os valores necessários para a configuração remota não são preenchidos, então você deve inseri-los manualmente. Defina as seguintes variáveis para cada configuração remota.

   protocols:
       s3:
           remote_configuration:
               demo:
                   name: demo
                   bucket: my-bucket
                   region: us-west-2
                   profile: my-profile
                   storage_class: standard
                   auto_tuning: true
                   chunk_size: 25
                   threads: 10
                   checksum_algorithm: md5_hex
                   max_age: ""
                   accelerated: false
                   file_order: []
                   filter: ""
                   upload_hot_folder:
                       enabled: false
                       local_source_folder: ""
                       s3_destination_folder: ""
                   enable_metadata_filter: true
                   paths:
                       local: ""
                       remote: ""

4. name: insira um nome para seu perfil de transferência.

5. bucket: insira um nome para o do bucket do S3 para o qual você deseja fazer upload e download. Seu administrador deve ter criado o bucket em Crie um bucket do S3.

6. region: insira a Região da AWS que seu bucket está localizado.

7. profile: insira o nome do perfil que seu administrador criou na etapa 4 de Configure o AWS CLI. Esse perfil permite que você acesse o Amazon Simple Storage Service (Amazon S3). Para obter uma lista de perfis configurados, execute o seguinte comando em uma janela de terminal: aws configure list

8. storage_class: por padrão, isso é definido como standard. Os valores aceitos para essa variável são os seguintes:

   • reduced_redundancy

   • standard_ia

   • onezone_ia

   • intelligent_tiering

   • glacier

   • deep_archive

   • glacier_ir

   nota

   Você pode fazer o upload diretamente para qualquer classe de armazenamento no Amazon S3. Se você usa o S3 Glacier Deep Archive ou o S3 Glacier Flexible Retrieval, não é possível baixar objetos que foram carregados diretamente do File Transfer ou File Transfer. Para obter mais informações sobre as classes de armazenamento, consulte Classes de armazenamento do Amazon S3.

9. auto_tuning: ajusta automaticamente o tamanho do bloco e o máximo de transferências ativas com base no tamanho do arquivo. Por padrão, isso é definido como true.

10. chunk_size: insira o tamanho do bloco (em MB) fornecido por cada thread. Esse campo não será obrigatório se auto_tuning estiver definido como true.

11. threads: Iinsira o número de threads individuais usadas para transferir cada arquivo individual. Esse campo não será obrigatório se auto_tuning estiver definido como true.

12. checksum_algorithm: esse é o algoritmo de soma de verificação que será usado ao carregar arquivos no S3. É possível escolher md5-hex (o valor padrão), xxhash, xxhash64 e xxh3 checksum algorithms.

13. (Opcional) Max Age: limita o File Transfer a arquivos criados ou modificados após o valor de tempo Max Age e antes da hora atual. As unidades são expressas em m (minutos), h (horas), d (dias) e w (semanas). Se nenhuma unidade for fornecida, o valor será especificado em segundos. Por exemplo, uma entrada de 5d transfere arquivos criados ou modificados nos últimos cinco dias. Uma entrada de 350 transfere arquivos criados ou modificados nos últimos 350 segundos.

14. accelerated: habilita o S3 Transfer Acceleration. Por padrão, ele é false. A prática recomendada é manter o S3 Transfer Acceleration desativado, já que ele não é necessário realizar transferências de alta velocidade no File Transfer. Se o bucket estiver geograficamente longe de você, ative esse recurso. Consulte mais informações em S3 Transfer Acceleration. Se isso estiver habilitado, poderão ser aplicadas taxas adicionais. Para obter mais informações, consulte Preços do Amazon S3.

15. (Opcional) file_order: insira uma lista de extensões de arquivo separadas por vírgula para definir a prioridade dos arquivos a serem transferidos. Todas as extensões de arquivo que você não listar são transferidas por último na ordem em que o sistema de arquivos as lista. Por exemplo, ".mov,.txt" prioriza a transferência de arquivos .mov em vez de arquivos .txt.

16. (Opcional) filter: filtre os arquivos que estão sendo transferidos com base no formato. O campo filter aceita expressões regulares válidas. Por exemplo, "^.*\.(mov)$" só carrega arquivos que terminam em .mov.

17. (Opcional) upload_hot_folder enabled: ativa a funcionalidade de upload de pasta ativa.

18. (Optional) upload_hot_folder local_source_folder: isso é necessário quando upload hot folder está habilitado. File Transfer monitorará recursivamente todos os eventos do sistema de arquivos na pasta especificada e iniciará os uploads quando os arquivos forem adicionados ou modificados.

19. (Opcional) upload_hot_folder s3_destination_folder: Isso é necessário quando upload hot folder está habilitado. Os arquivos de pasta ativa que são carregados são adicionados a essa pasta.

20. enable_metadata_filter: quando true, o File Transfer filtra os arquivos de metadados do sistema automaticamente. Esses arquivos incluem Thumbs.db, .DS_Store e arquivos que começam com ._.

21. (Opcional) paths local: a pasta raiz dos arquivos de File Transfer no sistema de arquivos local.

22. (Opcional) paths remote: a pasta raiz dos arquivos File Transfer no bucket do S3.

23. (Opcional) paths local: insira um caminho de arquivo. Suas transferências começarão nesse caminho local no navegador de arquivos do sistema de arquivos local.

24. (Opcional) paths remote: insira um caminho de arquivo. Suas transferências começarão nesse caminho no navegador de arquivos do bucket do S3.

25. Salve o arquivo de configuração.

26. Execute o comando a seguir para validar suas credenciais AWS: filetransfer validate-credentials remote configuration

    1. Substitua configuração remota pelo nome da configuração que você criou.

    2. Esse comando verifica as credenciais AWS que você forneceu, como sua chave do IAM. Esse comando verifica se File Transfer é capaz de se conectar ao Amazon S3 e lista objetos no bucket especificado no arquivo de configuração.

Depois de concluir a instalação e a configuração, agora está tudo pronto para usar o File Transfer.