Usando AWS DataSync para transferir arquivos

AWS DataSync é um serviço de transferência de dados on-line que simplifica, automatiza e acelera a cópia de grandes quantidades de dados de e para serviços de AWS armazenamento pela Internet ou. AWS Direct Connect DataSync O agente vem pré-instalado em seu dispositivo Snowcone. Ele pode transferir dados entre o dispositivo e os buckets do Amazon S3, o Amazon EFS e o Amazon FSx for Windows File Server. AWS DataSync lida automaticamente com a movimentação de arquivos e objetos, agendando transferências de dados, monitorando o progresso das transferências, criptografando, verificando as transferências de dados e notificando os clientes sobre quaisquer problemas.

Antes de iniciar o DataSync agente, habilite o Network File System (NFS) em seu dispositivo Snowcone. Consulte Configurando a NFS interface automaticamente com AWS OpsHub e Iniciando o NFS e restringindo o acesso.

O DataSync agente é pré-instalado em seu dispositivo Snowcone como AMI durante a preparação do trabalho no Snowcone. Para transferir dados on-line para AWS, conecte o dispositivo Snowcone à rede externa e use nossa CLI AWS OpsHub para iniciar a AMI do agente. DataSync Ative o DataSync agente no AWS Management Console ou use a CLI e configure sua tarefa de transferência de dados on-line entre a loja Snowcone NFS e o Amazon S3, o Amazon EFS ou o Amazon FSx for Windows File Server.

Você pode usar a AWS DataSync corrida no Snowcone para o seguinte:

• Aplicativos de computação de borda, para coletar dados, processar os dados para obter uma visão imediata e, em seguida, transferir os dados on-line para a AWS.

• Transfira dados gerados continuamente por sensores ou máquinas on-line para uma fábrica ou AWS em outros locais periféricos.

• Distribua mídia, conteúdo científico ou outro conteúdo on-line dos serviços de AWS armazenamento para seus parceiros e clientes.

• Agregue conteúdo transferindo mídia, conteúdo científico ou outro conteúdo on-line de seus pontos de presença para o. AWS

• Certifique-se de usar um endereço IP estático para o VNI do DataSync agente. O uso do DHCP pode causar problemas porque a reinicialização de qualquer dispositivo pode significar que você está usando um endereço IP diferente, forçando a necessidade de reconfigurar o DataSync agente e DataSync a ativação na nuvem.AWS

• Para usar o agente Datasync no Snowcone, você precisa garantir que as entradas “AllowedHosts” incluam o endereço IP do DataSync agente na sua configuração de NFS no Snowcone. Isso pode exigir que você pare e reinicie o serviço NFS no Snowcone para habilitar o DataSync agente.

• Sempre que você interromper o serviço NFS, você também deve interromper o DataSync agente. Nota: Se você interromper o serviço NFS que permitiu o DataSync agente listado, ele impedirá que o agente Datasync funcione.

• Verifique as cotas de tarefas do AWS DataSync para ver o número máximo de arquivos por tarefa para um dispositivo Snowcone. Se você exceder o limite de 200.000 arquivos, a DataSync tarefa reportará um erro de alocação de memória e abortará a execução.

Para fluxos de trabalho únicos de computação de borda ou transferência de dados ou para fluxos de trabalho Snowcone em locais periféricos sem um link de rede de longa distância (WAN) ou largura de banda de WAN inadequada, você deve devolver o dispositivo Snowcone para concluir a transferência de dados. AWS