Carregar dados usando o AWS DataSync

AWS DataSync é um serviço de transferência de dados on-line que simplifica, automatiza e acelera o processo de movimentação de dados entre seus serviços de armazenamento e armazenamento locais ou entre serviços AWS de armazenamento. AWS DataSync oferece suporte a uma variedade de sistemas de armazenamento local, como o Hadoop Distributed File System (HDFS), servidores de NAS arquivos e armazenamento autogerenciado de objetos.

A maneira mais comum de colocar dados em um cluster é fazer o upload dos dados para o Amazon S3 e usar os recursos integrados da Amazon EMR para carregar os dados no seu cluster.

DataSync pode ajudá-lo a realizar as seguintes tarefas:

• Replique HDFS em seu cluster Hadoop para o Amazon S3 para continuidade dos negócios

• Copie HDFS para o Amazon S3 para preencher seus data lakes

• Transfira dados entre seu cluster Hadoop HDFS e o Amazon S3 para análise e processamento

Para fazer upload de dados para seu bucket do S3, primeiro você implanta um ou mais DataSync agentes na mesma rede do seu armazenamento local. O agente é uma máquina virtual (VM) usada para ler ou gravar dados em um local autogerenciado. Em seguida, você ativa seus agentes no bucket do S3 Conta da AWS e Região da AWS onde ele está localizado.

Depois que o agente é ativado, crie um local de origem para o armazenamento on-premises, um local de destino para o bucket do S3 e uma tarefa. Uma tarefa é um conjunto de dois locais (origem e destino) e um conjunto de opções padrão que você usa para controlar o comportamento da tarefa.

Finalmente, você executa sua DataSync tarefa de transferir dados da origem para o destino.

Para obter mais informações, consulte Conceitos básicos do AWS DataSync.