Migre pequenos conjuntos de dados do local para o Amazon S3 usando AWS SFTP - Recomendações da AWS

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Migre pequenos conjuntos de dados do local para o Amazon S3 usando AWS SFTP

Criado por Charles Gibson (AWS) e Sergiy Shevchenko () AWS

Tipo R: redefinir a hospedagem

Origem: armazenamento

Destino: Amazon S3

Criado por: AWS

Ambiente: produção

Tecnologias: armazenamento e backup; migração

AWSserviços: Amazon S3

Resumo

Esse padrão descreve como migrar pequenos conjuntos de dados (5 TB ou menos) de datacenters locais para o Amazon Simple Storage Service (Amazon S3) usando AWS Transfer for (). SFTP AWS SFTP Os dados podem ser despejos de banco de dados ou arquivos simples.

Pré-requisitos e limitações

Pré-requisitos

  • Uma AWS conta ativa

  • Um link AWS Direct Connect estabelecido entre seu data center e AWS

Limitações

  • Os arquivos de dados devem ter menos de 5 TB. Para arquivos acima de 5 TB, você pode realizar um upload de várias partes para o Amazon S3 ou escolher outro método de transferência de dados. 

Arquitetura

Pilha de tecnologia de origem

  • Arquivos simples on-premises ou despejos de banco de dados

Pilha de tecnologias de destino

  • Amazon S3

Arquitetura de origem e destino

Ferramentas

  • AWSSFTP— Permite a transferência de arquivos diretamente para dentro e para fora do Amazon S3 usando o Secure File Transfer Protocol ()SFTP.

  • AWSDirect Connect — Estabelece uma conexão de rede dedicada entre seus data centers locais e o. AWS

  • VPCendpoints — permitem que você conecte de forma privada VPC a AWS serviços suportados e serviços de VPC endpoint fornecidos AWS PrivateLink sem um gateway de internet, dispositivo de tradução de endereço de rede (NAT), VPN conexão ou conexão AWS Direct Connect. As instâncias em a VPC não exigem endereços IP públicos para se comunicar com os recursos no serviço.

Épicos

TarefaDescriçãoHabilidades necessárias
Documente os SFTP requisitos atuais.Proprietário do aplicativo e SA
Identifique os requisitos de autenticação.

Os requisitos podem incluir autenticação baseada em chave, nome de usuário ou senha ou provedor de identidades (IdP).

Proprietário do aplicativo e SA
Identifique os requisitos de integração do aplicativo.Proprietário do aplicativo
Identifique os usuários que precisam do serviço.Proprietário do aplicativo
Determine o DNS nome do endpoint SFTP do servidor.Redes
Determine a estratégia de backup.SA, DBA (se os dados forem transferidos)
Identifique a migração do aplicativo ou a estratégia de substituição.Proprietário do aplicativo, SA, DBA
TarefaDescriçãoHabilidades necessárias
Crie uma ou mais nuvens privadas virtuais (VPCs) e sub-redes em sua AWS conta.Proprietário do aplicativo, AMS
Crie os grupos de segurança e a lista de controle de acesso à rede (ACL).Segurança, rede, AMS
Crie o bucket do S3.Proprietário do aplicativo, AMS
Crie a função de gerenciamento de identidade e acesso (IAM).

Crie uma IAM política que inclua as permissões para permitir o acesso AWS SFTP ao seu bucket do S3. Essa IAM política determina o nível de acesso que você fornece SFTP aos usuários. Crie outra IAM política com a qual estabelecer uma relação de confiança AWSSFTP.

Segurança, AMS
Associe um domínio registrado (opcional).

Se você tiver seu próprio domínio registrado, poderá associá-lo ao SFTP servidor. Você pode rotear o SFTP tráfego para o endpoint SFTP do seu servidor a partir de um domínio ou de um subdomínio.

Trabalho em rede, AMS
Crie um SFTP servidor.

Especifique o tipo de provedor de identidade usado pelo serviço para autenticar seus usuários.

Proprietário do aplicativo, AMS
Abra um SFTP cliente.

Abra um SFTP cliente e configure a conexão para usar o host do SFTP endpoint. AWSSFTPsuporta qualquer SFTP cliente padrão. SFTPOs clientes comumente usados incluem OpenSSH, WinSCP, Cyberduck e. FileZilla Você pode obter o nome SFTP do host do servidor no AWS SFTP console.

Proprietário do aplicativo, AMS
TarefaDescriçãoHabilidades necessárias
Planeje a migração do aplicativo.

Planeje todas as alterações necessárias na configuração do aplicativo, defina a data da migração e determine o cronograma de testes.

Proprietário do aplicativo, AMS
Teste a infraestrutura.

Teste em um ambiente que não seja de produção.

Proprietário do aplicativo, AMS

Referências

Tutoriais e vídeos