Migre pequeños conjuntos de datos del entorno local a Amazon S3 mediante AWS SFTP - Recomendaciones de AWS

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Migre pequeños conjuntos de datos del entorno local a Amazon S3 mediante AWS SFTP

Creado por Charles Gibson (AWS) y Sergiy Shevchenko () AWS

Tipo R: volver a alojar

Origen: almacenamiento

Destino: Amazon S3

Creada por: AWS

Entorno: producción

Tecnologías: almacenamiento y copia de seguridad; migración

AWSservicios: Amazon S3

Resumen

Este patrón describe cómo migrar pequeños conjuntos de datos (5 TB o menos) de centros de datos locales a Amazon Simple Storage Service (Amazon S3) AWS mediante Transfer SFTP for (). AWS SFTP Los datos pueden ser volcados de bases de datos o archivos planos.

Requisitos previos y limitaciones

Requisitos previos

  • Una cuenta activa AWS

  • Un enlace de AWS Direct Connect establecido entre su centro de datos y AWS

Limitaciones

  • Los archivos de datos deben tener menos de 5 TB. Para archivos de más de 5 TB, puede realizar una carga multiparte a Amazon S3 o elegir otro método de transferencia de datos. 

Arquitectura

Pila de tecnología de origen

  • Archivos planos en las instalaciones o volcados de bases de datos locales

Pila de tecnología de destino

  • Amazon S3

Arquitectura de origen y destino

AWS architecture diagram showing data flow from on-premises to Nube de AWS via Direct Connect and VPN.

Herramientas

  • AWSSFTP— Permite la transferencia de archivos directamente desde y hacia Amazon S3 mediante el protocolo de transferencia segura de archivos (SFTP).

  • AWSDirect Connect: establece una conexión de red dedicada desde sus centros de datos locales aAWS.

  • VPCpuntos finales: le permiten conectarse de forma privada a los AWS servicios compatibles y VPC a los servicios de VPC punto final alimentados por una AWS PrivateLink puerta de enlace a Internet, un dispositivo de traducción de direcciones de red (NAT), una VPN conexión o una conexión AWS Direct Connect. Las instancias de a VPC no requieren direcciones IP públicas para comunicarse con los recursos del servicio.

Epics

TareaDescripciónHabilidades requeridas
Documente los SFTP requisitos actuales.Propietario de la aplicación, SA
Identifique los requisitos de autenticación.

Los requisitos pueden incluir la autenticación basada en claves, el nombre de usuario o la contraseña o el proveedor de identidades (IdP).

Propietario de la aplicación, SA
Identifique los requisitos de integración de la aplicación.Propietario de la aplicación
Identifique a los usuarios que requieren el servicio.Propietario de la aplicación
Determine el DNS nombre del punto final SFTP del servidor.Red
Determinar la estrategia de copia de seguridad.SA, DBA (si se transfieren datos)
Identifique la estrategia de migración o transición de la aplicación.Propietario de la aplicación, SA, DBA
TareaDescripciónHabilidades requeridas
Cree una o más nubes privadas virtuales (VPCs) y subredes en su AWS cuenta.Propietario de la aplicación, AMS
Cree los grupos de seguridad y la lista de control de acceso a la red (ACL).Seguridad, redes, AMS
Cree el bucket de S3.Propietario de la aplicación, AMS
Cree el rol de administración de identidad y acceso (IAM).

Cree una IAM política que incluya los permisos que le permitirán acceder AWS SFTP a su bucket de S3. Esta IAM política determina el nivel de acceso que proporciona a SFTP los usuarios. Cree otra IAM política con la que establecer una relación de confianza AWSSFTP.

Seguridad, AMS
Asocia un dominio registrado (opcional).

Si tiene su propio dominio registrado, puede asociarlo al SFTP servidor. Puede dirigir SFTP el tráfico al punto final de su SFTP servidor desde un dominio o desde un subdominio.

Redes, AMS
Cree un SFTP servidor.

Especifique el tipo del proveedor de identidad que el servicio debe usar para autenticar a los usuarios.

Propietario de la aplicación, AMS
Abra un SFTP cliente.

Abra un SFTP cliente y configure la conexión para usar el host del SFTP punto final. AWSSFTPes compatible con cualquier SFTP cliente estándar. Los SFTP clientes más utilizados incluyen OpenSSH, WinSCP, Cyberduck y FileZilla. Puede obtener el nombre de host SFTP del servidor desde la AWS SFTP consola.

Propietario de la aplicación, AMS
TareaDescripciónHabilidades requeridas
Planifique la migración de la aplicación.

Planifique los cambios necesarios en la configuración de la aplicación, establezca la fecha de migración y determine el programa de pruebas.

Propietario de la aplicación, AMS
Pruebe la infraestructura.

Realice pruebas en un entorno que no sea de producción.

Propietario de la aplicación, AMS

Referencias

Tutoriales y videos