Mover los archivos de mainframe directamente a Amazon S3 mediante Transfer Family - Recomendaciones de AWS
ResumenRequisitos previos y limitacionesArquitecturaHerramientasEpicsRecursos relacionados

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Mover los archivos de mainframe directamente a Amazon S3 mediante Transfer Family

Creado por Luis Gustavo Dantas (AWS)

Entorno: Producción

Origen: Mainframe

Destino: Amazon S3

Tipo R: N/D

Carga de trabajo: IBM

Tecnologías: Mainframe; almacenamiento y copia de seguridad; modernización

Servicios de AWS: AWS Transfer Family; Amazon S3

Resumen

Como parte del proceso de modernización, puede afrontar el desafío de transferir archivos entre sus servidores en las instalaciones y la nube de Amazon Web Services (AWS). La transferencia de datos desde mainframes puede suponer un desafío importante, ya que los mainframes normalmente no pueden acceder a los almacenes de datos modernos como Amazon Simple Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS) o Amazon Elastic File System (Amazon EFS).

Muchos clientes utilizan recursos de almacenamiento provisional intermedios, como servidores Linux, Unix o Windows en las instalaciones, para transferir archivos a la nube de AWS. Puede evitar este método indirecto si utiliza AWS Transfer Family con el protocolo de File Transfer (SFTP) de Secure Shell (SSH) para cargar archivos de mainframe directamente a Amazon S3.

Requisitos previos y limitaciones

Requisitos previos 

  • Una cuenta de AWS activa

  • Una nube privada virtual (VPC) con una subred a la que pueda acceder la plataforma antigua

  • Un punto de conexión de Transfer Family para su VPC

  • Archivos del método de acceso al almacenamiento virtual (VSAM) de mainframe convertidos en archivos de longitud fija secuenciales (documentación de IBM)

Limitaciones

  • SFTP transfiere los archivos en modo binario de forma predeterminada, lo que significa que los archivos se cargan en Amazon S3 conservando la codificación EBCDIC. Si el archivo no contiene datos binarios o empaquetados, puede utilizar el sftp ascii subcommand (documentación de IBM) para convertir los archivos en texto durante la transferencia.

  • Debe desempaquetar los archivos de mainframe (Recomendaciones de AWS) que contengan contenido empaquetado y binario para poder utilizar estos archivos en el entorno de destino.

  • El tamaño de los objetos de Amazon S3 puede oscilar entre un mínimo de 0 bytes y un máximo de 5 TB. Para obtener más información acerca de las capacidades de Amazon S3, consulte Preguntas frecuentes de Amazon S3.

Arquitectura

Pila de tecnología de origen

  • Lenguaje de control de tareas (JCL)

  • Intérprete de comandos e ISPF para z/OS Unix

  • SFTP

  • VSAM y archivos planos

Pila de tecnología de destino

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC)

Arquitectura de destino

El diagrama siguiente muestra una arquitectura de referencia para usar Transfer Family con SFTP para cargar archivos de mainframe directamente a un bucket de S3.

Uso de Transfer Family con SFTP para cargar archivos de mainframe directamente a un bucket de S3

En el diagrama, se muestra el siguiente flujo de trabajo:

  1. Se utiliza un trabajo de JCL para transferir los archivos de mainframe del mainframe heredado a la nube de AWS a través de Direct Connect.

  2. Direct Connect permite que el tráfico de la red permanezca en la red global de AWS y evite la Internet pública. Direct Connect también mejora la velocidad de la red, empezando en 50 Mbps y escalando verticalmente hasta 100 Gbps.

  3. El punto de conexión de VPC permite las conexiones entre los recursos de la VPC y los servicios compatibles sin utilizar la Internet pública. El acceso a Transfer Family y Amazon S3 logra una alta disponibilidad al realizarse a través de las interfaces de red elásticas ubicadas en dos subredes privadas y zonas de disponibilidad.

  4. Transfer Family autentica a los usuarios y usa SFTP para recibir los archivos del entorno heredado y moverlos a un bucket de S3.

Automatizar y escalar

Una vez implementado el servicio Transfer Family, puede transferir un número ilimitado de archivos desde el mainframe a Amazon S3 utilizando un trabajo de JCL como cliente SFTP. También puede automatizar la transferencia de archivos mediante el uso de un programador de trabajos por lotes del mainframe para ejecutar los trabajos de SFTP cuando esté todo a punto para transferir los archivos del mainframe.

Herramientas

  • Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos basado en la nube que le ayuda a almacenar, proteger y recuperar cualquier cantidad de datos.

  • Amazon Virtual Private Cloud (Amazon VPC) le permite lanzar recursos de AWS en una red virtual que haya definido. Esta red virtual es similar a la red tradicional que utiliza en su propio centro de datos, con los beneficios de usar la infraestructura escalable de AWS.

  • AWS Transfer Family le permite escalar de forma segura sus transferencias de business-to-business archivos recurrentes a Amazon S3 y Amazon EFS mediante los protocolos SFTP, FTPS y FTP.

Epics

TareaDescripciónHabilidades requeridas

Cree el bucket de S3.

Cree un bucket de S3 para alojar los archivos que transfiera desde su entorno anterior.

AWS general

Cree una política y un rol de IAM.

Transfer Family utiliza el rol de AWS Identity and Access Management (IAM) para conceder acceso al bucket de S3 que se creó con anterioridad.

Cree un rol de IAM que incluya la siguiente política de IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

Nota: Debe elegir el caso de uso de Transfer al crear el rol de IAM.

AWS general
TareaDescripciónHabilidades requeridas

Cree el servidor SFTP.

  1. Inicie sesión en la consola de administración de AWS, abra la consola Transfer Family y, a continuación, seleccione Create server (Crear servidor).

  2. Seleccione únicamente SFTP (SSH File Transfer Protocol) - file transfer over Secure Shell protocol (SFTP [Protocolo de transferencia de archivos SSH]: transferencia de archivos a través del protocolo Secure Shell) y, a continuación, elija Next (Siguiente).

  3. En Identity provider (Proveedor de identidad), seleccione Service managed  (Administrado por el servicio) y, a continuación, Next (Siguiente).

  4. En Endpoint Type (Tipo de punto de conexión), seleccione VPC hosted (Alojado en VPC).

  5. En Access (Acceso), seleccione Internal.

  6. En VPC, elija su VPC.

  7. En la sección Availability Zones (Zonas de disponibilidad), seleccione sus zonas de disponibilidad y subredes.

  8. En la sección Security Groups (Grupos de seguridad), seleccione su grupo de seguridad y, a continuación, Next (Siguiente).

  9. En Domain (Dominio, seleccione Amazon S3 y, a continuación, Next (Siguiente).

  10. Deje las opciones predeterminadas en la página Configure additional details (Configurar detalles adicionales) y, a continuación, seleccione Next (Siguiente).

  11. Seleccione Create server (Crear servidor).

Nota: Para obtener más información sobre cómo configurar un servidor SFTP, consulte Create an SFTP-enabled server (Crear un servidor compatible con SFTP) (Guía del usuario de AWS Transfer Family).

AWS general

Obtenga la dirección del servidor.

  1. Abra la consola de Transfer Family y seleccione el ID de servidor en la columna Server ID.

  2. En la sección Endpoint details (Detalles del punto de conexión), en Endpoint type (Tipo de punto de conexión), seleccione el ID del punto de conexión. Esto dirige a la consola de Amazon VPC.

  3. En la pestaña Details (Detalles) de la consola de Amazon VPC, busque los nombres DNS junto a DNS names.

AWS general

Cree el par de claves del cliente SFTP.

Cree un par de claves SSH para Microsoft Windows o macOS/Linux/UNIX.

AWS general, SSH

Cree el servidor SFTP.

  1. Abra la consola de Transfer Family, seleccione Servers en el panel de navegación y, a continuación, seleccione su servidor.

  2. En la columna Server ID, seleccione el ID de servidor para su servidor y, a continuación, Add user (Agregar usuario).

  3. En Username (Nombre de usuario), escriba un nombre de usuario que coincida con el nombre de usuario del par de claves SSH.

  4. En Role, seleccione el rol de IAM que creó anteriormente.

  5. En Home directory (Directorio principal), seleccione el bucket de S3 que creó anteriormente.

  6. En SSH public keys (Claves SSH públicas), escriba el par de claves que creó anteriormente.

  7. Elija Añadir.

AWS general
TareaDescripciónHabilidades requeridas

Envíe la clave privada SSH a la computadora central.

Utilice SFTP o SCP para enviar la clave privada SSH al entorno heredado.

Ejemplo de SFTP:

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

Ejemplos de SCP:

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

A continuación, guarde la clave SSH en el sistema de archivos z/OS Unix con el nombre de usuario que ejecutará posteriormente el trabajo de transferencia de archivos por lotes (por ejemplo, /u/CONTROLM). 

Nota: Para obtener más información sobre el intérprete de comandos de z/OS Unix, consulte An introduction to the z/OS shells (Introducción a los intérpretes de comandos de z/OS) (documentación de IBM).

Mainframe, intérprete de comandos de z/OS Unix, FTP, SCP

Cree el cliente SFTP de JCL.

Como los mainframes no tienen un cliente SFTP nativo, debe usar la utilidad BPXBATCH para ejecutar el cliente SFTP desde el intérprete de comandos de z/OS Unix.

En el editor ISPF, cree el cliente SFTP JCL. Por ejemplo:

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*

Nota: Para obtener más información sobre cómo ejecutar un comando en el intérprete de comandos de z/OS Unix, consulte la utilidad BPXBATCH (documentación de IBM). Para obtener más información sobre cómo crear o editar trabajos de JCL en z/OS, consulte What is ISPF? (¿Qué es el ISPF?) y The ISPF editor (El editor ISPF) (documentación de IBM).

JCL, Mainframe, intérprete de comandos de z/OS Unix

Ejecute el cliente SFTP de JCL.

  1. En el editor ISPF, escriba SUB y, a continuación, pulse la tecla INTRO, una vez creada la tarea JCL.

  2. Supervise la actividad de los trabajos por lotes de transferencia de archivos del mainframe en SDSF.

Nota: Para obtener más información sobre cómo comprobar la actividad de los trabajos por lotes, consulte la Guía del usuario de z/OS SDSF (documentación de IBM).

Mainframe, JCL, ISPF

Valide la transferencia de archivos.

  1. Inicie sesión en la consola de administración de AWS, abra la consola de Amazon S3 y, a continuación, seleccione Buckets en el panel de navegación.

  2. Seleccione el bucket que está asociado a su Transfer Family.

  3. En la sección Objects de la pestaña Objects, busque el archivo que ha transferido desde el mainframe.

AWS general

Automatice el cliente SFTP de JCL.

Utilice el programador de tareas para activar automáticamente el cliente SFTP de JCL.

Nota: Puede utilizar planificadores de trabajos de mainframe, como BMC Control-M o CA Workload Automation, para automatizar los trabajos por lotes para la transferencia de archivos en función del tiempo y otras dependencias de los trabajos por lotes.

Programador de trabajos

Recursos relacionados