Sposta i file mainframe direttamente su Amazon S3 utilizzando Transfer Family - Prontuario AWS
RiepilogoPrerequisiti e limitazioniArchitetturaStrumentiEpicheRisorse correlate

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Sposta i file mainframe direttamente su Amazon S3 utilizzando Transfer Family

Creato da Luis Gustavo Dantas (AWS)

Ambiente: produzione

Fonte: Mainframe

Obiettivo: Amazon S3

Tipo R: N/A

Carico di lavoro: IBM

Tecnologie: mainframe; storage e backup; modernizzazione

Servizi AWS: AWS Transfer Family; Amazon S3

Riepilogo

Come parte del percorso di modernizzazione, puoi affrontare la sfida del trasferimento di file tra i tuoi server locali e il cloud Amazon Web Services (AWS). Il trasferimento di dati dai mainframe può essere una sfida importante perché i mainframe in genere non possono accedere a data store moderni come Amazon Simple Storage Service (Amazon S3), Amazon Elastic Block Store (Amazon EBS) o Amazon Elastic File System (Amazon EFS).

Molti clienti utilizzano risorse di staging intermedie, come server Linux, Unix o Windows locali, per trasferire file nel cloud AWS. Puoi evitare questo metodo indiretto utilizzando AWS Transfer Family con il Secure Shell (SSH) File Transfer Protocol (SFTP) per caricare i file mainframe direttamente su Amazon S3.

Prerequisiti e limitazioni

Prerequisiti

  • Un account AWS attivo

  • Un cloud privato virtuale (VPC) con una sottorete raggiungibile dalla tua piattaforma legacy

  • Un endpoint Transfer Family per il tuo VPC

  • File VSAM (Mainframe Virtual Storage Access Method) convertiti in file sequenziali a lunghezza fissa (documentazione IBM)

Limitazioni

  • Per impostazione predefinita, SFTP trasferisce i file in modalità binaria, il che significa che i file vengono caricati su Amazon S3 con la codifica EBCDIC preservata. Se il tuo file non contiene dati binari o compressi, puoi utilizzare il sottocomando sftp ascii (documentazione IBM) per convertire i file in testo durante il trasferimento.

  • È necessario decomprimere i file mainframe (AWS Prescriptive Guidance) che contengono contenuti compressi e binari per utilizzare questi file nell'ambiente di destinazione.

  • Le dimensioni degli oggetti Amazon S3 possono variare da un minimo di 0 byte a un massimo di 5 TB. Per ulteriori informazioni sulle funzionalità di Amazon S3, consulta le domande frequenti su Amazon S3.

Architettura

Stack tecnologico di origine

  • Linguaggio Job control (JCL)

  • Shell Unix z/OS e ISPF

  • SFTP

  • VSAM e file flat

Stack tecnologico Target

  • Transfer Family

  • Amazon S3

  • Amazon Virtual Private Cloud (Amazon VPC) (Amazon VPC)

Architettura di destinazione

Il diagramma seguente mostra un'architettura di riferimento per l'utilizzo di Transfer Family con SFTP per caricare i file mainframe direttamente in un bucket S3.

Utilizzo di Transfer Family con SFTP per caricare i file mainframe direttamente su un bucket S3

Il diagramma mostra il flusso di lavoro seguente:

  1. Utilizzi un job JCL per trasferire i file del mainframe dal mainframe legacy al cloud AWS tramite Direct Connect.

  2. Direct Connect consente al traffico di rete di rimanere sulla rete globale AWS e di bypassare la rete Internet pubblica. Direct Connect migliora anche la velocità di rete, a partire da 50 Mbps e scalabile fino a 100 Gbps.

  3. L'endpoint VPC consente le connessioni tra le risorse VPC e i servizi supportati senza utilizzare la rete Internet pubblica. L'accesso a Transfer Family e Amazon S3 raggiunge un'elevata disponibilità grazie alle interfacce di rete elastiche situate in due sottoreti private e zone di disponibilità.

  4. Transfer Family autentica gli utenti e utilizza SFTP per ricevere i file dall'ambiente legacy e spostarli in un bucket S3.

Automazione e scalabilità

Una volta attivato il servizio Transfer Family, puoi trasferire un numero illimitato di file dal mainframe ad Amazon S3 utilizzando un job JCL come client SFTP. Puoi anche automatizzare il trasferimento dei file utilizzando un programma di pianificazione dei processi in batch del mainframe per eseguire i processi SFTP quando sei pronto a trasferire i file mainframe.

Strumenti

  • Amazon Simple Storage Service (Amazon S3) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati.

  • Amazon Virtual Private Cloud (Amazon VPC) ti aiuta a lanciare le risorse AWS in una rete virtuale che hai definito. Questa rete virtuale è simile a una rete tradizionale che gestiresti nel tuo data center, con i vantaggi dell'utilizzo dell'infrastruttura scalabile di AWS.

  • AWS Transfer Family ti consente di scalare in modo sicuro i trasferimenti ricorrenti di business-to-business file verso Amazon S3 e Amazon EFS utilizzando i protocolli SFTP, FTPS e FTP.

Epiche

AttivitàDescrizioneCompetenze richieste

Crea il bucket S3.

Crea un bucket S3 per ospitare i file che trasferisci dal tuo ambiente legacy.

Informazioni generali su AWS

Crea il ruolo e la policy di IAM.

Transfer Family utilizza il tuo ruolo AWS Identity and Access Management (IAM) per concedere l'accesso al bucket S3 che hai creato in precedenza.

Crea un ruolo IAM che includa la seguente policy IAM:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "UserFolderListing",
            "Action": [
                "s3:ListBucket",
                "s3:GetBucketLocation"
            ],
            "Effect": "Allow",
            "Resource": [
                "arn:aws:s3:::<your-bucket-name>"
            ]
        },
        {
            "Sid": "HomeDirObjectAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObjectAcl",
                "s3:GetObject",
                "s3:DeleteObjectVersion",
                "s3:DeleteObject",
                "s3:PutObjectAcl",
                "s3:GetObjectVersion"
            ],
            "Resource": "arn:aws:s3:::<your-bucket-name>/*"
        }
    ]
}

Nota: devi scegliere lo use case Transfer quando crei il ruolo IAM.

Informazioni generali su AWS
AttivitàDescrizioneCompetenze richieste

Crea il server SFTP.

  1. Accedi alla console di gestione AWS, apri la console Transfer Family, quindi scegli Create server.

  2. Scegli solo SFTP (SSH File Transfer Protocol) - trasferimento di file tramite protocollo Secure Shell, quindi scegli Avanti.

  3. Per Identity provider, scegli Servizio gestito, quindi scegli Avanti.

  4. Per il tipo di endpoint, scegli VPC ospitato.

  5. Per Access, scegli Interno.

  6. In VPC, seleziona il VPC.

  7. Nella sezione Zone di disponibilità, scegli le zone di disponibilità e le sottoreti.

  8. Nella sezione Gruppi di sicurezza, scegli il tuo gruppo di sicurezza, quindi scegli Avanti.

  9. Per Dominio, scegli Amazon S3, quindi scegli Avanti.

  10. Lascia le opzioni predefinite nella pagina Configura dettagli aggiuntivi, quindi scegli Avanti.

  11. Scegliere Create Server (Crea server).

Nota: per ulteriori informazioni su come configurare un server SFTP, consulta Creare un server compatibile con SFTP (AWS Transfer Family User Guide).

Informazioni generali su AWS

Ottieni l'indirizzo del server.

  1. Apri la console Transfer Family e scegli l'ID del tuo server nella colonna Server ID.

  2. Nella sezione Dettagli dell'endpoint, per Tipo di endpoint, scegli l'ID dell'endpoint. Questo ti porta alla console Amazon VPC.

  3. Nella scheda Dettagli della console Amazon VPC, trova i nomi DNS accanto ai nomi DNS.

Informazioni generali su AWS

Crea la coppia di key pair del client SFTP.

Crea una coppia di chiavi SSH per Microsoft Windows o macOS/Linux/UNIX.

AWS generale, SSH

Crea l'utente SFTP.

  1. Apri la console Transfer Family, scegli Server dal pannello di navigazione, quindi seleziona il tuo server.

  2. Nella colonna Server ID, scegli l'ID server per il tuo server, quindi scegli Aggiungi utente.

  3. Per Username, inserisci un nome utente che corrisponda al nome utente della tua coppia di key pair SSH.

  4. Per Ruolo, scegli il ruolo IAM che hai creato in precedenza.

  5. Per Home directory, scegli il bucket S3 che hai creato in precedenza.

  6. Per le chiavi pubbliche SSH, inserisci la coppia di chiavi che hai creato in precedenza.

  7. Scegli Aggiungi.

Informazioni generali su AWS
AttivitàDescrizioneCompetenze richieste

Invia la chiave privata SSH al mainframe.

Usa SFTP o SCP per inviare la chiave privata SSH all'ambiente legacy.

Esempio SFTP:

sftp [USERNAME@mainframeIP]
[password]
cd [/u/USERNAME]
put [your-key-pair-file]

Esempio di SCP:

scp [your-key-pair-file] [USERNAME@MainframeIP]:/[u/USERNAME]

Quindi, memorizza la chiave SSH nel file system z/OS Unix con il nome utente che successivamente eseguirà il processo batch di trasferimento dei file (ad esempio,). /u/CONTROLM 

Nota: per ulteriori informazioni sulla shell z/OS Unix, vedere Un'introduzione alle shell z/OS (documentazione IBM).

Mainframe, shell Unix z/OS, FTP, SCP

Crea il client SFTP JCL.

Poiché i mainframe non dispongono di un client SFTP nativo, è necessario utilizzare l'utilità BPXBATCH per eseguire il client SFTP dalla shell Unix z/OS.

Nell'editor ISPF, create il client SFTP JCL. Per esempio:

//JOBNAM JOB ...
//**********************************************************************
//SFTP EXEC PGM=BPXBATCH,REGION=0M 
//STDPARM DD * 
SH cp "//'MAINFRAME.FILE.NAME'" filename.txt; 
echo 'put filename.txt' > uplcmd; 
sftp -b uplcmd -i ssh_private_key_file ssh_username@<transfer service ip or DNS>; 
//SYSPRINT DD SYSOUT=* 
//STDOUT DD SYSOUT=* 
//STDENV DD * 
//STDERR DD SYSOUT=*

Nota: per ulteriori informazioni su come eseguire un comando nella shell Unix z/OS, consultate L'utilità BPXBATCH (documentazione IBM). Per ulteriori informazioni su come creare o modificare i job JCL in z/OS, consulta What is ISPF? e L'editor ISPF (documentazione IBM).

JCL, mainframe, shell Unix z/OS

Esegui il client SFTP JCL.

  1. Nell'editor ISPF, immettete SUB, quindi premete il tasto ENTER dopo la creazione del lavoro JCL.

  2. Monitora l'attività del processo batch di trasferimento dei file del mainframe in SDSF.

Nota: per ulteriori informazioni su come controllare l'attività dei processi in batch, consultate la Guida per l'utente di z/OS SDSF (documentazione IBM).

Mainframe, JCL, ISPF

Convalida il trasferimento dei file.

  1. Accedi alla console di gestione AWS, apri la console Amazon S3, quindi scegli Bucket dal pannello di navigazione.

  2. Scegli il bucket associato al tuo Transfer Family.

  3. Nella sezione Oggetti della scheda Oggetti, trova il file che hai trasferito dal mainframe.

Informazioni generali su AWS

Automatizza il client SFTP JCL.

Usa Job Scheduler per attivare automaticamente il client SFTP JCL.

Nota: è possibile utilizzare strumenti di pianificazione dei processi mainframe, come BMC Control-M o CA Workload Automation, per automatizzare i processi in batch per i trasferimenti di file in base all'ora e ad altre dipendenze dei processi batch.

Job scheduler

Risorse correlate