Esegui la migrazione e la replica VSAM dei file su Amazon o RDS Amazon utilizzando MSK Connect from Precisly

Creato da Prachi Khanna () e Boopathy () AWS GOPALSAMY AWS

Ambiente: PoC o pilota	Fonte: VSAM	Destinazione: database
Tipo R: Re-architect	Carico di lavoro: IBM	Tecnologie: mainframe; modernizzazione
AWSservizi: AmazonMSK; AmazonRDS; Modernizzazione del AWS mainframe

Riepilogo

Questo modello mostra come migrare e replicare i file Virtual Storage Access Method (VSAM) da un mainframe a un ambiente di destinazione nel AWS Cloud utilizzando Connect from Precisely. Gli ambienti di destinazione coperti da questo modello includono Amazon Relational Database Service (Amazon) e RDS Amazon Managed Streaming for Apache MSK Kafka (Amazon). Connect utilizza change data capture (CDC) per monitorare continuamente gli aggiornamenti VSAM dei file di origine e quindi trasferirli in uno o più ambienti di AWS destinazione. Puoi utilizzare questo modello per raggiungere gli obiettivi di modernizzazione delle applicazioni o di analisi dei dati. Ad esempio, puoi utilizzare Connect per migrare i file delle VSAM applicazioni sul AWS Cloud con bassa latenza o migrare i VSAM dati verso un data warehouse o un AWS data lake per analisi in grado di tollerare latenze di sincronizzazione superiori a quelle richieste per la modernizzazione delle applicazioni.

Prerequisiti e limitazioni

Prerequisiti

• IBMz/OS V2R1 o versione successiva

• CICSTransaction Server for z/OS (CICSTS) V5.1 o versione successiva (/data capture) CICS VSAM

• IBMMQ 8.0 o versione successiva

• Conformità ai requisiti di sicurezza di z/OS (ad esempio, APF autorizzazione per SQData le librerie di caricamento)

• VSAMregistri di ripristino attivati

• (Opzionale) Versione CICS VSAM di ripristino (CICSVR) per l'acquisizione CDC automatica dei registri

• Un account attivo AWS

• Un Amazon Virtual Private Cloud (VPC) con una sottorete raggiungibile dalla tua piattaforma legacy

• Una licenza VSAM Connect di Precisly

Limitazioni

• Connect non supporta la creazione automatica di tabelle di destinazione basate su VSAM schemi di origine o quaderni. È necessario definire la struttura della tabella di destinazione per la prima volta.

• Per destinazioni non in streaming come AmazonRDS, è necessario specificare la mappatura tra origine di conversione e destinazione nello script di configurazione di Apply Engine.

• Le funzioni di registrazione, monitoraggio e avviso sono implementate APIs e richiedono componenti esterni (come Amazon CloudWatch) per essere completamente operativi.

Versioni del prodotto

• SQData40134 per z/OS

• SQData4.0.43 per Amazon Linux Amazon Machine Image (AMI) su Amazon Elastic Compute Cloud (Amazon) EC2

Architettura

Stack tecnologico di origine

• Linguaggio Job Control (JCL)

• Shell z/OS Unix e Interactive System Productivity Facility () ISPF

• VSAMutilità () IDCAMS

Stack tecnologico Target

• Amazon EC2

• Amazon MSK

• Amazon RDS

• Amazon VPC

Architettura Target

Migrazione di VSAM file su Amazon RDS

Il diagramma seguente mostra come migrare VSAM i file verso un database relazionale, come AmazonRDS, in tempo reale o quasi reale utilizzando l'CDCagente/editore nell'ambiente di origine (mainframe locale) e l'Apply Engine nell'ambiente di destinazione (Cloud). AWS

Il diagramma mostra il seguente flusso di lavoro in batch:

1. Connect acquisisce le modifiche a un file confrontando VSAM i file dai file di backup per identificare le modifiche e quindi invia le modifiche al logstream.

2. L'editore utilizza i dati dal logstream di sistema.

3. L'editore comunica le modifiche ai dati acquisiti a un motore di destinazione tramite /IP. TCP Il controller daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.

4. Il motore di applicazione nell'ambiente di destinazione riceve le modifiche dall'agente Publisher e le applica a un database relazionale o non relazionale.

Il diagramma mostra il seguente flusso di lavoro online:

1. Connect acquisisce le modifiche nel file online utilizzando una replica di registro e quindi trasmette le modifiche acquisite in un flusso di registro.

2. L'editore utilizza i dati dal logstream di sistema.

3. L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite /IP. TCP Il controller daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.

4. Il motore di applicazione nell'ambiente di destinazione riceve le modifiche dall'agente Publisher e quindi le applica a un database relazionale o non relazionale.

Migrazione di VSAM file su Amazon MSK

Il diagramma seguente mostra come trasmettere strutture di VSAM dati da un mainframe ad Amazon MSK in modalità ad alte prestazioni e generare automaticamente JSON o conversioni di AVRO schema che si integrano con Amazon. MSK

Il diagramma mostra il seguente flusso di lavoro in batch:

1. Connect acquisisce le modifiche a un file utilizzando la CICS realtà virtuale o confrontando VSAM i file dai file di backup per identificare le modifiche. Le modifiche acquisite vengono inviate al logstream.

2. L'editore utilizza i dati dal logstream di sistema.

3. L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite /IP. TCP Il controller daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.

4. Il Replicator Engine che opera in modalità di elaborazione parallela divide i dati in un'unità di cache di lavoro.

5. I thread di lavoro acquisiscono i dati dalla cache.

6. I dati vengono pubblicati MSK sugli argomenti di Amazon dai thread di lavoro.

7. Gli utenti applicano le modifiche da Amazon MSK a destinazioni come Amazon DynamoDB, Amazon Simple Storage Service (Amazon S3) OpenSearch o Amazon Service utilizzando i connettori.

Il diagramma mostra il seguente flusso di lavoro online:

1. Le modifiche nel file online vengono acquisite utilizzando una replica del registro. Le modifiche acquisite vengono trasmesse al logstream.

2. L'editore utilizza i dati dal logstream di sistema.

3. L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite /IP. TCP Il controller daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.

4. Il Replicator Engine che opera in modalità di elaborazione parallela divide i dati in un'unità di cache di lavoro.

5. I thread di lavoro acquisiscono i dati dalla cache.

6. I dati vengono pubblicati MSK sugli argomenti di Amazon dai thread di lavoro.

7. Gli utenti applicano le modifiche da Amazon MSK a destinazioni come DynamoDB, Amazon S3 o Service utilizzando i connettori. OpenSearch

Strumenti

• Amazon Managed Streaming for Apache Kafka (MSKAmazon) è un servizio completamente gestito che ti aiuta a creare ed eseguire applicazioni che utilizzano Apache Kafka per elaborare dati di streaming.

• Amazon Relational Database Service (RDSAmazon) ti aiuta a configurare, gestire e scalare un database relazionale nel AWS cloud.

Epiche

Preparare l'ambiente di origine (mainframe)

Attività	Descrizione	Competenze richieste
Installare Connect CDC 4.1.	Contatta il team di Precisly Support per ottenere una licenza e i pacchetti di installazione. Usa l'esempio JCLs per installare Connect CDC 4.1. Per istruzioni, consultate Install Connect CDC (SQData) utilizzando JCL nella documentazione di Precisly. Esegui il SETPROG APF comando per autorizzare le librerie di caricamento Connect SQDATA .v4nnn. LOADLIB.	IBMSviluppatore/amministratore del mainframe
Configura la directory ZfS.	Per configurare una directory ZfS, seguite le istruzioni contenute nelle directory delle variabili ZFs nella documentazione di Precisly. Nota: le configurazioni degli agenti Controller Daemon e Capture/Publisher sono memorizzate nel file system z/OS Systems Services (denominato UNIX zFs). Gli agenti Controller Daemon, Capture, Storage e Publisher richiedono una struttura di directory ZfS predefinita per archiviare un numero limitato di file.	IBMSviluppatore/amministratore del mainframe
Configurare le porte /IP. TCP	Per configurare le porte TCP /IP, segui le istruzioni fornite dalle porte TCP/IP nella documentazione di Precision. Nota: il controller daemon richiede porte TCP /IP sui sistemi di origine. Alle porte fanno riferimento i motori dei sistemi di destinazione (dove vengono elaborati i dati di modifica acquisiti).	IBMSviluppatore/amministratore del mainframe
Crea un logstream z/OS.	Per creare un logstream z/OS, segui le istruzioni di Create z/OS system nella documentazione di Precisly. logStreams Nota: Connect utilizza il logstream per acquisire e trasmettere dati tra l'ambiente di origine e l'ambiente di destinazione durante la migrazione. Per un esempio di creazione JCL di un sistema logStreams z/OS LogStream, consulta Create z/OS nella documentazione di Precisely.	IBMSviluppatore di mainframe
Identifica e autorizza gli utenti ZfS e IDs le attività avviate.	Utilizzare RACF per concedere l'accesso al OMVS file system ZfS. Per un esempioJCL, vedete Identificare e autorizzare l'utente e l'attività avviata da ZFs IDs nella documentazione di Precisely.	IBMSviluppatore/amministratore del mainframe
Genera le chiavi pubbliche/private di z/OS e il file di chiave autorizzato.	Esegui JCL per generare la key pair. Per un esempio, vedi Esempio di coppia di chiavi nella sezione Informazioni aggiuntive di questo modello. Per istruzioni, consulta Generare chiavi pubbliche e private z/OS e file di chiavi autorizzate nella documentazione di Precisely.	IBMSviluppatore/amministratore del mainframe
Attiva CICS VSAM Log Replicate e collegalo al logstream.	Eseguite lo script seguente: JCL //STEP1 EXEC PGM=IDCAMS //SYSPRINT DD SYSOUT=* //SYSIN DD * ALTER SQDATA.CICS.FILEA - LOGSTREAMID(SQDATA.VSAMCDC.LOG1) - LOGREPLICATE	IBMSviluppatore/amministratore del mainframe
Attiva il VSAM file Recovery Log tramite un. FCT	Modificate la File Control Table (FCT) in modo che rifletta le seguenti modifiche ai parametri: Configure FCT Parms CEDA ALT FILE(name) GROUP(groupname) DSNAME(data set name) RECOVERY(NONE|BACKOUTONLY|ALL) FWDRECOVLOG(NO|1–99) BACKUPTYPE(STATIC|DYNAMIC) RECOVERY PARAMETERS RECOVery : None | Backoutonly | All Fwdrecovlog : No | 1-99 BAckuptype : Static | Dynamic	IBMSviluppatore/amministratore del mainframe
Configurato per l'agente CDCzLog Publisher.	Crea il CAB file CDCzLog Publisher. Crittografa i dati pubblicati. Preparare CDCzLog Publisher RuntimeJCL.	IBMSviluppatore/amministratore del mainframe
Attiva il controller daemon.	Apri il ISPF pannello ed esegui il seguente comando per aprire il menu Precisamente: EXEC 'SQDATA.V4nnnnn.ISPFLIB(SQDC$STA)' 'SQDATA.V4nnnnn' Per configurare il Controller Daemon, scegliete l'opzione 2 dal menu.	IBMSviluppatore/amministratore del mainframe
Attiva l'editore.	Apri il ISPF pannello ed esegui il seguente comando per aprire il menu Precisamente: EXEC 'SQDATA.V4nnnnn.ISPFLIB(SQDC$STA)' 'SQDATA.V4nnnnn' Per configurare l'editore, scegliete l'opzione 3 dal menu e io per l'inserimento.	IBMSviluppatore/amministratore del mainframe
Attiva il logstream.	Apri il ISPF pannello ed esegui il seguente comando per aprire il menu Precisamente: EXEC 'SQDATA.V4nnnnn.ISPFLIB(SQDC$STA)' 'SQDATA.V4nnnnn' Per configurare il logstream, scegliete l'opzione 4 dal menu e io per inserire. Quindi, inserisci il nome del logstream creato nei passaggi precedenti.	IBMSviluppatore/amministratore del mainframe

Preparare l'ambiente di destinazione () AWS

Attività	Descrizione	Competenze richieste
Installa Precisly su un'EC2istanza.	Per installare Connect from Precisely su Amazon Linux AMI per AmazonEC2, segui le istruzioni di Install Connect CDC (SQData) UNIX nella documentazione di Precisely.	Generale AWS
Porte TCP /IP aperte.	Per modificare il gruppo di sicurezza in modo da includere le porte Controller Daemon per l'accesso in entrata e in uscita, segui le istruzioni di TCP/IP nella documentazione di Precision.	Generale AWS
Crea directory di file.	Per creare directory di file, segui le istruzioni di Prepare target apply environment nella documentazione di Precisly.	Generale AWS
Create il file di configurazione di Apply Engine.	Create il file di configurazione di Apply Engine nella directory di lavoro di Apply Engine. Il seguente file di configurazione di esempio mostra Apache Kafka come destinazione: builtin.features=SASL_SCRAM security.protocol=SASL_SSL sasl.mechanism=SCRAM-SHA-512 sasl.username= sasl.password= metadata.broker.list= Nota: per ulteriori informazioni, consulta Sicurezza nella documentazione di Apache Kafka.	Generale AWS
Crea script per l'elaborazione di Apply Engine.	Create gli script per Apply Engine per elaborare i dati di origine e replicare i dati di origine sulla destinazione. Per ulteriori informazioni, vedete Creare uno script del motore di applicazione nella documentazione di Precisely.	Generale AWS
Esegui gli script.	Utilizzate i SQDENG comandi SQDPARSE and per eseguire lo script. Per ulteriori informazioni, consulta Analizzare uno script per zOS nella documentazione di Precisly.	Generale AWS

Convalida l'ambiente

Attività	Descrizione	Competenze richieste
Convalida l'elenco dei VSAM file e delle tabelle di destinazione per l'CDCelaborazione.	Convalida VSAM i file, inclusi i log di replica, i log di ripristino, i FCT parametri e il logstream. Convalida le tabelle del database di destinazione, specificando se le tabelle vengono create in base alla definizione dello schema richiesta, all'accesso alla tabella e ad altri criteri.	GeneraleAWS, Mainframe
Verifica che il CDC SQData prodotto Connect sia collegato.	Esegui un processo di test e verifica che il codice restituito da questo lavoro sia 0 (operazione riuscita). Nota: i messaggi di stato di Connect CDC SQData Apply Engine dovrebbero mostrare messaggi di connessione attivi.	GeneraleAWS, Mainframe

Esecuzione e convalida dei casi di test (Batch)

Attività	Descrizione	Competenze richieste
Esegui il processo batch nel mainframe.	Esegui il processo di applicazione batch utilizzando un file modificatoJCL. Includi nella modifica i passaggi JCL che eseguono le seguenti operazioni: Effettua un backup dei file di dati. Confronta il file di backup con i file di dati modificati, genera il file delta, quindi annota il conteggio dei record delta dei messaggi. Invia il file delta al logstream di z/OS. Esegui il. JCL Per un esempioJCL, consulta Prepare file compare capture JCL nella documentazione di Precisly.	GeneraleAWS, Mainframe
Controllate il logstream.	Controllate il logstream per confermare che è possibile visualizzare i dati di modifica per il processo batch mainframe completato.	GeneraleAWS, Mainframe
Convalida i conteggi per le modifiche delta di origine e la tabella di destinazione.	Per confermare il conteggio dei record, procedi come segue: Raccogli il conteggio delta di origine dai JCL messaggi batch. Monitora il motore di applicazione per il conteggio a livello di record del numero di record inseriti, aggiornati o eliminati nel VSAM file. Eseguite una ricerca sulla tabella di destinazione per il conteggio dei record. Confronta e calcola tutti i diversi conteggi dei record.	GeneraleAWS, Mainframe

Esegui e convalida i casi di test (online)

Attività	Descrizione	Competenze richieste
Esegui la transazione online in una CICS regione.	Esegui la transazione online per convalidare il test case. Convalida il codice di esecuzione della transazione (RC=0 — Success).	IBMSviluppatore di mainframe
Controllate il logstream.	Verifica che il logstream sia popolato con modifiche specifiche al livello di record.	AWSSviluppatore mainframe
Convalida il conteggio nel database di destinazione.	Monitora Apply Engine per conteggi a livello record.	Precisamente, Linux
Convalida il conteggio dei record e i record di dati nel database di destinazione.	Interroga il database di destinazione per convalidare il numero di record e i record di dati.	Generale AWS

Risorse correlate

• VSAMz/OS (documentazione precisa)

• Applica il motore (documentazione precisa)

• Motore Replicator (documentazione precisa)

• Il flusso di log (IBMdocumentazione)

Informazioni aggiuntive

Esempio di file di configurazione

Questo è un esempio di file di configurazione per un logstream in cui l'ambiente di origine è un mainframe e l'ambiente di destinazione è Amazon: MSK

 
  -- JOBNAME -- PASS THE SUBSCRIBER NAME
  -- REPORT  progress report will be produced after "n" (number) of Source records processed.
  
  JOBNAME VSMTOKFK;
  --REPORT EVERY 100;
  -- Change Op has been ‘I’ for insert, ‘D’ for delete , and ‘R’ for Replace. For RDS it is 'U' for update
  -- Character Encoding on z/OS is Code Page 1047, on Linux and UNIX it is Code Page 819 and on Windows, Code Page 1252
  OPTIONS
  CDCOP('I', 'U', 'D'),
  PSEUDO NULL = NO,
  USE AVRO COMPATIBLE NAMES,
  APPLICATION ENCODING SCHEME = 1208;
  
  --       SOURCE DESCRIPTIONS
  
  BEGIN GROUP VSAM_SRC;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       TARGET DESCRIPTIONS
  
  BEGIN GROUP VSAM_TGT;
  DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
  END GROUP;
  
  --       SOURCE DATASTORE (IP & Publisher name)
  
  DATASTORE cdc://10.81.148.4:2626/vsmcdct/VSMTOKFK
  OF VSAMCDC
  AS CDCIN
  DESCRIBED BY GROUP VSAM_SRC ACCEPT ALL;
  
  --       TARGET DATASTORE(s) - Kafka and topic name
  
  DATASTORE 'kafka:///MSKTutorialTopic/key'
  OF JSON
  AS CDCOUT
  DESCRIBED BY GROUP VSAM_TGT FOR INSERT;
  
  --       MAIN SECTION
  
  PROCESS INTO
  CDCOUT
  SELECT
  {
  SETURL(CDCOUT, 'kafka:///MSKTutorialTopic/key')
  REMAP(CDCIN, account_file, GET_RAW_RECORD(CDCIN, AFTER), GET_RAW_RECORD(CDCIN, BEFORE))
  REPLICATE(CDCOUT, account_file)
  }
  FROM CDCIN;

Esempio di coppia di chiavi

Questo è un esempio di come eseguire il comando JCL per generare la key pair:

//SQDUTIL EXEC PGM=SQDUTIL //SQDPUBL DD DSN=&USER..NACL.PUBLIC, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPKEY DD DSN=&USER..NACL.PRIVATE, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPARMS DD  keygen //SYSPRINT DD SYSOUT= //SYSOUT DD SYSOUT=* //SQDLOG DD SYSOUT=* //*SQDLOG8 DD DUMMY