Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Esegui la migrazione e la replica di file VSAM su Amazon RDS o Amazon MSK utilizzando Connect from Precisly
Creato da Prachi Khanna (AWS) e Boopathy GOPALSAMY (AWS)
Riepilogo
Questo modello mostra come migrare e replicare i file VSAM (Virtual Storage Access Method) da un mainframe a un ambiente di destinazione nel cloud AWS utilizzando Connect from Precisly.
Prerequisiti e limitazioni
Prerequisiti
CICS Transaction Server for z/OS (CICS TS) V5.1 o successivo (acquisizione dati CICS/VSAM
) IBM MQ 8.0
o versione successiva Conformità ai requisiti di sicurezza z/OS
(ad esempio, autorizzazione APF per le librerie di caricamento) SQData I log di ripristino VSAM sono attivati
(Opzionale) CICS VSAM Recovery Version (CICS VR) per acquisire automaticamente i registri CDC
Un account AWS attivo
Un Amazon Virtual Private Cloud (VPC) con una sottorete raggiungibile dalla tua piattaforma legacy
Una licenza VSAM Connect di Precisly
Limitazioni
Connect non supporta la creazione automatica di tabelle di destinazione basate su schemi o quaderni VSAM di origine. È necessario definire la struttura della tabella di destinazione per la prima volta.
Per destinazioni non in streaming come Amazon RDS, è necessario specificare la mappatura tra origine di conversione e destinazione nello script di configurazione di Apply Engine.
Le funzioni di registrazione, monitoraggio e avviso sono implementate APIs e richiedono componenti esterni (come Amazon CloudWatch) per essere completamente operativi.
Versioni del prodotto
SQData 40134 per z/OS
SQData 4.0.43 per Amazon Linux Amazon Machine Image (AMI) su Amazon Elastic Compute Cloud (Amazon) EC2
Architettura
Stack tecnologico di origine
Job Control Language (JCL)
Shell Unix z/OS e Interactive System Productivity Facility (ISPF)
Utilità VSAM (IDCAMS)
Stack tecnologico Target
Amazon EC2
MSK Amazon
Amazon RDS
Amazon VPC
Architettura Target
Migrazione di file VSAM su Amazon RDS
Il diagramma mostra il seguente flusso di lavoro in batch:
Connect acquisisce le modifiche a un file confrontando i file VSAM dai file di backup per identificare le modifiche e quindi invia le modifiche al logstream.
L'editore utilizza i dati dal logstream di sistema.
L'editore comunica le modifiche ai dati acquisiti a un motore di destinazione tramite TCP/IP. Il Controller Daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.
Il motore di applicazione nell'ambiente di destinazione riceve le modifiche dall'agente Publisher e le applica a un database relazionale o non relazionale.
Il diagramma mostra il seguente flusso di lavoro online:
Connect acquisisce le modifiche nel file online utilizzando una replica del registro e quindi trasmette le modifiche acquisite in un flusso di registro.
L'editore utilizza i dati dal logstream di sistema.
L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite TCP/IP. Il Controller Daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.
Il motore di applicazione nell'ambiente di destinazione riceve le modifiche dall'agente Publisher e quindi le applica a un database relazionale o non relazionale.
Migrazione di file VSAM su Amazon MSK
Il diagramma seguente mostra come eseguire lo streaming di strutture di dati VSAM da un mainframe ad Amazon MSK in modalità ad alte prestazioni e generare automaticamente conversioni di schemi JSON o AVRO che si integrano con Amazon MSK.
Il diagramma mostra il seguente flusso di lavoro in batch:
Connect acquisisce le modifiche a un file utilizzando CICS VR o confrontando i file VSAM dai file di backup per identificare le modifiche. Le modifiche acquisite vengono inviate al logstream.
L'editore utilizza i dati dal logstream di sistema.
L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite TCP/IP. Il Controller Daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.
Il Replicator Engine che opera in modalità di elaborazione parallela divide i dati in un'unità di cache di lavoro.
I thread di lavoro acquisiscono i dati dalla cache.
I dati vengono pubblicati sugli argomenti di Amazon MSK dai thread di lavoro.
Il diagramma mostra il seguente flusso di lavoro online:
Le modifiche nel file online vengono acquisite utilizzando una replica del registro. Le modifiche acquisite vengono trasmesse al logstream.
L'editore utilizza i dati dal logstream di sistema.
L'editore comunica le modifiche ai dati acquisiti al motore di destinazione tramite TCP/IP. Il Controller Daemon autentica la comunicazione tra l'ambiente di origine e quello di destinazione.
Il Replicator Engine che opera in modalità di elaborazione parallela divide i dati in un'unità di cache di lavoro.
I thread di lavoro acquisiscono i dati dalla cache.
I dati vengono pubblicati sugli argomenti di Amazon MSK dai thread di lavoro.
Strumenti
Amazon Managed Streaming for Apache Kafka (Amazon MSK) è un servizio completamente gestito che ti aiuta a creare ed eseguire applicazioni che utilizzano Apache Kafka per elaborare dati di streaming.
Amazon Relational Database Service (Amazon RDS) ti aiuta a configurare, gestire e scalare un database relazionale nel cloud AWS.
Epiche
| Attività | Descrizione | Competenze richieste |
|---|---|---|
Installare Connect CDC 4.1. |
| Sviluppatore/amministratore IBM Mainframe |
Configura la directory ZfS. | Per configurare una directory ZfS, seguite le istruzioni contenute nelle directory delle variabili ZFs nella documentazione di Precisly NotaController Daemon e file system Capture/Publisher agent configurations are stored in the z/OS UNIX Systems Services (denominato ZfS). Gli agenti Controller Daemon, Capture, Storage e Publisher richiedono una struttura di directory ZfS predefinita per archiviare un numero limitato di file. | Sviluppatore/amministratore IBM Mainframe |
Configura le porte TCP/IP. | Per configurare le porte TCP/IP, segui le istruzioni fornite dalle porte TCP/IP NotaIl Controller Daemon richiede porte TCP/IP sui sistemi di origine. Alle porte fanno riferimento i motori dei sistemi di destinazione (dove vengono elaborati i dati di modifica acquisiti). | Sviluppatore/amministratore IBM Mainframe |
Crea un logstream z/OS. | Per creare un logstream z/OS, segui le istruzioni fornite da Create z/OS system LogStreams NotaConnect utilizza il logstream per acquisire e trasmettere dati tra l'ambiente di origine e l'ambiente di destinazione durante la migrazione. Per un esempio di JCL che crea un sistema z/OS LogStream, consulta Create z/OS system | Sviluppatore IBM Mainframe |
Identifica e autorizza gli utenti ZfS e IDs le attività avviate. | Utilizzate RACF per concedere l'accesso al file system OMVS ZfS. Per un esempio JCL, vedete Identificare e autorizzare l'utente e l'attività avviata da ZfS | Sviluppatore/amministratore IBM Mainframe |
Genera le chiavi pubbliche/private di z/OS e il file di chiave autorizzato. | Esegui JCL per generare la key pair. Per un esempio, vedi Esempio di coppia di chiavi nella sezione Informazioni aggiuntive di questo modello. Per istruzioni, consulta Generare chiavi pubbliche e private z/OS e file di chiavi autorizzate | Sviluppatore/amministratore di IBM Mainframe |
Attiva CICS VSAM Log Replicate e collegalo al logstream. | Esegui il seguente script JCL: | Sviluppatore/amministratore IBM Mainframe |
Attiva il registro di ripristino dei file VSAM tramite un FCT. | Modificate la File Control Table (FCT) in modo che rifletta le seguenti modifiche ai parametri: | Sviluppatore/amministratore IBM Mainframe |
Configura CDCz Log per l'agente Publisher. |
| Sviluppatore/amministratore IBM Mainframe |
Attiva il Controller Daemon. |
| Sviluppatore/amministratore IBM Mainframe |
Attiva l'editore. |
| Sviluppatore/amministratore IBM Mainframe |
Attiva il logstream. |
| Sviluppatore/amministratore IBM Mainframe |
| Attività | Descrizione | Competenze richieste |
|---|---|---|
Installa Precisly su un' EC2 istanza. | Per installare Connect from Precisly sull'AMI Amazon Linux per Amazon EC2, segui le istruzioni di Install Connect CDC (SQData) su UNIX | Informazioni generali su AWS |
Porte TCP/IP aperte. | Informazioni generali su AWS | |
Crea directory di file. | Per creare directory di file, segui le istruzioni di Prepare target apply environment | Informazioni generali su AWS |
Crea il file di configurazione di Apply Engine. | Create il file di configurazione di Apply Engine nella directory di lavoro di Apply Engine. Il seguente file di configurazione di esempio mostra Apache Kafka come destinazione: NotaPer ulteriori informazioni, consulta Sicurezza | Informazioni generali su AWS |
Crea script per l'elaborazione di Apply Engine. | Create gli script per Apply Engine per elaborare i dati di origine e replicare i dati di origine sulla destinazione. Per ulteriori informazioni, vedete Creare uno script del motore di applicazione nella documentazione | Informazioni generali su AWS |
Esegui gli script. | Utilizzate i | Informazioni generali su AWS |
| Attività | Descrizione | Competenze richieste |
|---|---|---|
Convalida l'elenco dei file VSAM e delle tabelle di destinazione per l'elaborazione CDC. |
| Informazioni generali su AWS, mainframe |
Verificare che il SQData prodotto Connect CDC sia collegato. | Esegui un processo di test e verifica che il codice restituito da questo lavoro sia 0 (operazione riuscita). NotaI messaggi di stato di Connect CDC SQData Apply Engine dovrebbero mostrare messaggi di connessione attivi. | Informazioni generali su AWS, mainframe |
| Attività | Descrizione | Competenze richieste |
|---|---|---|
Esegui il processo batch nel mainframe. | Esegui il processo di applicazione batch utilizzando un JCL modificato. Includi i passaggi nel JCL modificato che eseguono le seguenti operazioni:
| Informazioni generali su AWS, mainframe |
Controlla il logstream. | Controllate il logstream per confermare che è possibile visualizzare i dati di modifica per il processo batch mainframe completato. | Informazioni generali su AWS, mainframe |
Convalida i conteggi per le modifiche delta di origine e la tabella di destinazione. | Per confermare il conteggio dei record, procedi come segue:
| Informazioni generali su AWS, mainframe |
| Attività | Descrizione | Competenze richieste |
|---|---|---|
Esegui la transazione online in una regione CICS. |
| Sviluppatore IBM Mainframe |
Controlla il logstream. | Verifica che il logstream sia popolato con modifiche specifiche al livello di record. | Sviluppatore di mainframe AWS |
Convalida il conteggio nel database di destinazione. | Monitora Apply Engine per conteggi a livello record. | Precisamente, Linux |
Convalida il conteggio dei record e i record di dati nel database di destinazione. | Interroga il database di destinazione per convalidare il numero di record e i record di dati. | Informazioni generali su AWS |
Risorse correlate
Applica il motore (documentazione
precisa) Motore Replicator
(documentazione precisa) Il flusso di log
(documentazione IBM)
Informazioni aggiuntive
Esempio di file di configurazione
Questo è un esempio di file di configurazione per un logstream in cui l'ambiente di origine è un mainframe e l'ambiente di destinazione è Amazon MSK:
-- JOBNAME -- PASS THE SUBSCRIBER NAME
-- REPORT progress report will be produced after "n" (number) of Source records processed.
JOBNAME VSMTOKFK;
--REPORT EVERY 100;
-- Change Op has been ‘I’ for insert, ‘D’ for delete , and ‘R’ for Replace. For RDS it is 'U' for update
-- Character Encoding on z/OS is Code Page 1047, on Linux and UNIX it is Code Page 819 and on Windows, Code Page 1252
OPTIONS
CDCOP('I', 'U', 'D'),
PSEUDO NULL = NO,
USE AVRO COMPATIBLE NAMES,
APPLICATION ENCODING SCHEME = 1208;
-- SOURCE DESCRIPTIONS
BEGIN GROUP VSAM_SRC;
DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
END GROUP;
-- TARGET DESCRIPTIONS
BEGIN GROUP VSAM_TGT;
DESCRIPTION COBOL ../copybk/ACCOUNT AS account_file;
END GROUP;
-- SOURCE DATASTORE (IP & Publisher name)
DATASTORE cdc://10.81.148.4:2626/vsmcdct/VSMTOKFK
OF VSAMCDC
AS CDCIN
DESCRIBED BY GROUP VSAM_SRC ACCEPT ALL;
-- TARGET DATASTORE(s) - Kafka and topic name
DATASTORE 'kafka:///MSKTutorialTopic/key'
OF JSON
AS CDCOUT
DESCRIBED BY GROUP VSAM_TGT FOR INSERT;
-- MAIN SECTION
PROCESS INTO
CDCOUT
SELECT
{
SETURL(CDCOUT, 'kafka:///MSKTutorialTopic/key')
REMAP(CDCIN, account_file, GET_RAW_RECORD(CDCIN, AFTER), GET_RAW_RECORD(CDCIN, BEFORE))
REPLICATE(CDCOUT, account_file)
}
FROM CDCIN;Esempio di coppia di chiavi
Questo è un esempio di come eseguire JCL per generare la key pair:
//SQDUTIL EXEC PGM=SQDUTIL //SQDPUBL DD DSN=&USER..NACL.PUBLIC, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPKEY DD DSN=&USER..NACL.PRIVATE, // DCB=(RECFM=FB,LRECL=80,BLKSIZE=21200), // DISP=(,CATLG,DELETE),UNIT=SYSDA, // SPACE=(TRK,(1,1)) //SQDPARMS DD keygen //SYSPRINT DD SYSOUT= //SYSOUT DD SYSOUT=* //SQDLOG DD SYSOUT=* //*SQDLOG8 DD DUMMY