Genera approfondimenti sui dati utilizzando AWS Mainframe Modernization e Amazon Q in QuickSight

Creato da Shubham Roy (AWS), Roshna Razack () e Santosh Kumar Singh () AWS AWS

Ambiente: PoC o pilota	Tecnologie: mainframe; analisi; migrazione; modernizzazione; apprendimento automatico e intelligenza artificiale	Carico di lavoro: IBM
AWSservizi: AWS Lambda; AWS Modernizzazione del mainframe; Amazon; Amazon QuickSight S3

Riepilogo

Se la tua organizzazione ospita dati aziendali critici in un ambiente mainframe, ottenere informazioni approfondite da tali dati è fondamentale per promuovere la crescita e l'innovazione. Sbloccando i dati del mainframe, puoi creare business intelligence più veloce, sicura e scalabile per accelerare il processo decisionale, la crescita e l'innovazione basati sui dati nel cloud Amazon Web Services ().AWS

Questo modello presenta una soluzione per generare informazioni aziendali e creare narrazioni condivisibili dai dati mainframe utilizzando Modernizzazione del mainframe AWS File Transfer with e BMC Amazon Q in. QuickSight I set di dati mainframe vengono trasferiti su Amazon Simple Storage Service (Amazon S3) AWS utilizzando Mainframe Modernization File Transfer con. BMC Una AWS Lambda funzione formatta e prepara il file di dati del mainframe per il caricamento in Amazon. QuickSight

Dopo che i dati sono disponibili in Amazon QuickSight, puoi utilizzare istruzioni in linguaggio naturale con Amazon Q in QuickSight per creare riepiloghi dei dati, porre domande e generare storie di dati. Non devi scrivere SQL domande o imparare a usare uno strumento di business intelligence (BI).

Contesto aziendale

Questo modello presenta una soluzione per i casi d'uso di analisi dei dati mainframe e analisi dei dati. Utilizzando il modello, crei una dashboard visiva per i dati della tua azienda. Per dimostrare la soluzione, questo modello utilizza un'azienda sanitaria che fornisce piani medici, dentistici e oculistici ai suoi membri negli Stati Uniti. In questo esempio, i dati demografici dei membri e le informazioni sul piano vengono archiviati nei set di dati del mainframe. La dashboard visiva mostra quanto segue:

• Distribuzione dei membri per regione

• Distribuzione dei membri per genere

• Distribuzione dei membri per età

• Distribuzione dei membri per tipo di piano

• Membri che non hanno completato l'immunizzazione preventiva

Dopo aver creato la dashboard, si genera una storia basata sui dati che spiega le informazioni ricavate dall'analisi precedente. La storia dei dati fornisce raccomandazioni per aumentare il numero di membri che hanno completato le vaccinazioni preventive.

Prerequisiti e limitazioni

Prerequisiti

• Un attivo Account AWS

• Set di dati mainframe con dati aziendali

• Accesso per installare un agente di trasferimento file sul mainframe

Limitazioni

• Il file di dati del mainframe deve essere in uno dei formati di file supportati da Amazon QuickSight. Per un elenco dei formati di file supportati, consulta la QuickSight documentazione di Amazon.

  Questo modello utilizza una funzione Lambda per convertire il file mainframe in un formato supportato da Amazon. QuickSight

Architettura

Il diagramma seguente mostra un'architettura per generare informazioni aziendali dai dati mainframe utilizzando Modernizzazione del mainframe AWS File Transfer with e BMC Amazon Q in. QuickSight

Il diagramma mostra il flusso di lavoro seguente:

1. Un set di dati mainframe contenente dati aziendali viene trasferito su Amazon S3 Modernizzazione del mainframe AWS utilizzando File Transfer with. BMC

2. La funzione Lambda converte il file contenuto nel bucket S3 di destinazione del trasferimento file in formato valori separati da virgole (). CSV

3. La funzione Lambda invia il file convertito al bucket S3 del set di dati di origine.

4. I dati contenuti nel file vengono acquisiti da Amazon. QuickSight

5. Gli utenti accedono ai dati in Amazon QuickSight. Puoi utilizzare Amazon Q in QuickSight per interagire con i dati utilizzando istruzioni in linguaggio naturale.

Strumenti

AWSservizi

• AWS Lambda è un servizio di calcolo che consente di eseguire il codice senza gestire i server o effettuarne il provisioning. Esegue il codice solo quando necessario e si ridimensiona automaticamente, quindi paghi solo per il tempo di elaborazione che utilizzi.

• Modernizzazione del mainframe AWS File Transfer with BMC converte e trasferisce set di dati mainframe su Amazon S3 per casi d'uso di modernizzazione, migrazione e potenziamento del mainframe.

• Amazon QuickSight è un servizio di BI su scala cloud che ti aiuta a visualizzare, analizzare e riportare i tuoi dati in un'unica dashboard. Questo modello utilizza le funzionalità di BI generativa di Amazon Q in QuickSight.

• Amazon Simple Storage Service (Amazon S3) è un servizio di archiviazione degli oggetti basato sul cloud che consente di archiviare, proteggere e recuperare qualsiasi quantità di dati.

Best practice

• Quando create i ruoli AWS Identity and Access Management (IAM) per Modernizzazione del mainframe AWS File Transfer con BMC e la funzione Lambda, seguite il principio del privilegio minimo.

• Assicurati che il set di dati di origine contenga tipi di dati supportati per Amazon QuickSight. Se il set di dati di origine contiene tipi di dati non supportati, convertili in tipi di dati supportati. Per informazioni sui tipi di dati mainframe non supportati e su come convertirli in tipi di dati supportati da Amazon Q in QuickSight, consulta la sezione Risorse correlate.

Epiche

Configura Modernizzazione del mainframe AWS File Transfer con BMC

Attività	Descrizione	Competenze richieste
Installa l'agente di trasferimento file.	Per installare Modernizzazione del mainframe AWS File Transfer Agent sul mainframe, segui le istruzioni nella AWS documentazione.	Amministratore di sistema mainframe
Crea un bucket S3 per il trasferimento di file su mainframe.	Crea un bucket S3 con cui archiviare il file di output da File Transfer. Modernizzazione del mainframe AWS BMC Nel diagramma di architettura, questo è il bucket di destinazione per il trasferimento dei file.	Ingegnere della migrazione
Crea l'endpoint per il trasferimento dei dati.	Crea un bucket S3 con cui archiviare il file mainframe di input per Modernizzazione del mainframe AWS File Transfer. BMC Per creare l'endpoint di trasferimento dati del mainframe, segui le istruzioni nella documentazione.AWS	AWSSpecialista nella modernizzazione dei mainframe

Convertire l'estensione del nome del file mainframe per l'integrazione con Amazon QuickSight

Attività	Descrizione	Competenze richieste
Crea un bucket S3.	Crea un bucket S3 per la funzione Lambda per copiare il file mainframe convertito dal bucket di origine a quello di destinazione finale.	Ingegnere della migrazione
Creazione di una funzione Lambda.	Per creare una funzione Lambda che modifichi l'estensione del file e copi il file mainframe nel bucket di destinazione, procedi come segue: Accedi a e AWS Management Console accedi alla console. AWS Lambda Scegli Crea funzione, quindi scegli Autore da zero. Per Nome funzione, inserisci un nome per la tua funzione. Nell'elenco a discesa Runtime, scegli Python.3.X. Espandi Modifica ruolo di esecuzione predefinito, quindi scegli Crea un nuovo ruolo con autorizzazioni Lambda di base. Scegli Crea funzione. Scegli la scheda Codice, quindi incolla il codice S3CopyLambda.py Python fornito nella sezione Informazioni aggiuntive. Il codice Python è stato generato utilizzando Amazon Q Developer nell'ambiente di sviluppo integrato Microsoft Visual Studio ()IDE. Modifica destination_bucket_name il nome del bucket S3 creato in precedenza e change destination_file_key il nome del file mainframe. Distribuire la funzione Lambda.	Ingegnere della migrazione
Crea un trigger Amazon S3 per richiamare la funzione Lambda.	Per configurare un trigger che richiama la funzione Lambda, procedi come segue: Sulla console Lambda, apri la pagina Funzioni. Scegli la funzione Lambda. Nella panoramica delle funzioni, scegli Aggiungi trigger. Nell'elenco a discesa di configurazione Trigger, scegli S3. Nel campo Bucket, inserisci il nome del tuo bucket di origine. Nell'elenco a discesa Tipo di evento, scegli Tutti gli oggetti, crea eventi. Seleziona la casella di controllo Riconosco che l'utilizzo dello stesso bucket S3 sia per l'input che per l'output non è consigliato, quindi scegli Aggiungi. Per maggiori informazioni consulta Tutorial: uso di un trigger Amazon S3 per richiamare una funzione Lambda.	Responsabile della migrazione
Fornisci IAM le autorizzazioni per la funzione Lambda.	IAMsono necessarie le autorizzazioni per la funzione Lambda per accedere ai bucket S3 del set di dati di origine e di destinazione del trasferimento di file. Aggiorna la policy associata al ruolo di esecuzione della funzione Lambda autorizzando s3:GetObject e s3:DeleteObject autorizzando il bucket S3 di destinazione per il trasferimento di file e l's3:PutObjectaccesso per il bucket S3 del set di dati di origine. Per ulteriori informazioni, consulta la sezione Creare una politica di autorizzazioni in Tutorial: Usare un trigger di Amazon S3 per richiamare una funzione Lambda.	Responsabile della migrazione

Definisci un'attività di trasferimento dati su mainframe

Attività	Descrizione	Competenze richieste
Crea un'attività di trasferimento per copiare il file mainframe nel bucket S3.	Per creare un'operazione di trasferimento di file su mainframe, segui le istruzioni nella documentazione.Modernizzazione del mainframe AWS Nota: specificate la codifica della tabella codici sorgente come IBM1047 e la codifica della tabella codici di destinazione come -8. UTF	Ingegnere della migrazione
Verifica l'attività di trasferimento.	Per verificare che il trasferimento dei dati abbia esito positivo, segui le istruzioni contenute nella Modernizzazione del mainframe AWS documentazione. Verificate che il file mainframe si trovi nel bucket S3 di destinazione per il trasferimento dei file.	Responsabile della migrazione
Verifica la funzione di copia Lambda.	Verificate che la funzione Lambda sia avviata e che il file venga copiato con un'estensione.csv nel bucket S3 del set di dati di origine. Il file.csv creato dalla funzione Lambda è il file di dati di input per Amazon. QuickSight Per esempio di dati, consulta il Sample-data-member-healthcare-APG file nella sezione Allegati.	Responsabile della migrazione

Connect Amazon QuickSight ai dati del mainframe

Attività	Descrizione	Competenze richieste
Configura Amazon QuickSight.	Per configurare Amazon QuickSight, segui le istruzioni nella AWS documentazione.	Responsabile della migrazione
Crea un set di dati per Amazon QuickSight.	Per creare un set di dati per Amazon QuickSight, segui le istruzioni nella AWS documentazione. Il file di dati di input è il file mainframe convertito che è stato creato quando hai definito l'attività di trasferimento dei dati del mainframe.	Responsabile della migrazione

Ottieni informazioni aziendali dai dati del mainframe utilizzando Amazon Q in QuickSight

Attività	Descrizione	Competenze richieste
Configura Amazon Q in QuickSight.	Questa funzionalità richiede Enterprise Edition. Per configurare Amazon Q in QuickSight, procedi come segue: Per ottenere il componente aggiuntivo Amazon Q, segui le istruzioni Passaggio 1: Scarica il componente aggiuntivo Q nella AWS documentazione. Per utilizzare le funzionalità di BI generativa di Amazon Q, aggiorna gli account dei tuoi utenti. Segui le istruzioni contenute nella documentazione.AWS Crea un argomento Amazon Q utilizzando il set di dati creato in precedenza. Segui le istruzioni contenute nella AWS documentazione. Per configurare i metadati degli argomenti in modo che siano compatibili con il linguaggio naturale, segui le istruzioni nella documentazione.AWS	Responsabile della migrazione
Analizza i dati del mainframe e crea una dashboard visiva.	Per analizzare e visualizzare i tuoi dati in Amazon QuickSight, procedi come segue: Per creare l'analisi dei dati del mainframe, segui le istruzioni nella AWS documentazione. Per il set di dati, scegli il set di dati creato nel passaggio precedente. Nella pagina di analisi scegli Build visual. Nella finestra Crea argomento per l'analisi, scegli Aggiorna argomento esistente. Nell'elenco a discesa Seleziona un argomento, scegli l'argomento che hai creato in precedenza. Scegli Collegamento all'argomento. Dopo aver collegato l'argomento, scegli Build visual per aprire la finestra Amazon Q Build a Visual. Nella barra delle istruzioni, scrivi le tue domande di analisi. Le domande di esempio utilizzate per questo modello sono le seguenti: Mostra la distribuzione dei membri per regione Mostra la distribuzione dei membri per età Mostra la distribuzione dei membri per genere Mostra la distribuzione dei membri per tipo di piano Mostra l'immunizzazione preventiva del membro che non ha completato Dopo aver inserito le domande, scegli Costruisci. Amazon Q in QuickSight crea le immagini. Per aggiungere gli elementi visivi alla tua dashboard visiva, scegli TOADD. ANALYSIS Al termine, puoi pubblicare la dashboard per condividerla con altri membri dell'organizzazione. Ad esempio, consulta la dashboard visiva di Mainframe nella sezione Informazioni aggiuntive.	Ingegnere della migrazione

Crea una storia di dati con Amazon Q QuickSight partendo dai dati del mainframe

Attività	Descrizione	Competenze richieste
Crea una storia basata sui dati.	Crea una storia basata sui dati per spiegare gli approfondimenti tratti dall'analisi precedente e genera una raccomandazione per aumentare l'immunizzazione preventiva per i membri: Per creare la storia dei dati, segui le istruzioni nella AWS documentazione. Per il prompt della storia dei dati, usa quanto segue: Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. Puoi anche creare un prompt personalizzato per generare storie basate sui dati per altri approfondimenti aziendali. Scegli Aggiungi elementi visivi e aggiungi gli elementi visivi pertinenti alla storia dei dati. Per questo modello, usa le immagini che hai creato in precedenza. Seleziona Build (Crea). Ad esempio, l'output di una storia di dati, vedi Data story output nella sezione Informazioni aggiuntive.	Ingegnere della migrazione
Visualizza la storia dei dati generati.	Per visualizzare la storia dei dati generata, segui le istruzioni nella AWS documentazione.	Responsabile della migrazione
Modifica una storia di dati generata.	Per modificare la formattazione, il layout o gli elementi visivi di una storia di dati, segui le istruzioni contenute nella AWS documentazione.	Responsabile della migrazione
Condividi una storia basata sui dati.	Per condividere una storia basata sui dati, segui le istruzioni nella AWS documentazione.	Ingegnere della migrazione

Risoluzione dei problemi

Problema

Soluzione

Impossibile individuare i file o i set di dati mainframe inseriti nei criteri di ricerca dei set di dati per Crea attività di trasferimento in Modernizzazione del mainframe AWS File Transfer con. BMC

Innanzitutto, verifica la connessione selezionando Data transfer endpoints sulla console Modernizzazione del mainframe AWS Transfer with. BMC Se la durata dell'ultimo battito cardiaco è superiore a due minuti, la connessione per il trasferimento dei file non è stata stabilita. Se l'ultimo tempo di heartbeat è inferiore a 2 minuti per l'agente in esecuzione sul mainframe, la connessione all'agente ha esito positivo. Procedere al passaggio 2. Controlla la AWS Secrets Manager configurazione. Una chiave segreta deve essere configurata in Secrets Manager con una chiave userId (I maiuscola) con un valore dell'ID utente del mainframe e una chiave password con il valore della password del mainframe. Le chiavi password segrete fanno distinzione tra maiuscole userId e minuscole e devono essere immesse così come sono.

Risorse correlate

Per convertire tipi di dati mainframe come PACKED- DECIMAL (COMP-3) o BINARY(COMPo COMP -4) in un tipo di dati supportato da Amazon QuickSight, consulta i seguenti modelli:

• Converti e decomprimi EBCDIC i dati in ASCII on AWS usando Python

• Converti i file mainframe dal EBCDIC formato al formato delimitato da caratteri in ASCII Amazon S3 utilizzando AWS Lambda

Informazioni aggiuntive

S3 .py CopyLambda

Il seguente codice Python è stato generato utilizzando un prompt con Amazon Q Developer in un file: IDE

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

Pannello di controllo visivo del mainframe

La seguente immagine dei dati è stata creata da Amazon Q QuickSight per la domanda di analisi show member distribution by region.

La seguente immagine dei dati è stata creata da Amazon Q QuickSight per la domandashow member distribution by Region who have not completed preventive immunization, in pie chart.

Output della storia dei dati

Le schermate seguenti mostrano sezioni della storia dei dati creata da Amazon Q QuickSight per il prompt. Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

Nell'introduzione, la storia dei dati consiglia di scegliere la regione con il maggior numero di membri per ottenere il massimo impatto dagli sforzi di immunizzazione.

La storia dei dati fornisce un'analisi del numero di membri nelle prime tre regioni e nomina il sud-ovest come la regione principale per quanto riguarda gli sforzi di immunizzazione.

Nota: le regioni del sud-ovest e del nord-est hanno ciascuna otto membri. Tuttavia, il sud-ovest ha più membri che non sono completamente vaccinati, quindi ha maggiori possibilità di beneficiare delle iniziative per aumentare i tassi di immunizzazione.

Allegati

Per accedere al contenuto aggiuntivo associato a questo documento, decomprimi il seguente file: attachment.zip