Generieren Sie Dateneinblicke mithilfe von AWS Mainframe Modernization und Amazon Q in QuickSight

Umgebung: PoC oder Pilotprojekt	Technologien: Mainframe; Analytik; Migration; Modernisierung; Maschinelles Lernen und KI	Arbeitslast: IBM
AWS-Services: AWS Lambda; AWS-Mainframe-Modernisierung; Amazon QuickSight; Amazon S3

Übersicht

Wenn Ihr Unternehmen geschäftskritische Daten in einer Mainframe-Umgebung hostet, ist es entscheidend, Erkenntnisse aus diesen Daten zu gewinnen, um Wachstum und Innovation voranzutreiben. Durch die Erschließung von Mainframe-Daten können Sie schnellere, sichere und skalierbare Business Intelligence aufbauen, um datengestützte Entscheidungen, Wachstum und Innovation in der Amazon Web Services ()AWS Cloud zu beschleunigen.

Dieses Muster bietet eine Lösung für die Generierung von Geschäftseinblicken und die Erstellung gemeinsam nutzbarer Geschichten aus Mainframe-Daten mithilfe von AWS Mainframe Modernization File Transfer mit BMC und Amazon Q in. QuickSight Mainframe-Datensätze werden mithilfe von AWS Mainframe Modernization File Transfer mit BMC an Amazon Simple Storage Service (Amazon S3) übertragen. Eine AWS Lambda Funktion formatiert die Mainframe-Datendatei und bereitet sie für das Laden in Amazon QuickSight vor.

Sobald die Daten in Amazon verfügbar sind QuickSight, können Sie natürliche Sprachaufforderungen mit Amazon Q verwenden, QuickSight um Zusammenfassungen der Daten zu erstellen, Fragen zu stellen und Datenstorys zu generieren. Sie müssen keine SQL-Abfragen schreiben oder ein Business Intelligence (BI) -Tool erlernen.

Geschäftlicher Kontext

Dieses Muster stellt eine Lösung für Anwendungsfälle von Mainframe-Datenanalysen und Datenerkenntnissen dar. Mithilfe des Musters erstellen Sie ein visuelles Dashboard für die Daten Ihres Unternehmens. Um die Lösung zu demonstrieren, verwendet dieses Muster ein Gesundheitsunternehmen, das seinen Mitgliedern in den USA medizinische, zahnärztliche und augenärztliche Pläne anbietet. In diesem Beispiel werden demografische Daten und Versicherungsinformationen der Mitglieder in den Mainframe-Datensätzen gespeichert. Das visuelle Dashboard zeigt Folgendes:

• Verteilung der Mitglieder nach Regionen

• Verteilung der Mitglieder nach Geschlecht

• Verteilung der Mitglieder nach Alter

• Verteilung der Mitglieder nach Tariftyp

• Mitglieder, die die Schutzimpfung noch nicht abgeschlossen haben

Nachdem Sie das Dashboard erstellt haben, generieren Sie eine Datenstory, die die Erkenntnisse aus der vorherigen Analyse erklärt. Die Datenstory enthält Empfehlungen zur Erhöhung der Zahl der Mitglieder, die präventive Impfungen abgeschlossen haben.

Voraussetzungen und Einschränkungen

Voraussetzungen

• Ein aktiver AWS-Konto

• Mainframe-Datensätze mit Geschäftsdaten

• Zugriff auf die Installation eines File Transfer Agents auf dem Mainframe

Einschränkungen

• Ihre Mainframe-Datendatei sollte in einem der von Amazon QuickSight unterstützten Dateiformate vorliegen. Eine Liste der unterstützten Dateiformate finden Sie in der QuickSight Amazon-Dokumentation.

  Dieses Muster verwendet eine Lambda-Funktion, um die Mainframe-Datei in ein von Amazon unterstütztes Format zu konvertieren. QuickSight

Architektur

Das folgende Diagramm zeigt eine Architektur zur Generierung von Geschäftseinblicken aus Mainframe-Daten mithilfe von AWS Mainframe Modernization File Transfer mit BMC und Amazon Q in. QuickSight

Das Diagramm zeigt den folgenden Workflow:

1. Ein Mainframe-Datensatz mit Geschäftsdaten wird mithilfe von AWS Mainframe Modernization File Transfer with BMC an Amazon S3 übertragen.

2. Die Lambda-Funktion konvertiert die Datei, die sich im S3-Bucket des Ziels für die Dateiübertragung befindet, in das CSV-Format (Comma-Separated Values).

3. Die Lambda-Funktion sendet die konvertierte Datei an den S3-Bucket des Quelldatensatzes.

4. Die Daten in der Datei werden von Amazon QuickSight aufgenommen.

5. Benutzer greifen auf die Daten in Amazon zu QuickSight. Sie können Amazon Q in verwenden, um mit den Daten QuickSight zu interagieren, indem Sie Eingabeaufforderungen in natürlicher Sprache verwenden.

Tools

AWS-Services

• AWS Lambda ist ein Datenverarbeitungsservice, mit dem Sie Code ausführen können, ohne dass Sie Server bereitstellen oder verwalten müssen. Es führt Ihren Code nur bei Bedarf aus und skaliert automatisch, sodass Sie nur für die tatsächlich genutzte Rechenzeit zahlen.

• AWS Mainframe Modernization File Transfer with BMC konvertiert Mainframe-Datensätze und überträgt sie an Amazon S3 für Anwendungsfälle zur Mainframe-Modernisierung, -Migration und Erweiterung.

• Amazon QuickSight ist ein BI-Service auf Cloud-Ebene, mit dem Sie Ihre Daten in einem einzigen Dashboard visualisieren, analysieren und melden können. Dieses Muster verwendet die generativen BI-Funktionen von Amazon Q in QuickSight.

• Amazon Simple Storage Service (Amazon S3) ist ein cloudbasierter Objektspeicherservice, der Sie beim Speichern, Schützen und Abrufen beliebiger Datenmengen unterstützt.

Bewährte Methoden

• Wenn Sie die AWS Identity and Access Management (IAM-) Rollen für AWS Mainframe Modernization File Transfer mit BMC und der Lambda-Funktion erstellen, folgen Sie dem Prinzip der geringsten Rechte.

• Stellen Sie sicher, dass Ihr Quelldatensatz Datentypen für Amazon unterstützt QuickSight. Wenn Ihr Quelldatensatz Datentypen enthält, die nicht unterstützt werden, konvertieren Sie diese in unterstützte Datentypen. Informationen zu nicht unterstützten Mainframe-Datentypen und deren Konvertierung in von Amazon Q unterstützte Datentypen finden Sie im QuickSight Abschnitt Verwandte Ressourcen.

Epen

Richten Sie die AWS Mainframe Modernization Dateiübertragung mit BMC ein

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Installieren Sie den File Transfer Agent.	Folgen Sie den Anweisungen in der AWS Dokumentation, um AWS Mainframe Modernization File Transfer Agent auf Ihrem Mainframe zu installieren.	Mainframe-Systemadministrator
Erstellen Sie einen S3-Bucket für die Mainframe-Dateiübertragung.	Erstellen Sie einen S3-Bucket, um die Ausgabedatei von AWS Mainframe Modernization File Transfer with BMC zu speichern. Im Architekturdiagramm ist dies der Ziel-Bucket für die Dateiübertragung.	Ingenieur für Migration
Erstellen Sie den Endpunkt für die Datenübertragung.	Erstellen Sie einen S3-Bucket, um die Mainframe-Eingabedatei für die AWS Mainframe Modernization Dateiübertragung mit BMC bereitzustellen. Folgen Sie den Anweisungen in der Dokumentation, um den Mainframe-Datenübertragungsendpunkt zu erstellen.AWS	Spezialist AWS AWS-Mainframe-Modernisierung

Konvertiert die Mainframe-Dateinamenerweiterung für die Amazon-Integration QuickSight

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Erstellen Sie einen S3-Bucket.	Erstellen Sie einen S3-Bucket für die Lambda-Funktion, um die konvertierte Mainframe-Datei von der Quelle in den endgültigen Ziel-Bucket zu kopieren.	Ingenieur für Migration
Erstellen Sie eine Lambda-Funktion.	Gehen Sie wie folgt vor, um eine Lambda-Funktion zu erstellen, die die Dateierweiterung ändert und die Mainframe-Datei in den Ziel-Bucket kopiert: Melden Sie sich bei der AWS Management Console an und navigieren Sie zur AWS Lambda Konsole. Wählen Sie „Funktion erstellen“ und anschließend „Von Grund auf neu erstellen“. Geben Sie unter Funktionsname einen Namen für Ihre Funktion ein. Wählen Sie in der Runtime-Dropdown-Liste Python.3.X aus. Erweitern Sie Standardausführungsrolle ändern und wählen Sie dann Neue Rolle mit grundlegenden Lambda-Berechtigungen erstellen aus. Wählen Sie Funktion erstellen. Wählen Sie die Registerkarte Code und fügen Sie dann den S3CopyLambda.py Python-Code ein, der im Abschnitt Zusätzliche Informationen bereitgestellt wird. Der Python-Code wurde mithilfe von Amazon Q Developer in der integrierten Entwicklungsumgebung (IDE) von Microsoft Visual Studio generiert. Bearbeiten Sie den destination_bucket_name auf den Namen des S3-Buckets, den Sie zuvor erstellt haben, und change destination_file_key auf den Namen der Mainframe-Datei. Stellen Sie die Lambda-Funktion bereit.	Ingenieur für Migration
Erstellen Sie einen Amazon S3 S3-Trigger, um die Lambda-Funktion aufzurufen.	Gehen Sie wie folgt vor, um einen Trigger zu konfigurieren, der die Lambda-Funktion aufruft: Öffnen Sie in der Lambda-Konsole die Seite Funktionen. Wählen Sie die Lambda-Funktion. Wählen Sie in der Funktionsübersicht die Option Trigger hinzufügen aus. Wählen Sie in der Dropdownliste Trigger-Konfiguration die Option S3 aus. Geben Sie im Feld Bucket den Namen Ihres Quell-Buckets ein. Wählen Sie in der Dropdownliste Ereignistyp die Option Alle Ereignisse zur Objekterstellung aus. Aktivieren Sie das Kontrollkästchen Ich bestätige, dass die Verwendung desselben S3-Buckets für Eingabe und Ausgabe nicht empfohlen wird, und wählen Sie dann Hinzufügen aus. Weitere Informationen finden Sie unter Tutorial: Verwenden eines Amazon S3-Auslösers zum Aufrufen einer Lambda-Funktion.	Leiter der Migration
Stellen Sie IAM-Berechtigungen für die Lambda-Funktion bereit.	Für den Zugriff der Lambda-Funktion auf die S3-Buckets des Dateiübertragungsziels und des Quelldatensatzes sind IAM-Berechtigungen erforderlich. Aktualisieren Sie die Richtlinie, die mit der Lambda-Funktionsausführungsrolle verknüpft ist, indem Sie den Ziel-S3-Bucket für die Dateiübertragung s3:GetObject und s3:DeleteObject den s3:PutObject Zugriff auf den S3-Bucket des Quelldatensatzes zulassen und gewähren. Weitere Informationen finden Sie im Abschnitt Erstellen einer Berechtigungsrichtlinie in Tutorial: Verwenden eines Amazon S3 S3-Triggers zum Aufrufen einer Lambda-Funktion.	Leiter der Migration

Definieren Sie eine Mainframe-Datenübertragungsaufgabe

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Erstellen Sie eine Übertragungsaufgabe, um die Mainframe-Datei in den S3-Bucket zu kopieren.	Folgen Sie den Anweisungen in der Dokumentation, um eine Mainframe-Dateiübertragungsaufgabe zu erstellen.AWS Mainframe Modernization Hinweis: Geben Sie die Quellcodepage-Kodierung als IBM1047 und die Ziel-Codepage-Kodierung als UTF-8 an.	Ingenieur für Migration
Überprüfen Sie die Übertragungsaufgabe.	Folgen Sie den Anweisungen in der AWS Mainframe Modernization Dokumentation, um zu überprüfen, ob die Datenübertragung erfolgreich war. Vergewissern Sie sich, dass sich die Mainframe-Datei im Ziel-S3-Bucket für die Dateiübertragung befindet.	Leiter der Migration
Überprüfen Sie die Lambda-Kopierfunktion.	Stellen Sie sicher, dass die Lambda-Funktion initiiert wurde und dass die Datei mit der Erweiterung.csv in den S3-Bucket des Quelldatensatzes kopiert wurde. Die mit der Lambda-Funktion erstellte .csv-Datei ist die Eingabedatendatei für Amazon. QuickSight Beispieldaten finden Sie in der Sample-data-member-healthcare-APG Datei im Abschnitt Anlagen.	Leiter der Migration

Amazon mit QuickSight den Mainframe-Daten verbinden

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Richten Sie Amazon ein QuickSight.	Folgen Sie den Anweisungen in der AWS Dokumentation QuickSight, um Amazon einzurichten.	Leiter der Migration
Erstellen Sie einen Datensatz für Amazon QuickSight.	Folgen Sie den Anweisungen in der AWS Dokumentation QuickSight, um einen Datensatz für Amazon zu erstellen. Die Eingabedatendatei ist die konvertierte Mainframe-Datei, die bei der Definition der Mainframe-Datenübertragungsaufgabe erstellt wurde.	Leiter der Migration

Gewinnen Sie Geschäftseinblicke aus den Mainframe-Daten mithilfe von Amazon Q in QuickSight

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Richten Sie Amazon Q in ein QuickSight.	Für diese Funktion ist die Enterprise Edition erforderlich. Gehen Sie wie folgt vor QuickSight, um Amazon Q in einzurichten: Um das Amazon Q-Add-on zu erhalten, folgen Sie den Anweisungen Schritt 1: Holen Sie sich das Q-Add-on in der AWS Dokumentation. Um die generativen BI-Funktionen in Amazon Q zu nutzen, aktualisieren Sie die Konten Ihrer Benutzer. Folgen Sie den Anweisungen in der AWS Dokumentation. Erstellen Sie ein Amazon Q-Thema, indem Sie den Datensatz verwenden, den Sie zuvor erstellt haben. Folgen Sie den Anweisungen in der AWS Dokumentation. Folgen Sie den Anweisungen in der Dokumentation, um die Metadaten des Themas so zu konfigurieren, dass sie für natürliche Sprachen geeignet sind.AWS	Leiter der Migration
Analysieren Sie Mainframe-Daten und erstellen Sie ein visuelles Dashboard.	Gehen Sie wie folgt vor QuickSight, um Ihre Daten in Amazon zu analysieren und zu visualisieren: Folgen Sie den Anweisungen in der AWS Dokumentation, um die Mainframe-Datenanalyse zu erstellen. Wählen Sie für den Datensatz den Datensatz aus, der im vorherigen Schritt erstellt wurde. Wählen Sie auf der Analyseseite Visual erstellen aus. Wählen Sie im Fenster „Thema für Analyse erstellen“ die Option Bestehendes Thema aktualisieren aus. Wählen Sie in der Dropdownliste Thema auswählen das Thema aus, das Sie zuvor erstellt haben. Wählen Sie Themenverknüpfung aus. Nachdem Sie das Thema verknüpft haben, wählen Sie Visual erstellen, um das Amazon Q-Fenster Build a Visual zu öffnen. Schreiben Sie in der Eingabeaufforderungsleiste Ihre Analysefragen. Die für dieses Muster verwendeten Beispielfragen sind die folgenden: Verteilung der Mitglieder nach Regionen anzeigen Verteilung der Mitglieder nach Alter anzeigen Zeigt die Verteilung der Mitglieder nach Geschlecht Verteilung der Mitglieder nach Tariftyp anzeigen Zeigt das Mitglied an, das die präventive Impfung nicht abgeschlossen hat Nachdem Sie Ihre Fragen eingegeben haben, wählen Sie Build. Amazon Q in QuickSight erstellt das Bildmaterial. Um die Grafiken zu Ihrem visuellen Dashboard hinzuzufügen, wählen Sie ZUR ANALYSE HINZUFÜGEN. Wenn Sie fertig sind, können Sie Ihr Dashboard veröffentlichen, um es mit anderen in Ihrer Organisation zu teilen. Beispiele finden Sie unter Visuelles Mainframe-Dashboard im Abschnitt Zusätzliche Informationen.	Ingenieur für Migration

Erstellen Sie eine Datenstory mit Amazon Q in QuickSight aus den Mainframe-Daten

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Erstellen Sie eine Datenstory.	Erstellen Sie eine Datenstory, um die Erkenntnisse aus der vorherigen Analyse zu erläutern, und geben Sie eine Empfehlung zur Erhöhung der präventiven Impfungen für Mitglieder ab: Folgen Sie den Anweisungen in der AWS Dokumentation, um die Data Story zu erstellen. Verwenden Sie für den Data Story-Prompt Folgendes: Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. Sie können auch Ihre eigene Aufforderung erstellen, um Datenstorys für andere Geschäftseinblicke zu generieren. Wählen Sie Visuals hinzufügen aus und fügen Sie die Grafiken hinzu, die für die Data Story relevant sind. Verwenden Sie für dieses Muster die Grafiken, die Sie zuvor erstellt haben. Wählen Sie Build aus. Ein Beispiel für die Ausgabe von Data Storys finden Sie unter Data Story-Ausgabe im Abschnitt Zusätzliche Informationen.	Ingenieur für Migration
Sehen Sie sich die generierte Datenstory an.	Folgen Sie den Anweisungen in der AWS Dokumentation, um die generierte Datenstory anzusehen.	Leitung der Migration
Bearbeiten Sie eine generierte Datenstory.	Folgen Sie den Anweisungen in der AWS Dokumentation, um die Formatierung, das Layout oder die visuelle Darstellung in einer Data Story zu ändern.	Leiter der Migration
Teilen Sie eine Datenstory.	Folgen Sie den Anweisungen in der AWS Dokumentation, um eine Data Story mit anderen zu teilen.	Ingenieur für Migration

Fehlerbehebung

Problem

Lösung

Die Mainframe-Dateien oder Datensätze, die in die Suchkriterien für Datensätze für die Aufgabe Übertragung erstellen in AWS Mainframe Modernization File Transfer with BMC eingegeben wurden, konnten nicht gefunden werden.

Überprüfen Sie zunächst die Verbindung, indem Sie in der Konsole „Übertragung mit BMC“ die Option AWS Mainframe Modernization Datenübertragungsendpunkte auswählen. Wenn die letzte Heartbeat-Zeit länger als zwei Minuten ist, wurde die Verbindung für die Dateiübertragung nicht hergestellt. Wenn die letzte Heartbeat-Zeit für den auf dem Mainframe ausgeführten Agenten weniger als 2 Minuten beträgt, ist die Verbindung zum Agenten erfolgreich. Fahren Sie mit Schritt 2 fort. Überprüfen Sie das AWS Secrets Manager Setup. Ein geheimer Schlüssel muss in Secrets Manager mit einem Schlüssel von userId (Großbuchstabe I) mit dem Wert der Benutzer-ID des Mainframes und einem Schlüssel password mit dem Wert des Mainframe-Kennworts konfiguriert werden. Bei den userId und password geheimen Schlüsseln wird zwischen Groß- und Kleinschreibung unterschieden und sie müssen unverändert eingegeben werden.

Zugehörige Ressourcen

Um Mainframe-Datentypen wie PACKED-DECIMAL (COMP-3) oder BINARY (COMP oder COMP-4) in einen von Amazon QuickSight unterstützten Datentyp zu konvertieren, sehen Sie sich die folgenden Muster an:

• EBCDIC-Daten mithilfe von Python in ASCII umwandeln und entpacken AWS

• Konvertieren Sie Mainframe-Dateien vom EBCDIC-Format in das durch Zeichen getrennte ASCII-Format in Amazon S3 mit AWS Lambda

Zusätzliche Informationen

S3 .py CopyLambda

Der folgende Python-Code wurde mithilfe einer Aufforderung mit Amazon Q Developer in einer IDE generiert:

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

Visuelles Mainframe-Dashboard

Das folgende Datenbild wurde von Amazon Q QuickSight für die Analysefrage erstellt show member distribution by region.

Das folgende Datenbild wurde von Amazon Q QuickSight für die Frage erstelltshow member distribution by Region who have not completed preventive immunization, in pie chart.

Ausgabe von Data Story

Die folgenden Screenshots zeigen Abschnitte der Datenstory, die von Amazon Q QuickSight für die Aufforderung erstellt wurden. Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

In der Einleitung wird in der Datenstory empfohlen, die Region mit den meisten Mitgliedern auszuwählen, um die größtmögliche Wirkung der Impfmaßnahmen zu erzielen.

Die Datenstory enthält eine Analyse der Mitgliederzahlen für die drei wichtigsten Regionen und nennt den Südwesten als die Region, in der der Schwerpunkt auf Impfmaßnahmen liegt.

Hinweis: Die Regionen Südwesten und Nordosten haben jeweils acht Mitglieder. Im Südwesten gibt es jedoch mehr Mitglieder, die nicht vollständig geimpft sind, sodass er mehr Potenzial hat, von Initiativen zur Erhöhung der Impfraten zu profitieren.

Anlagen

Um auf zusätzliche Inhalte zuzugreifen, die mit diesem Dokument verknüpft sind, entpacken Sie die folgende Datei: attachment.zip