Générez des informations sur les données en utilisant AWS Mainframe Modernization et Amazon Q dans QuickSight

Créé par Shubham Roy (AWS), Roshna Razack () et Santosh Kumar Singh (AWS) AWS

Environnement : PoC ou pilote	Technologies : ordinateur central, analyse, migration, modernisation, apprentissage automatique et intelligence artificielle	Charge de travail : IBM
AWSservices : AWS Lambda ; modernisation du AWS mainframe ; Amazon ; Amazon S3 QuickSight

Récapitulatif

Si votre entreprise héberge des données critiques dans un environnement mainframe, il est essentiel de tirer parti de ces données pour stimuler la croissance et l'innovation. En débloquant les données du mainframe, vous pouvez créer des informations commerciales plus rapides, sécurisées et évolutives afin d'accélérer la prise de décision, la croissance et l'innovation basées sur les données dans le cloud Amazon Web Services ()AWS.

Ce modèle présente une solution pour générer des informations commerciales et créer des récits partageables à partir de données du mainframe en utilisant AWS Mainframe Modernization le transfert de fichiers avec BMC Amazon Q dans. QuickSight Les ensembles de données du mainframe sont transférés vers Amazon Simple Storage Service (Amazon S3) à l'aide du transfert de fichiers de modernisation du AWS mainframe avec. BMC Une AWS Lambda fonction formate et prépare le fichier de données du mainframe en vue de son chargement sur Amazon QuickSight.

Une fois les données disponibles sur Amazon QuickSight, vous pouvez utiliser des instructions en langage naturel avec Amazon Q QuickSight pour créer des résumés des données, poser des questions et générer des récits de données. Vous n'avez pas besoin d'écrire de SQL requêtes ou d'apprendre un outil de business intelligence (BI).

Contexte commercial

Ce modèle présente une solution pour les cas d'utilisation de l'analyse des données sur le mainframe et de l'analyse des données. À l'aide de ce modèle, vous créez un tableau de bord visuel pour les données de votre entreprise. Pour démontrer la solution, ce modèle fait appel à une entreprise de soins de santé qui fournit des plans médicaux, dentaires et ophtalmologiques à ses membres aux États-Unis. Dans cet exemple, les données démographiques des membres et les informations relatives au plan sont stockées dans les ensembles de données du mainframe. Le tableau de bord visuel présente les éléments suivants :

• Répartition des membres par région

• Répartition des membres par sexe

• Répartition des membres par âge

• Répartition des membres par type de plan

• Membres qui n'ont pas terminé leur vaccination préventive

Après avoir créé le tableau de bord, vous générez un récit de données qui explique les informations issues de l'analyse précédente. L'histoire des données fournit des recommandations pour augmenter le nombre de membres ayant effectué des vaccinations préventives.

Conditions préalables et limitations

Prérequis

• Un actif Compte AWS

• Ensembles de données mainframe contenant des données commerciales

• Accès pour installer un agent de transfert de fichiers sur le mainframe

Limites

• Le fichier de données de votre mainframe doit être dans l'un des formats de fichier pris en charge par Amazon QuickSight. Pour obtenir la liste des formats de fichiers pris en charge, consultez la QuickSight documentation Amazon.

  Ce modèle utilise une fonction Lambda pour convertir le fichier mainframe dans un format pris en charge par Amazon. QuickSight

Architecture

Le schéma suivant montre une architecture permettant de générer des informations commerciales à partir des données du mainframe en utilisant AWS Mainframe Modernization File Transfer with BMC et Amazon Q in QuickSight.

Le schéma suivant illustre le flux de travail suivant :

1. Un ensemble de données mainframe contenant des données commerciales est transféré vers Amazon S3 à l'aide AWS Mainframe Modernization du transfert de fichiers avecBMC.

2. La fonction Lambda convertit le fichier qui se trouve dans le compartiment S3 de destination du transfert de fichiers au format valeurs séparées par des virgules (). CSV

3. La fonction Lambda envoie le fichier converti au compartiment S3 du jeu de données source.

4. Les données du fichier sont ingérées par Amazon QuickSight.

5. Les utilisateurs accèdent aux données sur Amazon QuickSight. Vous pouvez utiliser Amazon Q QuickSight pour interagir avec les données à l'aide d'instructions en langage naturel.

Outils

AWSservices

• AWS Lambda est un service de calcul qui vous aide à exécuter du code sans avoir à allouer ni à gérer des serveurs. Il exécute votre code uniquement lorsque cela est nécessaire et évolue automatiquement, de sorte que vous ne payez que pour le temps de calcul que vous utilisez.

• AWS Mainframe Modernization File Transfer with BMC convertit et transfère des ensembles de données du mainframe vers Amazon S3 pour des cas d'utilisation liés à la modernisation, à la migration et à l'augmentation du mainframe.

• Amazon QuickSight est un service de BI à l'échelle du cloud qui vous permet de visualiser, d'analyser et de rapporter vos données dans un tableau de bord unique. Ce modèle utilise les fonctionnalités de BI générative d'Amazon Q dans QuickSight.

• Amazon Simple Storage Service (Amazon S3) est un service de stockage d'objets basé sur le cloud qui vous permet de stocker, de protéger et de récupérer n'importe quel volume de données.

Bonnes pratiques

• Lorsque vous créez les rôles AWS Identity and Access Management (IAM) pour AWS Mainframe Modernization File Transfer with BMC et la fonction Lambda, suivez le principe du moindre privilège.

• Assurez-vous que votre ensemble de données source est compatible avec les types de données pour Amazon QuickSight. Si votre jeu de données source contient des types de données non pris en charge, convertissez-les en types de données pris en charge. Pour plus d'informations sur les types de données mainframe non pris en charge et sur la manière de les convertir en types de données pris en charge par Amazon Q dans QuickSight, consultez la section Ressources associées.

Épopées

Configurer le transfert de AWS Mainframe Modernization fichiers avec BMC

Tâche	Description	Compétences requises
Installez l'agent de transfert de fichiers.	Pour installer l'agent de transfert de AWS Mainframe Modernization fichiers sur votre ordinateur central, suivez les instructions de la AWS documentation.	Administrateur système mainframe
Créez un compartiment S3 pour le transfert de fichiers sur le mainframe.	Créez un compartiment S3 pour stocker le fichier de sortie de AWS Mainframe Modernization File Transfer avecBMC. Dans le schéma d'architecture, il s'agit du compartiment de destination du transfert de fichiers.	Ingénieur en migration
Créez le point de terminaison du transfert de données.	Créez un compartiment S3 pour préparer le fichier mainframe d'entrée pour le transfert de AWS Mainframe Modernization BMC fichiers. Pour créer le point de terminaison de transfert de données du mainframe, suivez les instructions de la AWS documentation.	AWSSpécialiste de la modernisation des mainframes

Convertir l'extension de nom de fichier mainframe pour l'intégration à Amazon QuickSight

Tâche	Description	Compétences requises
Créez un compartiment S3.	Créez un compartiment S3 pour que la fonction Lambda copie le fichier mainframe converti de la source vers le compartiment de destination final.	Ingénieur en migration
Créez une fonction Lambda.	Pour créer une fonction Lambda qui modifie l'extension du fichier et copie le fichier mainframe dans le compartiment de destination, procédez comme suit : Connectez-vous à la AWS Lambda console AWS Management Console et naviguez jusqu'à celle-ci. Choisissez Créer une fonction, puis sélectionnez Auteur à partir de zéro. Dans Nom de la fonction, entrez le nom de votre fonction. Dans la liste déroulante Runtime, choisissez Python.3.X. Développez Modifier le rôle d'exécution par défaut, puis choisissez Créer un nouveau rôle avec des autorisations Lambda de base. Sélectionnez Create function (Créer une fonction). Choisissez l'onglet Code, puis collez le code S3CopyLambda.py Python fourni dans la section Informations supplémentaires. Le code Python a été généré à l'aide d'Amazon Q Developer dans l'environnement de développement intégré Microsoft Visual Studio (IDE). Modifiez le destination_bucket_name nom du compartiment S3 que vous avez créé précédemment et change destination_file_key le nom du fichier du mainframe. Déployez la fonction Lambda.	Ingénieur en migration
Créez un déclencheur Amazon S3 pour appeler la fonction Lambda.	Pour configurer un déclencheur qui invoque la fonction Lambda, procédez comme suit : Sur la console Lambda, ouvrez la page Fonctions. Choisissez la fonction Lambda. Dans Vue d'ensemble des fonctions, choisissez Ajouter un déclencheur. Dans la liste déroulante Configuration du déclencheur, choisissez S3. Dans le champ Bucket, entrez le nom de votre bucket source. Dans la liste déroulante Type d'événement, sélectionnez Tous les événements de création d'objets. Cochez la case Je reconnais qu'il n'est pas recommandé d'utiliser le même compartiment S3 en entrée et en sortie, puis choisissez Ajouter. Pour en savoir plus, consultez Didacticiel : Utilisation d'un déclencheur Amazon S3 pour appeler une fonction Lambda.	Responsable de la migration
Fournissez IAM des autorisations pour la fonction Lambda.	IAMdes autorisations sont requises pour que la fonction Lambda puisse accéder aux compartiments S3 du jeu de données source et de destination du transfert de fichiers. Mettez à jour la politique associée au rôle d'exécution de la fonction Lambda en autorisant s3:GetObject et en autorisant le s3:DeleteObject compartiment S3 de destination du transfert de fichiers et l's3:PutObjectaccès au compartiment S3 du jeu de données source. Pour plus d'informations, consultez la section Créer une politique d'autorisations dans Tutoriel : Utilisation d'un déclencheur Amazon S3 pour appeler une fonction Lambda.	Responsable de la migration

Définition d'une tâche de transfert de données sur un mainframe

Tâche	Description	Compétences requises
Créez une tâche de transfert pour copier le fichier du mainframe dans le compartiment S3.	Pour créer une tâche de transfert de fichiers sur mainframe, suivez les instructions de la AWS Mainframe Modernization documentation. Remarque : Spécifiez le codage de page de code source comme IBM1047 et le codage de page de code cible comme UTF-8.	Ingénieur en migration
Vérifiez la tâche de transfert.	Pour vérifier que le transfert de données est réussi, suivez les instructions de la AWS Mainframe Modernization documentation. Vérifiez que le fichier mainframe se trouve dans le compartiment S3 de destination pour le transfert de fichiers.	Responsable de la migration
Vérifiez la fonction de copie Lambda.	Vérifiez que la fonction Lambda est lancée et que le fichier est copié avec une extension .csv dans le compartiment S3 du jeu de données source. Le fichier .csv créé par la fonction Lambda est le fichier de données d'entrée pour Amazon. QuickSight Pour des exemples de données, consultez le Sample-data-member-healthcare-APG fichier dans la section Pièces jointes.	Responsable de la migration

Connect Amazon QuickSight aux données du mainframe

Tâche	Description	Compétences requises
Configurez Amazon QuickSight.	Pour configurer Amazon QuickSight, suivez les instructions de la AWS documentation.	Responsable de la migration
Créez un ensemble de données pour Amazon QuickSight.	Pour créer un ensemble de données pour Amazon QuickSight, suivez les instructions de la AWS documentation. Le fichier de données d'entrée est le fichier d'ordinateur central converti créé lorsque vous avez défini la tâche de transfert de données de l'ordinateur central.	Responsable de la migration

Obtenez des informations commerciales à partir des données du mainframe en utilisant Amazon Q dans QuickSight

Tâche	Description	Compétences requises
Configurez Amazon Q dans QuickSight.	Cette fonctionnalité nécessite l'édition Enterprise. Pour configurer Amazon Q dans QuickSight, procédez comme suit : Pour obtenir le module complémentaire Amazon Q, suivez les instructions Étape 1 : Obtenir le module complémentaire Q dans la AWS documentation. Pour utiliser les fonctionnalités de BI générative d'Amazon Q, mettez à niveau les comptes de vos utilisateurs. Suivez les instructions de la AWS documentation. Créez une rubrique Amazon Q en utilisant le jeu de données que vous avez créé précédemment. Suivez les instructions de la AWS documentation. Pour configurer les métadonnées du sujet de manière à ce qu'elles soient adaptées au langage naturel, suivez les instructions de la documentation.AWS	Responsable de la migration
Analysez les données du mainframe et créez un tableau de bord visuel.	Pour analyser et visualiser vos données dans Amazon QuickSight, procédez comme suit : Pour créer l'analyse des données du mainframe, suivez les instructions de la AWS documentation. Pour le jeu de données, choisissez le jeu de données créé à l'étape précédente. Sur la page d'analyse, choisissez Build visual. Dans la fenêtre Créer un sujet à analyser, choisissez Mettre à jour le sujet existant. Dans la liste déroulante Sélectionnez un sujet, choisissez le sujet que vous avez créé précédemment. Choisissez le lien entre les rubriques. Après avoir créé le lien vers le sujet, choisissez Build visual pour ouvrir la fenêtre Amazon Q Build a Visual. Dans la barre d'invite, rédigez vos questions d'analyse. Les exemples de questions utilisés pour ce modèle sont les suivants : Afficher la répartition des membres par région Afficher la répartition des membres par âge Afficher la répartition des membres par sexe Afficher la répartition des membres par type de plan Afficher le membre qui n'a pas terminé sa vaccination préventive Après avoir saisi vos questions, choisissez Créer. Amazon Q in QuickSight crée les visuels. Pour ajouter les éléments visuels à votre tableau de bord visuel, choisissez ADDTO ANALYSIS. Lorsque vous avez terminé, vous pouvez publier votre tableau de bord afin de le partager avec les autres membres de votre organisation. Pour des exemples, consultez le tableau de bord visuel du mainframe dans la section Informations supplémentaires.	Ingénieur en migration

Créez un récit de données avec Amazon Q à QuickSight partir des données du mainframe

Tâche	Description	Compétences requises
Créez une histoire de données.	Créez une histoire de données pour expliquer les conclusions de l'analyse précédente et générez une recommandation visant à accroître la vaccination préventive des membres : Pour créer l'histoire des données, suivez les instructions de la AWS documentation. Pour l'invite Data Story, utilisez ce qui suit : Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. Vous pouvez également créer votre propre invite pour générer des récits de données pour d'autres informations commerciales. Choisissez Ajouter des éléments visuels, puis ajoutez ceux qui sont pertinents pour le récit des données. Pour ce modèle, utilisez les visuels que vous avez créés précédemment. Sélectionnez Créer. Par exemple, la sortie d'un récit de données, voir Sortie d'un récit de données dans la section Informations supplémentaires.	Ingénieur en migration
Consultez l'histoire des données générées.	Pour consulter l'histoire des données générées, suivez les instructions de la AWS documentation.	Responsable de la migration
Modifiez un récit de données généré.	Pour modifier le formatage, la mise en page ou les éléments visuels d'un data story, suivez les instructions de la AWS documentation.	Responsable de la migration
Partagez une histoire de données.	Pour partager une histoire de données, suivez les instructions de la AWS documentation.	Ingénieur en migration

Résolution des problèmes

Problème

Solution

Impossible de découvrir les fichiers ou ensembles de données du mainframe saisis dans les critères de recherche des ensembles de données pour Créer une tâche de transfert dans Transfert de AWS Mainframe Modernization fichiers avec. BMC

Vérifiez d'abord la connexion en choisissant Points de terminaison de transfert de données sur la BMC console AWS Mainframe Modernization Transférer avec. Si le dernier battement cardiaque est supérieur à deux minutes, la connexion pour le transfert de fichiers n'a pas été établie. Si le dernier battement de cœur est inférieur à 2 minutes pour l'agent exécuté sur le mainframe, la connexion à l'agent est réussie. Passez à l'étape 2. Vérifiez la AWS Secrets Manager configuration. Une clé secrète doit être configurée dans Secrets Manager avec une clé userId (I majuscule) avec la valeur de l'ID utilisateur du mainframe et une clé password avec la valeur du mot de passe du mainframe. Les clés password secrètes userId et majuscules distinguent les majuscules des minuscules et doivent être saisies telles quelles.

Ressources connexes

Pour convertir des types de données mainframe tels que PACKED- DECIMAL (COMP-3) ou BINARY(COMPou COMP -4) en un type de données pris en charge par Amazon QuickSight, consultez les modèles suivants :

• Convertissez et décompressez EBCDIC les données en ASCII on à l'aide AWS de Python

• Convertissez des fichiers mainframe d'un EBCDIC format à un format délimité par des caractères dans ASCII Amazon S3 à l'aide de AWS Lambda

Informations supplémentaires

S3 CopyLambda .py

Le code Python suivant a été généré à l'aide d'une invite envoyée à Amazon Q Developer dans un IDE :

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

Tableau de bord visuel du mainframe

Le visuel de données suivant a été créé par Amazon Q QuickSight pour la question d'analyse show member distribution by region.

Le visuel de données suivant a été créé par Amazon Q QuickSight pour la questionshow member distribution by Region who have not completed preventive immunization, in pie chart.

Sortie d'une histoire de données

Les captures d'écran suivantes montrent des sections de l'histoire de données créée par Amazon Q QuickSight pour répondre à l'invite Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

Dans l'introduction, l'histoire des données recommande de choisir la région comptant le plus grand nombre de membres afin de tirer le meilleur parti des efforts de vaccination.

L'histoire des données fournit une analyse du nombre de membres pour les trois principales régions et désigne le Sud-Ouest comme la principale région axée sur les efforts de vaccination.

Remarque : Les régions du sud-ouest et du nord-est comptent chacune huit membres. Cependant, le Sud-Ouest compte un plus grand nombre de membres qui ne sont pas complètement vaccinés. Il est donc plus susceptible de bénéficier des initiatives visant à augmenter les taux de vaccination.

Pièces jointes

Pour accéder au contenu supplémentaire associé à ce document, décompressez le fichier suivant : attachment.zip