で AWS Mainframe Modernization と Amazon Q を使用してデータインサイトを生成する QuickSight

環境：PoC またはパイロット	テクノロジー：メインフレーム、分析、移行、モダナイゼーション、機械学習と AI	ワークロード: IBM
AWS サービス: AWS Lambda 、AWS Mainframe Modernization、Amazon QuickSight、Amazon S3

[概要]

組織がビジネスクリティカルなデータをメインフレーム環境でホストしている場合、そのデータからインサイトを取得することは、成長とイノベーションを促進するために不可欠です。メインフレームデータをロック解除することで、より高速で、安全で、スケーラブルなビジネスインテリジェンスを構築して、Amazon Web Services (AWS) クラウドでのデータ主導型の意思決定、成長、イノベーションを加速できます。

このパターンは、 で BMC と Amazon Q QuickSight でAWS Mainframe Modernization ファイル転送を使用して、ビジネスインサイトを生成し、メインフレームデータから共有可能な説明文を作成するためのソリューションを示しています。メインフレームデータセットは、BMC で AWS Mainframe Modernization ファイル転送を使用して Amazon Simple Storage Service (Amazon S3) に転送されます。 AWS Lambda 関数は、Amazon にロードするためのメインフレームデータファイルをフォーマットして準備します QuickSight。

Amazon でデータが利用可能になったら QuickSight、 で Amazon Q の自然言語プロンプトを使用して、データの概要 QuickSight の作成、質問、データストーリーの生成を行うことができます。SQL クエリを記述したり、ビジネスインテリジェンス (BI) ツールを学習したりする必要はありません。

ビジネスコンテキスト

このパターンは、メインフレームデータ分析とデータインサイトのユースケースのソリューションを示しています。パターンを使用して、会社のデータ用のビジュアルダッシュボードを構築します。このソリューションを実証するために、このパターンでは、米国のメンバーに医療、治療、およびビジョンプランを提供する医療会社を使用しています。この例では、メンバー属性とプラン情報がメインフレームデータセットに保存されます。ビジュアルダッシュボードには、以下が表示されます。

• リージョン別のメンバーディストリビューション

• 性別によるメンバーの分布

• 年齢別のメンバーディストリビューション

• プランタイプ別のメンバーディストリビューション

• 予防的な免除を完了していないメンバー

ダッシュボードを作成したら、前の分析からのインサイトを説明するデータストーリーを生成します。データストーリーは、予防的な免除を完了したメンバーの数を増やすための推奨事項を提供します。

前提条件と制限

前提条件

• アクティブな AWS アカウント

• ビジネスデータを含むメインフレームデータセット

• メインフレームにファイル転送エージェントをインストールするアクセス

制約事項

• メインフレームデータファイルは、Amazon でサポートされているファイル形式のいずれかである必要があります QuickSight。サポートされているファイル形式のリストについては、Amazon QuickSight ドキュメント を参照してください。

  このパターンでは、Lambda 関数を使用してメインフレームファイルを Amazon でサポートされている形式に変換します QuickSight。

アーキテクチャ

次の図は、 で BMC と Amazon Q による AWS Mainframe Modernization ファイル転送を使用してメインフレームデータからビジネスインサイトを生成するためのアーキテクチャを示しています QuickSight。

この図表は、次のワークフローを示しています：

1. ビジネスデータを含むメインフレームデータセットは、BMC でのファイル転送を使用して Amazon S3 に転送されます。 AWS Mainframe Modernization

2. Lambda 関数は、ファイル転送先 S3 バケットにあるファイルをカンマ区切り値 (CSV) 形式に変換します。

3. Lambda 関数は、変換されたファイルをソースデータセット S3 バケットに送信します。

4. ファイル内のデータは Amazon によって取り込まれます QuickSight。

5. ユーザーは Amazon のデータにアクセスします QuickSight。の Amazon Q を使用して QuickSight 、自然言語プロンプトを使用してデータを操作できます。

ツール

AWS サービス

• AWS Lambda は、サーバーのプロビジョニングや管理を行うことなくコードを実行できるコンピューティングサービスです。必要に応じてコードを実行し、自動的にスケーリングするため、課金は実際に使用したコンピューティング時間に対してのみ発生します。

• AWS Mainframe Modernization BMC を使用したファイル転送は、メインフレームのモダナイゼーション、移行、拡張のユースケースのために、メインフレームデータセットを変換して Amazon S3 に転送します。

• Amazon QuickSight は、単一のダッシュボードでデータを視覚化、分析、レポートするのに役立つクラウドスケールの BI サービスです。このパターンでは、 の Amazon Q の生成 BI QuickSight機能を使用します。

• Amazon Simple Storage Service (Amazon S3) は、どのようなデータ量であっても、データを保存、保護、取得することを支援するクラウドベースのオブジェクトストレージサービスです。

ベストプラクティス

• BMC と Lambda 関数を使用して AWS Mainframe Modernization ファイル転送用の AWS Identity and Access Management (IAM) ロールを作成するときは、最小特権 の原則に従います。

• ソースデータセットに Amazon でサポートされているデータ型があることを確認します QuickSight。ソースデータセットにサポートされていないデータ型が含まれている場合は、サポートされているデータ型に変換します。サポートされていないメインフレームのデータ型と、 で Amazon Q でサポートされているデータ型に変換する方法については QuickSight、関連リソースセクションを参照してください。

エピック

BMC で AWS Mainframe Modernization ファイル転送を設定する

タスク	説明	必要なスキル
ファイル転送エージェントをインストールします。	メインフレームに AWS Mainframe Modernization ファイル転送エージェントをインストールするには、AWS ドキュメント の指示に従います。	メインフレームシステム管理者
メインフレームファイル転送用の S3 バケットを作成します。	S3 バケットを作成して、BMC による AWS Mainframe Modernization ファイル転送からの出力ファイルを保存します。アーキテクチャ図では、これはファイル転送先バケットです。	移行エンジニア
データ転送エンドポイントを作成します。	S3 バケットを作成して、BMC による AWS Mainframe Modernization ファイル転送の入力メインフレームファイルをステージングします。 メインフレームデータ転送エンドポイントを作成するには、 AWS ドキュメントの指示に従ってください。	AWS Mainframe Modernization スペシャリスト

Amazon QuickSight 統合のメインフレームファイル名拡張子を変換する

タスク	説明	必要なスキル
S3 バケットを作成する。	Lambda 関数の S3 バケットを作成して、変換されたメインフレームファイルをソースバケットから最終送信先バケットにコピーします。	移行エンジニア
Lambda 関数を作成する。	ファイル拡張子を変更し、メインフレームファイルをレプリケート先バケットにコピーする Lambda 関数を作成するには、次の手順を実行します。 にサインインし AWS Management Console、 AWS Lambda コンソールに移動します。 関数の作成 を選択し、最初から作成 を選択します。 関数名 に、関数の名前を入力します。 ランタイムドロップダウンリストで、Python.3.X を選択します。 「デフォルトの実行ロールの変更」を展開し、「基本的な Lambda アクセス許可を持つ新しいロールの作成」を選択します。 関数を作成 を選択します。 コードタブを選択し、追加情報セクションで提供されている S3CopyLambda.py Python コードを貼り付けます。Python コードは、Microsoft Visual Studio 統合開発環境 (IDE) で Amazon Q Developer を使用して生成されました。 destination_bucket_name を以前に作成した S3 バケットの名前に、 をメインフレームファイル名change destination_file_keyに編集します。 Lambda 関数をデプロイします。	移行エンジニア
Lambda 関数を呼び出す Amazon S3 トリガーを作成します。	Lambda 関数を呼び出すトリガーを設定するには、次の手順を実行します。 Lambda コンソールで 「関数ページ」を開きます。 Lambda 関数を選択します。 関数の概要 で、トリガーの追加 を選択します。 トリガー設定ドロップダウンリストで、S3 を選択します。 バケット フィールドに、ソースバケットの名前を入力します。 イベントタイプのドロップダウンリストで、すべてのオブジェクト作成イベント を選択します。 入力と出力の両方に同じ S3 バケットを使用することは推奨されないことを承認しますチェックボックスを選択し、 を追加 を選択します。 詳細については、チュートリアル: Amazon S3 トリガーを使用して Lambda 関数を呼び出すを参照してください。	移行リード
Lambda 関数に IAM アクセス許可を付与します。	Lambda 関数がファイル転送先とソースデータセットの S3 バケットにアクセスするには、IAM アクセス許可が必要です。ファイル転送先 S3 バケットの s3:GetObjectおよび s3:DeleteObject アクセス許可とソースデータセット S3 バケット の s3:PutObject アクセスを許可して、Lambda 関数の実行ロールに関連付けられたポリシーを更新しますS3。 詳細については、「チュートリアル: Amazon S3 トリガーを使用して Lambda 関数を呼び出す」の「アクセス許可ポリシー の作成」セクションを参照してください。	移行リード

メインフレームデータ転送タスクを定義する

タスク	説明	必要なスキル
メインフレームファイルを S3 バケットにコピーする転送タスクを作成します。	メインフレームファイル転送タスクを作成するには、 AWS Mainframe Modernization ドキュメントの指示に従ってください。 注： ソースコードページのエンコードは IBM1047 として指定し、ターゲットコードページのエンコードは UTF-8 として指定します。	移行エンジニア
転送タスクを確認します。	データ転送が成功したことを確認するには、 AWS Mainframe Modernization ドキュメントの指示に従ってください。メインフレームファイルがファイル転送先 S3 バケットにあることを確認します。	移行リード
Lambda コピー関数を確認します。	Lambda 関数が開始され、ファイルが.csv 拡張子でソースデータセット S3 バケットにコピーされていることを確認します。 Lambda 関数によって作成された .csv ファイルは、Amazon の入力データファイルです QuickSight。データの例については、添付ファイルセクションの Sample-data-member-healthcare-APG ファイルを参照してください。	移行リード

Amazon をメインフレームデータ QuickSight に接続する

タスク	説明	必要なスキル
Amazon をセットアップします QuickSight。	Amazon をセットアップするには QuickSight、 AWS ドキュメントの指示に従います。	移行リード
Amazon のデータセットを作成します QuickSight。	Amazon のデータセットを作成するには QuickSight、ドキュメント の指示に従いますAWS。入力データファイルは、メインフレームデータ転送タスクを定義したときに作成された変換されたメインフレームファイルです。	移行リード

で Amazon Q を使用してメインフレームデータからビジネスインサイトを取得する QuickSight

タスク	説明	必要なスキル
で Amazon Q をセットアップします QuickSight。	この機能には Enterprise Edition が必要です。で Amazon Q を設定するには QuickSight、次の手順を実行します。 Amazon Q アドオンを取得するには、AWS ドキュメント のステップ 1: Q アドオンを取得するの指示に従います。 Amazon Q で生成 BI 機能を使用するには、ユーザーのアカウントをアップグレードします。AWS ドキュメント の指示に従ってください。 以前に作成したデータセットを使用して Amazon Q トピックを作成します。AWS ドキュメントの指示に従ってください。 トピックメタデータを自然言語にわかりやすいように設定するには、AWS ドキュメント の指示に従ってください。	移行リード
メインフレームデータを分析し、ビジュアルダッシュボードを構築します。	Amazon でデータを分析および視覚化するには QuickSight、以下を実行します。 メインフレームデータ分析を作成するには、 AWS ドキュメントの指示に従ってください。データセットで、前のステップで作成したデータセットを選択します。 分析ページで、ビジュアルの構築 を選択します。 分析用のトピックの作成ウィンドウで、既存のトピックの更新 を選択します。 「トピックの選択」ドロップダウンリストで、前に作成したトピックを選択します。 をリンクするトピックを選択します。 トピックをリンクしたら、ビジュアルの構築 を選択して Amazon Q ビジュアルの構築 ウィンドウを開きます。 プロンプトバーに、分析に関する質問を書き込みます。このパターンに使用される質問の例は次のとおりです。 リージョン別にメンバーディストリビューションを表示する 年齢別にメンバー分布を表示する 性別によるメンバーディストリビューションの表示 プランタイプ別にメンバーディストリビューションを表示する メンバーに予防のイミュナイゼーションを完了していないことを示す 質問を入力したら、ビルド を選択します。の Amazon Q はビジュアル QuickSight を作成します。 ビジュアルダッシュボードにビジュアルを追加するには、分析に追加を選択します。 完了したら、ダッシュボードを公開して組織内の他のユーザーと共有できます。例については、「追加情報」セクションの「メインフレームビジュアルダッシュボード追加情報」を参照してください。	移行エンジニア

メインフレームデータ QuickSight から で Amazon Q を使用してデータストーリーを作成する

タスク	説明	必要なスキル
データストーリーを作成します。	前の分析からのインサイトを説明するデータストーリーを作成し、メンバーの予防的な免除を増やすためのレコメンデーションを生成します。 データストーリーを作成するには、 AWS ドキュメントの指示に従ってください。 データストーリープロンプトには、以下を使用します。 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. また、独自のプロンプトを作成して、他のビジネスインサイトのデータストーリーを生成することもできます。 ビジュアルの追加 を選択し、データストーリーに関連するビジュアルを追加します。このパターンでは、前に作成したビジュアルを使用します。 [Build] を選択します。 データストーリーの出力例については、「追加情報」セクションの「データストーリーの出力追加情報」を参照してください。	移行エンジニア
生成されたデータストーリーを表示します。	生成されたデータストーリーを表示するには、 AWS ドキュメントの指示に従います。	移行リード
生成されたデータストーリーを編集します。	データストーリーのフォーマット、レイアウト、またはビジュアルを変更するには、AWS ドキュメント の指示に従います。	移行リード
データストーリーを共有します。	データストーリーを共有するには、 AWS ドキュメントの指示に従ってください。	移行エンジニア

トラブルシューティング

問題

ソリューション

BMC を使用したファイル転送で転送タスクを作成するのデータセットの検索条件に入力されたメインフレーム AWS Mainframe Modernization ファイルまたはデータセットを検出できません。

まず、Transfer with BMC コンソールでデータ転送エンドポイントを選択して接続を確認します。 AWS Mainframe Modernization 最後のハートビート時間が 2 分を超える場合、ファイル転送の接続は確立されていません。メインフレームで実行されているエージェントの最後のハートビート時間が 2 分未満の場合、エージェントへの接続は成功します。ステップ 2 に進みます。 AWS Secrets Manager セットアップを確認します。シークレットキーは、Secrets Manager で、メインフレームのユーザー ID の値を持つキー userId (大文字 I) と、メインフレームパスワードの値passwordを持つキーを設定する必要があります。userId シーpasswordクレットキーと シークレットキーでは大文字と小文字が区別され、そのまま入力する必要があります。

関連リソース

PACKED-DECIMAL (COMP-3) や BINARY (COMP または COMP-4) などのメインフレームデータ型を Amazon でサポートされているデータ型に変換するには QuickSight、次のパターンを参照してください。

• Python を使用して EBCDIC データを で ASCII に変換および解凍 AWS する

• を使用してAmazon S3形式に変換する AWS Lambda

追加情報

S3CopyLambda.py

次の Python コードは、IDE の Amazon Q Developer でプロンプトを使用して生成されました。

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

メインフレームビジュアルダッシュボード

次のデータビジュアルは、分析の質問 QuickSight のために で Amazon Q によって作成されましたshow member distribution by region。

次のデータビジュアルは、Amazon Q が質問 QuickSight に対して で作成しましたshow member distribution by Region who have not completed preventive immunization, in pie chart。

データストーリーの出力

次のスクリーンショットは、Amazon Q がプロンプト QuickSight 用に で作成したデータストーリーのセクションを示しています。 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

入門では、データストーリーでは、メンバー数が最も多いリージョンを選択して、イミュナイゼーションの取り組みから最大の影響を与えることを推奨しています。

データストーリーでは、上位 3 つのリージョンのメンバー番号の分析を提供し、西南部を、イミュナイゼーションの取り組みに焦点を当てた主要リージョンと名付けます。

注： 南西部および北東部の各リージョンには、それぞれ 8 人のメンバーがいます。ただし、南西部には完全には昇格しないメンバーが多数存在するため、イミュナイゼーション率を上げるイニシアチブから恩恵を受ける可能性が高くなります。

添付ファイル

このドキュメントに関連する追加コンテンツにアクセスするには、次のファイルを解凍してください。「attachment.zip」