在 中使用AWS大型主機現代化和 Amazon Q 產生資料洞見 QuickSight

由 Shubham Roy （AWS）、Roshna Razack （AWS） 和 Santosh Kumar Singh （AWS） 建立

環境：PoC 或試行	技術：大型主機；分析；遷移；現代化；機器學習和 AI	工作負載： IBM
AWS 服務：AWSLambda；AWS大型主機現代化；Amazon QuickSight；Amazon S3

Summary

如果您的組織在大型主機環境中託管業務關鍵資料，從該資料中取得洞見對於推動成長和創新至關重要。透過解鎖大型主機資料，您可以建立更快速、安全且可擴展的商業智慧，以加速 Amazon Web Services （AWS） Cloud 中的資料驅動決策、成長和創新。

此模式提供解決方案，透過搭配 和 Amazon Q QuickSight 使用 AWS Mainframe Modernization File Transfer，從大型主機資料產生商業洞見BMC和建立可分享的敘述。大型主機資料集會搭配 使用AWS大型主機現代化檔案傳輸，以傳輸至 Amazon Simple Storage Service （Amazon S3）BMC。 AWS Lambda 函數會格式化和準備大型主機資料檔案，以載入 Amazon QuickSight。

在 Amazon 中提供資料後 QuickSight，您可以在 Amazon Q 中使用自然語言提示 QuickSight ，以建立資料摘要、提出問題和產生資料故事。您不需要撰寫SQL查詢或學習商業智慧 （BI） 工具。

業務內容

此模式提供大型主機資料分析和資料洞察使用案例的解決方案。使用 模式，您可以為公司資料建置視覺化儀表板。為了示範解決方案，此模式使用提供醫療、牙科和視力計劃給美國成員的醫療保健公司。在此範例中，成員人口統計資料和計劃資訊會儲存在大型主機資料集中。視覺效果儀表板會顯示下列項目：

• 依區域的會員分佈

• 按性別分配成員

• 按年齡分配成員

• 依計劃類型分配成員

• 尚未完成預防性免疫接種的會員

建立儀表板後，您會產生一個資料故事，說明先前分析的洞見。資料故事提供建議，以增加已完成預防性免疫接種的成員人數。

先決條件和限制

先決條件

• 作用中 AWS 帳戶

• 具有業務資料的大型主機資料集

• 在大型主機上安裝檔案傳輸代理程式的存取權

限制

• 您的大型主機資料檔案應採用 Amazon 支援的其中一種檔案格式 QuickSight。如需清單支援的檔案格式，請參閱Amazon QuickSight 文件 。

  此模式使用 Lambda 函數，將大型主機檔案轉換為 Amazon 支援的格式 QuickSight。

架構

下圖顯示使用 AWS Mainframe Modernization 檔案傳輸搭配 BMC和 Amazon Q 從大型主機資料產生商業洞見的架構 QuickSight。

該圖顯示以下工作流程：

1. 包含業務資料的大型主機資料集會使用 AWS Mainframe Modernization File Transfer 搭配 傳輸至 Amazon S3BMC。

2. Lambda 函數會將檔案傳輸目的地 S3 儲存貯體中的檔案轉換為逗號分隔值 （CSV） 格式。

3. Lambda 函數會將轉換的檔案傳送至來源資料集 S3 儲存貯體。

4. Amazon 會擷取檔案中的資料 QuickSight。

5. 使用者存取 Amazon 中的資料 QuickSight。您可以使用自然語言提示 QuickSight ，在 中使用 Amazon Q 與資料互動。

工具

AWS 服務

• AWS Lambda 是一項運算服務，可協助您執行程式碼，無需佈建或管理伺服器。它只會在需要時執行程式碼並自動擴展，因此您只需支付您使用的運算時間。

• AWS Mainframe Modernization 使用 檔案傳輸 BMC 將大型主機資料集轉換為 Amazon S3，用於大型主機現代化、遷移和增強使用案例。

• Amazon QuickSight 是一種雲端規模的 BI 服務，可協助您在單一儀表板中視覺化、分析和報告資料。此模式使用 Amazon Q 在 中的 QuickSight生成 BI 功能。

• Amazon Simple Storage Service (Amazon S3) 是一種雲端型物件儲存服務，可協助您儲存、保護和擷取任何數量的資料。

最佳實務

• 當您使用 BMC和 Lambda 函數建立 AWS Mainframe Modernization File Transfer 的 AWS Identity and Access Management （IAM） 角色時，請遵循最低權限 的原則。

• 確保您的來源資料集支援 Amazon 的資料類型 QuickSight。如果您的來源資料集包含不支援的資料類型，請將它們轉換為支援的資料類型。如需有關不支援之大型主機資料類型以及如何將其轉換為 Amazon Q 在 中支援之資料類型的資訊 QuickSight，請參閱相關資源一節。

史詩

使用 設定 AWS Mainframe Modernization 檔案傳輸 BMC

任務	描述	所需的技能
安裝檔案傳輸代理程式。	若要在大型主機上安裝 AWS Mainframe Modernization File Transfer Agent，請遵循 AWS 文件 中的指示。	大型主機系統管理員
建立用於大型主機檔案傳輸的 S3 儲存貯體。	建立 S3 儲存貯體，以使用 儲存來自 AWS Mainframe Modernization File Transfer 的輸出檔案BMC。在架構圖中，這是檔案傳輸目的地儲存貯體。	遷移工程師
建立資料傳輸端點。	建立 S3 儲存貯體，以使用 進行 AWS Mainframe Modernization 檔案傳輸的輸入大型主機檔案BMC。 若要建立大型主機資料傳輸端點，請遵循 AWS 文件 中的指示。	AWS 大型主機現代化專家

轉換大型主機檔案名稱擴充功能以進行 Amazon QuickSight 整合

任務	描述	所需的技能
建立 S3 儲存貯體。	為 Lambda 函數建立 S3 儲存貯體，以將轉換後的大型主機檔案從來源複製到最終目的地儲存貯體。	遷移工程師
建立 Lambda 函數。	若要建立 Lambda 函數來變更檔案副檔名，並將大型主機檔案複製到目的地儲存貯體，請執行下列動作： 登入 AWS Management Console，然後導覽至 AWS Lambda 主控台。 選擇建立函數 ，然後從頭選擇作者 。 針對函數名稱 ，輸入函數的名稱。 在執行期下拉式清單中，選擇 Python.3.X 。 展開變更預設執行角色 ，然後選擇使用基本 Lambda 許可建立新角色。 選擇建立函數。 選擇程式碼索引標籤，然後貼上其他資訊區段中提供的 S3CopyLambda.py Python 程式碼。Python 程式碼是使用 Microsoft Visual Studio 整合開發環境 （） 中的 Amazon Q Developer 產生的IDE。 將 編輯destination_bucket_name至您先前建立的 S3 儲存貯體名稱，以及change destination_file_key大型主機檔案名稱。 部署 Lambda 函數。	遷移工程師
建立 Amazon S3 觸發程序以叫用 Lambda 函數。	若要設定叫用 Lambda 函數的觸發程序，請執行下列動作： 在 Lambda 主控台上，開啟函數頁面。 選擇 Lambda 函數。 在函數概觀 中，選擇新增觸發程序 。 在觸發組態下拉式清單中，選擇 S3。 在儲存貯體欄位中，輸入來源儲存貯體的名稱。 在事件類型下拉式清單中，選擇所有物件建立事件 。 選取我確認不建議同時針對輸入和輸出使用相同的 S3 儲存貯體核取方塊，然後選擇新增 。 如需詳細資訊，請參閱教學課程：使用 Amazon S3 觸發條件叫用 Lambda 函數。	遷移潛在客戶
提供 Lambda 函數的IAM許可。	IAM Lambda 函數需要 許可才能存取檔案傳輸目的地和來源資料集 S3 儲存貯體。透過允許 s3:GetObject和 檔案傳輸目的地 S3 儲存貯體 的s3:DeleteObject 許可，以及來源資料集 S3 儲存貯體的s3:PutObject存取，更新與 Lambda 函數執行角色相關聯的政策。 如需詳細資訊，請參閱教學課程中的建立許可政策 一節：使用 Amazon S3 觸發程序來叫用 Lambda 函數 。 Amazon S3	遷移潛在客戶

定義大型主機資料傳輸任務

任務	描述	所需的技能
建立傳輸任務，將大型主機檔案複製到 S3 儲存貯體。	若要建立大型主機檔案傳輸任務，請遵循AWS Mainframe Modernization 文件中的指示。 注意：將來源碼頁面編碼為 IBM1047，並將目標碼頁面編碼為 UTF-8。	遷移工程師
驗證傳輸任務。	若要驗證資料傳輸是否成功，請遵循AWS Mainframe Modernization 文件 中的指示。確認大型主機檔案位於檔案傳輸目的地 S3 儲存貯體中。	遷移潛在客戶
驗證 Lambda 複製函數。	確認 Lambda 函數已啟動，且檔案已使用 .csv 副檔名複製到來源資料集 S3 儲存貯體。 Lambda 函數建立的 .csv 檔案是 Amazon 的輸入資料檔案 QuickSight。如需範例資料，請參閱附件區段中的 Sample-data-member-healthcare-APG 檔案。	遷移潛在客戶

將 Amazon QuickSight 連接至大型主機資料

任務	描述	所需的技能
設定 Amazon QuickSight。	若要設定 Amazon QuickSight，請遵循AWS 文件 中的指示。	遷移潛在客戶
建立 Amazon 的資料集 QuickSight。	若要為 Amazon 建立資料集 QuickSight，請遵循AWS 文件 中的指示。輸入資料檔案是在您定義大型主機資料傳輸任務時建立的轉換大型主機檔案。	遷移潛在客戶

在 中使用 Amazon Q，從大型主機資料中取得商業洞見 QuickSight

任務	描述	所需的技能
在 中設定 Amazon Q QuickSight。	此功能需要 Enterprise Edition。若要在 中設定 Amazon Q QuickSight，請執行下列動作： 若要取得 Amazon Q 附加元件，請遵循AWS 文件 中的步驟 1：取得 Q 附加元件。 若要在 Amazon Q 中使用生成的 BI 功能，請升級使用者的帳戶。請遵循AWS 文件 中的指示。 使用您先前建立的資料集來建立 Amazon Q 主題。請遵循AWS 文件 中的指示。 若要設定主題中繼資料使其易於使用的自然語言，請遵循AWS 文件 中的指示。	遷移潛在客戶
分析大型主機資料並建置視覺化儀表板。	若要在 Amazon 中分析和視覺化您的資料 QuickSight，請執行下列動作： 若要建立大型主機資料分析，請依照AWS 文件 中的指示進行。針對資料集，選擇在上一個步驟中建立的資料集。 在分析頁面上，選擇建置視覺效果 。 在建立分析主題視窗中，選擇更新現有主題 。 在選取主題下拉式清單中，選擇您先前建立的主題。 選擇主題連結 。 連結主題後，請選擇建置視覺效果以開啟 Amazon Q 建置視覺效果視窗。 在提示列中，寫下您的分析問題。用於此模式的範例問題如下： 依區域顯示成員分佈 依年齡顯示成員分佈 依性別顯示成員分佈 依計劃類型顯示成員分佈 顯示成員未完成預防性免疫接種 輸入問題後，請選擇建置 。中的 Amazon Q 會 QuickSight 建立視覺效果。 若要將視覺效果新增至視覺效果儀表板，請選擇 ADD TO ANALYSIS。 完成後，您可以發佈儀表板，與組織中的其他人共用。如需範例，請參閱其他資訊區段中的大型主機視覺化儀表板。	遷移工程師

從大型主機資料使用 Amazon Q in QuickSight 建立資料故事

任務	描述	所需的技能
建立資料故事。	建立資料故事以解釋先前分析的洞察，並產生建議，以增加成員的預防預防接種： 若要建立資料故事，請遵循AWS 文件 中的指示。 針對資料故事提示，請使用下列各項： Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. 您也可以建立自己的提示，為其他業務洞察產生資料故事。 選擇 新增視覺效果 ，然後新增與資料故事相關的視覺效果。對於此模式，請使用您先前建立的視覺效果。 選擇 Build (建置)。 如需資料故事輸出的範例，請參閱其他資訊區段中的資料故事輸出。	遷移工程師
檢視產生的資料故事。	若要檢視產生的資料故事，請遵循 AWS 文件 中的指示。	遷移潛在客戶
編輯產生的資料故事。	若要變更資料故事中的格式、配置或視覺效果，請遵循AWS 文件 中的指示。	遷移潛在客戶
分享資料故事。	若要共用資料故事，請遵循AWS 文件 中的指示。	遷移工程師

故障診斷

問題	解決方案
無法探索在資料集搜尋條件中輸入的大型主機檔案或資料集，以在 File AWS Mainframe Modernization Transfer 中使用 建立傳輸任務BMC。	首先，在 AWS Mainframe Modernization 使用BMC主控台的 Transfer 上選擇資料傳輸端點來檢查連線。如果上次活動訊號時間超過兩分鐘，則尚未建立檔案傳輸的連線。如果執行於大型主機的代理程式的上次活動訊號時間少於 2 分鐘，則與代理程式的連線會成功。繼續步驟 2。 檢查 AWS Secrets Manager 設定。秘密金鑰必須在 Secrets Manager 中設定，其金鑰為 userId（大寫 I），其值為大型主機的使用者 ID，而金鑰為 password ，其值為大型主機密碼。userId 和 password秘密金鑰區分大小寫，必須按原樣輸入。

相關資源

若要將 PACKED-DECIMAL （COMP-3） 或 BINARY（COMP 或 COMP-4） 等大型主機資料類型轉換為 Amazon 支援的資料類型 QuickSight，請參閱下列模式：

• 使用 Python AWS 將EBCDIC資料轉換為 並解壓縮為ASCII開啟

• 使用 Amazon S3 將大型主機檔案從EBCDIC格式轉換為字元分隔ASCII格式 AWS Lambda

其他資訊

S3CopyLambda.py

下列 Python 程式碼是透過在 中使用提示與 Amazon Q 開發人員產生IDE：

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

大型主機視覺化儀表板

下列資料視覺效果是由 Amazon Q 在 中 QuickSight 為分析問題 建立show member distribution by region。

下列資料視覺效果是由 Amazon Q 在 中 QuickSight 為問題 建立show member distribution by Region who have not completed preventive immunization, in pie chart。

資料故事輸出

下列螢幕擷取畫面顯示 Amazon Q 在 中 QuickSight 為提示所建立的資料故事區段 Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

在簡介中，資料故事建議選擇最多成員的 區域，以從免疫工作中獲得最大的影響。

資料故事提供前三個區域的成員編號分析，並將西南地區命名為主要區域，以專注於免疫工作。

注意：西南部和東北部各有八個成員。不過，西南部有更多未完全接種疫苗的成員，因此更有可能受益於提高免疫接種率的計劃。

附件

若要存取與本文件相關聯的其他內容，請解壓縮下列檔案： attachment.zip