AWS 메인프레임 현대화 및 Amazon Q in을 사용하여 데이터 통찰력을 생성합니다. QuickSight

환경: PoC 또는 파일럿	기술: 메인프레임, 분석, 마이그레이션, 현대화, 기계 학습 및 AI	워크로드: IBM
AWS 서비스: AWS Lambda, AWS 메인프레임 현대화 QuickSight, 아마존, Amazon S3

요약

조직이 메인프레임 환경에서 비즈니스 크리티컬 데이터를 호스팅하는 경우, 해당 데이터에서 통찰력을 얻는 것이 성장과 혁신을 주도하는 데 매우 중요합니다. 메인프레임 데이터를 활용하면 Amazon Web Services () Cloud에서 더 빠르고 안전하며 확장 가능한 비즈니스 인텔리전스를 구축하여 데이터 기반 의사 결정, 성장 및 혁신을 가속화할 수 있습니다.AWS

이 패턴은 BMC 및 Amazon Q in의 AWS Mainframe Modernization File Transfer를 사용하여 메인프레임 데이터에서 비즈니스 통찰력을 생성하고 공유 가능한 설명을 생성하는 솔루션을 제공합니다. QuickSight 메인프레임 데이터 세트는 BMC를 통한 AWS 메인프레임 현대화 파일 전송을 사용하여 Amazon Simple Storage Service (Amazon S3) 로 전송됩니다. AWS Lambda 함수는 Amazon에 로드하기 위해 메인프레임 데이터 파일을 포맷하고 준비합니다. QuickSight

Amazon에서 데이터를 사용할 수 있게 되면 Amazon QuickSight Q와 함께 자연어 프롬프트를 QuickSight 사용하여 데이터 요약을 생성하고, 질문하고, 데이터 스토리를 생성할 수 있습니다. SQL 쿼리를 작성하거나 비즈니스 인텔리전스 (BI) 도구를 배울 필요가 없습니다.

비즈니스 컨텍스트

이 패턴은 메인프레임 데이터 분석 및 데이터 인사이트 사용 사례를 위한 솔루션을 제시합니다. 패턴을 사용하여 회사 데이터에 대한 시각적 대시보드를 만들 수 있습니다. 솔루션을 시연하기 위해 이 패턴은 미국에 있는 회원들에게 의료, 치과 및 안과 플랜을 제공하는 의료 회사를 사용합니다. 이 예시에서는 가입자 인구 통계 및 플랜 정보가 메인프레임 데이터세트에 저장됩니다. 시각적 대시보드에는 다음과 같은 내용이 표시됩니다.

• 지역별 회원 분포

• 성별에 따른 회원 분포

• 연령별 회원 분포

• 플랜 유형별 회원 분포

• 예방 접종을 완료하지 않은 가입자

대시보드를 만든 후에는 이전 분석에서 얻은 통찰력을 설명하는 데이터 스토리를 생성합니다. 데이터 스토리는 예방 접종을 완료한 회원 수를 늘리기 위한 권장 사항을 제공합니다.

사전 조건 및 제한 사항

사전 조건 

• 액티브 AWS 계정

• 비즈니스 데이터가 포함된 메인프레임 데이터세트

• 메인프레임에 파일 전송 에이전트를 설치하기 위한 액세스

제한 사항

• 메인프레임 데이터 파일은 Amazon에서 지원하는 파일 형식 중 하나여야 합니다. QuickSight 지원되는 파일 형식 목록은 Amazon QuickSight 설명서를 참조하십시오.

  이 패턴은 Lambda 함수를 사용하여 메인프레임 파일을 Amazon에서 지원하는 형식으로 변환합니다. QuickSight

아키텍처

다음 다이어그램은 BMC 및 Amazon Q in의 AWS Mainframe Modernization File Transfer를 사용하여 메인프레임 데이터에서 비즈니스 통찰력을 생성하는 아키텍처를 보여줍니다. QuickSight

이 다이어그램은 다음 워크플로를 보여줍니다.

1. 비즈니스 데이터를 포함하는 메인프레임 데이터 세트는 BMC의 AWS Mainframe Modernization 파일 전송을 사용하여 Amazon S3로 전송됩니다.

2. Lambda 함수는 파일 전송 대상 S3 버킷에 있는 파일을 CSV (쉼표로 구분된 값) 형식으로 변환합니다.

3. Lambda 함수는 변환된 파일을 원본 데이터세트 S3 버킷으로 전송합니다.

4. 파일의 데이터는 QuickSight Amazon에서 수집합니다.

5. 사용자는 Amazon의 데이터에 QuickSight 액세스합니다. Amazon Q QuickSight in을 사용하면 자연어 프롬프트를 사용하여 데이터와 상호 작용할 수 있습니다.

도구

서비스

• AWS Lambda는 서버를 프로비저닝하거나 관리할 필요 없이 코드를 실행하는 데 도움이 되는 컴퓨팅 서비스입니다. 필요할 때만 코드를 실행하며 자동으로 확장이 가능하므로 사용한 컴퓨팅 시간만큼만 비용을 지불합니다.

• AWS Mainframe Modernization BMC를 통한 파일 전송은 메인프레임 현대화, 마이그레이션 및 증강 사용 사례를 위해 메인프레임 데이터 세트를 Amazon S3로 변환하고 전송합니다.

• QuickSightAmazon은 단일 대시보드에서 데이터를 시각화, 분석 및 보고하는 데 도움이 되는 클라우드 규모의 BI 서비스입니다. 이 패턴은 Amazon Q in의 제너레이티브 BI 기능을 사용합니다. QuickSight

• Amazon Simple Storage Service(S3)는 원하는 양의 데이터를 저장, 보호 및 검색하는 데 도움이 되는 클라우드 기반 객체 스토리지 서비스입니다.

모범 사례

• BMC와 Lambda 함수를 통한 AWS Mainframe Modernization 파일 전송을 위한 AWS Identity and Access Management (IAM) 역할을 생성할 때는 최소 권한 원칙을 따르십시오.

• 소스 데이터세트에 QuickSight Amazon에서 지원하는 데이터 유형이 있는지 확인하십시오. 소스 데이터세트에 지원되지 않는 데이터 유형이 포함되어 있는 경우 지원되는 데이터 유형으로 변환하십시오. 지원되지 않는 메인프레임 데이터 유형과 이를 Amazon Q에서 QuickSight 지원하는 데이터 유형으로 변환하는 방법에 대한 자세한 내용은 관련 리소스 섹션을 참조하십시오.

에픽

BMC로 AWS Mainframe Modernization 파일 전송 설정

작업	설명	필요한 기술
파일 전송 에이전트를 설치합니다.	메인프레임에 AWS Mainframe Modernization 파일 전송 에이전트를 설치하려면 설명서의 지침을 따르십시오.AWS	메인프레임 시스템 관리자
메인프레임 파일 전송을 위한 S3 버킷을 생성합니다.	BMC를 통한 AWS Mainframe Modernization 파일 전송의 출력 파일을 저장할 S3 버킷을 생성합니다. 아키텍처 다이어그램에서 이는 파일 전송 대상 버킷입니다.	마이그레이션 엔지니어
데이터 전송 엔드포인트를 생성합니다.	S3 버킷을 생성하여 BMC를 통한 AWS Mainframe Modernization 파일 전송을 위한 입력 메인프레임 파일을 스테이징합니다. 메인프레임 데이터 전송 엔드포인트를 생성하려면 설명서의 지침을 따르십시오.AWS	AWS 메인프레임 현대화 전문가

Amazon 통합을 위해 메인프레임 파일 이름 확장명 변환 QuickSight

작업	설명	필요한 기술
S3 버킷을 생성합니다.	Lambda 함수에 대한 S3 버킷을 생성하여 변환된 메인프레임 파일을 원본에서 최종 대상 버킷으로 복사합니다.	마이그레이션 엔지니어
Lambda 함수를 생성합니다.	파일 확장자를 변경하고 메인프레임 파일을 대상 버킷에 복사하는 Lambda 함수를 생성하려면 다음을 수행하십시오. 에 로그인하고 AWS Management Console콘솔로 이동합니다. AWS Lambda 만들기 기능을 선택한 다음 처음부터 작성자를 선택합니다. 함수 이름에는 함수 이름을 입력합니다. 런타임 드롭다운 목록에서 Python.3.X를 선택합니다. 기본 실행 역할 변경을 확장한 다음 기본 Lambda 권한을 사용하여 새 역할 생성을 선택합니다. 함수 생성을 선택합니다. 코드 탭을 선택한 다음 추가 정보 섹션에 제공된 S3CopyLambda.py Python 코드를 붙여넣습니다. Python 코드는 마이크로소프트 비주얼 스튜디오 통합 개발 환경 (IDE) 에서 Amazon Q Developer를 사용하여 생성되었습니다. 이전에 만든 S3 버킷의 이름과 메인프레임 파일 이름으로 편집하십시오. destination_bucket_name change destination_file_key Lambda 함수를 배포합니다.	마이그레이션 엔지니어
Amazon S3 트리거를 생성하여 Lambda 함수를 호출합니다.	Lambda 함수를 호출하는 트리거를 구성하려면 다음을 수행하십시오. Lambda 콘솔에서 함수 페이지를 엽니다. Lambda 함수를 선택합니다. 함수 개요에서 트리거 추가를 선택합니다. 트리거 구성 드롭다운 목록에서 S3를 선택합니다. 버킷 필드에 원본 버킷의 이름을 입력합니다. 이벤트 유형 드롭다운 목록에서 모든 객체 생성 이벤트를 선택합니다. 입력과 출력 모두에 동일한 S3 버킷을 사용하는 것은 권장되지 않음을 인정함 확인란을 선택한 다음 추가를 선택합니다. 자세한 내용은 자습서: Amazon S3 트리거를 사용하여 Lambda 함수 호출을 참조하세요.	마이그레이션 책임자
Lambda 함수에 대한 IAM 권한을 제공하십시오.	Lambda 함수가 파일 전송 대상 및 소스 데이터세트 S3 버킷에 액세스하려면 IAM 권한이 필요합니다. 파일 전송 대상 S3 버킷 및 원본 데이터세트 S3 버킷에 대한 액세스를 s3:GetObject s3:DeleteObject 허용하고 권한을 부여하여 Lambda 함수 실행 s3:PutObject 역할과 관련된 정책을 업데이트합니다. 자세한 내용은 자습서: Amazon S3 트리거를 사용하여 Lambda 함수 호출의 권한 정책 생성 섹션을 참조하십시오.	마이그레이션 책임자

메인프레임 데이터 전송 작업을 정의합니다.

작업	설명	필요한 기술
전송 작업을 생성하여 메인프레임 파일을 S3 버킷으로 복사합니다.	메인프레임 파일 전송 작업을 생성하려면 설명서의 지침을 따르십시오.AWS Mainframe Modernization 참고: 소스 코드 페이지 인코딩을 IBM1047, 대상 코드 페이지 인코딩을 UTF-8 인코딩으로 지정하십시오.	마이그레이션 엔지니어
전송 작업을 확인합니다.	데이터 전송이 성공했는지 확인하려면 AWS Mainframe Modernization 설명서의 지침을 따르십시오. 메인프레임 파일이 파일 전송 대상 S3 버킷에 있는지 확인합니다.	마이그레이션 책임자
Lambda 복사 함수를 확인합니다.	Lambda 함수가 시작되었고 파일이.csv 확장자를 사용하여 원본 데이터세트 S3 버킷에 복사되었는지 확인합니다. Lambda 함수로 생성된.csv 파일은 Amazon의 입력 데이터 파일입니다. QuickSight 예제 데이터는 첨부 파일 섹션의 Sample-data-member-healthcare-APG 파일을 참조하십시오.	마이그레이션 책임자

QuickSight Amazon을 메인프레임 데이터에 연결

작업	설명	필요한 기술
아마존을 QuickSight 설정하세요.	QuickSightAmazon을 설정하려면 AWS 설명서의 지침을 따르십시오.	마이그레이션 책임자
QuickSightAmazon용 데이터세트를 생성합니다.	QuickSightAmazon용 데이터세트를 생성하려면 AWS 설명서의 지침을 따르십시오. 입력 데이터 파일은 메인프레임 데이터 전송 작업을 정의할 때 생성된 변환된 메인프레임 파일입니다.	마이그레이션 책임자

Amazon Q in을 사용하여 메인프레임 데이터에서 비즈니스 통찰력을 얻으십시오. QuickSight

작업	설명	필요한 기술
Amazon Q in을 QuickSight 설정하세요.	이 기능을 사용하려면 엔터프라이즈 에디션이 필요합니다. Amazon Q QuickSight in을 설정하려면 다음과 같이 하십시오. Amazon Q 애드온을 다운로드하려면 설명서의 1단계: Q 애드온 다운로드 지침을 따르십시오.AWS Amazon Q의 제너레이티브 BI 기능을 사용하려면 사용자 계정을 업그레이드하십시오. 설명서의AWS 지침을 따르십시오. 이전에 만든 데이터세트를 사용하여 Amazon Q 주제를 생성합니다. AWS 설명서의 지침을 따르십시오. 주제 메타데이터를 자연어 친화적으로 구성하려면 설명서의 지침을 따르세요.AWS	마이그레이션 책임자
메인프레임 데이터를 분석하고 시각적 대시보드를 구축하십시오.	Amazon에서 데이터를 분석하고 QuickSight 시각화하려면 다음과 같이 하십시오. 메인프레임 데이터 분석을 생성하려면 설명서의 지침을 따르십시오.AWS 데이터세트의 경우 이전 단계에서 만든 데이터세트를 선택하세요. 분석 페이지에서 비주얼 빌드를 선택합니다. 분석용 주제 만들기 창에서 기존 주제 업데이트를 선택합니다. 주제 선택 드롭다운 목록에서 이전에 생성한 주제를 선택합니다. 주제 링크를 선택합니다. 주제를 연결한 후 비주얼 생성을 선택하여 Amazon Q Visual Build a Visual 창을 엽니다. 프롬프트 바에 분석 질문을 적으십시오. 이 패턴에 사용되는 예제 질문은 다음과 같습니다. 지역별 회원 분포 보기 연령별 회원 분포 보기 성별에 따른 회원 분포 보기 플랜 유형별 구성원 분포 보기 예방 접종을 완료하지 않은 회원 보기 질문을 입력한 후 빌드를 선택합니다. Amazon Q QuickSight in은 비주얼을 생성합니다. 시각적 대시보드에 시각적 개체를 추가하려면 [분석에 추가] 를 선택합니다. 완료하면 대시보드를 게시하여 조직 내 다른 사용자와 공유할 수 있습니다. 예를 들어 추가 정보 섹션의 메인프레임 비주얼 대시보드를 참조하십시오.	마이그레이션 엔지니어

메인프레임 QuickSight 데이터에서 Amazon Q를 사용하여 데이터 스토리 생성

작업	설명	필요한 기술
데이터 스토리 생성.	이전 분석에서 얻은 통찰력을 설명하는 데이터 스토리를 만들고 구성원의 예방 접종을 늘리기 위한 권장 사항을 생성하십시오. 데이터 스토리를 만들려면 AWS 설명서의 지침을 따르세요. 데이터 스토리 프롬프트의 경우 다음을 사용하세요. Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern. 자체 프롬프트를 만들어 다른 비즈니스 통찰력을 위한 데이터 스토리를 생성할 수도 있습니다. 시각적 개체 추가를 선택하고 데이터 스토리와 관련된 시각적 개체를 추가합니다. 이 패턴에는 이전에 만든 비주얼을 사용하세요. 구축을 선택합니다. 데이터 스토리 출력의 예는 추가 정보 섹션의 데이터 스토리 출력을 참조하십시오.	마이그레이션 엔지니어
생성된 데이터 스토리 보기	생성된 데이터 스토리를 보려면 AWS 설명서의 지침을 따르십시오.	마이그레이션 책임자
생성된 데이터 스토리를 편집합니다.	데이터 스토리의 형식, 레이아웃 또는 시각적 개체를 변경하려면 AWS 설명서의 지침을 따르세요.	마이그레이션 책임자
데이터 스토리 공유.	데이터 스토리를 공유하려면 AWS 설명서의 지침을 따르세요.	마이그레이션 엔지니어

문제 해결

문제	Solution
BMC를 통한 파일 전송의 전송 작업 생성에 대한 데이터 세트 검색 기준에 입력된 메인프레임 AWS Mainframe Modernization 파일 또는 데이터세트를 찾을 수 없습니다.	먼저 BMC로 전송 콘솔에서 데이터 전송 엔드포인트를 선택하여 연결을 확인합니다. AWS Mainframe Modernization 마지막 하트비트 시간이 2분 이상이면 파일 전송을 위한 연결이 설정되지 않은 것입니다. 메인프레임에서 실행 중인 에이전트의 마지막 하트비트 시간이 2분 미만이면 에이전트에 성공적으로 연결됩니다. 2단계로 진행하십시오. AWS Secrets Manager 설정을 확인하세요. Secrets Manager에서 메인프레임 사용자 ID 값을 가진 키 userId (대문자 I) 와 메인프레임 암호 값을 가진 키를 사용하여 Secrets Manager에서 구성해야 합니다. password userId및 password 비밀 키는 대소문자를 구분하므로 그대로 입력해야 합니다.

관련 리소스

포장 십진수 (COMP-3) 또는 바이너리 (COMP 또는 COMP-4) 와 같은 메인프레임 데이터 유형을 Amazon에서 지원하는 데이터 유형으로 변환하려면 다음 패턴을 참조하십시오. QuickSight

• Python을 사용하여 EBCDIC 데이터를 ASCII로 변환하고 압축을 풉니다. AWS

• 다음을 사용하여 Amazon S3에서 메인프레임 파일을 EBCDIC 형식에서 문자로 구분된 ASCII 형식으로 변환합니다. AWS Lambda

추가 정보

CopyLambdaS3. py.

다음 Python 코드는 IDE에서 Amazon Q Developer와 함께 프롬프트를 사용하여 생성되었습니다.

#Create a lambda function triggered by S3. display the S3 bucket name and key
import boto3
s3 = boto3.client('s3')
def lambda_handler(event, context):
print(event)
bucket = event['Records'][0]['s3']['bucket']['name']
key = event['Records'][0]['s3']['object']['key']
print(bucket, key)
#If key starts with object_created, skip copy, print "copy skipped". Return lambda with key value.
if key.startswith('object_created'):
print("copy skipped")
return {
'statusCode': 200,
'body': key
}
# Copy the file from the source bucket to the destination bucket. Destination_bucket_name = 'm2-filetransfer-final-opt-bkt'. Destination_file_key = 'healthdata.csv'
copy_source = {'Bucket': bucket, 'Key': key}
s3.copy_object(Bucket='m2-filetransfer-final-opt-bkt', Key='healthdata.csv', CopySource=copy_source)
print("file copied")
#Delete the file from the source bucket.
s3.delete_object(Bucket=bucket, Key=key)
return {
'statusCode': 200,
'body': 'Copy Successful'
}

메인프레임 비주얼 대시보드

다음 데이터 비주얼은 분석 질문에 QuickSight 대해 Amazon Q에서 만든 show member distribution by region 것입니다.

다음 데이터 비주얼은 질문에 QuickSight 대해 Amazon Q에서 만든 show member distribution by Region who have not completed preventive immunization, in pie chart 것입니다.

데이터 스토리 출력

다음 스크린샷은 프롬프트를 QuickSight 위해 Amazon Q에서 생성한 데이터 스토리 섹션을 보여줍니다. Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data.

서론에서 데이터 스토리에서는 면역 노력의 효과를 극대화하기 위해 회원이 가장 많은 지역을 선택할 것을 권장합니다.

이 데이터 스토리는 상위 3개 지역의 회원 수에 대한 분석을 제공하며, 남서부 지역을 예방접종 노력에 주력하는 선도 지역으로 선정했습니다.

참고: 남서부 및 북동부 지역에는 각각 8명의 회원국이 있습니다. 하지만 남서부 지역에는 백신 접종을 완료하지 않은 회원들이 더 많기 때문에 예방접종률을 높이기 위한 이니셔티브의 혜택을 받을 가능성이 더 큽니다.

첨부

이 문서와 관련된 추가 콘텐츠에 액세스하려면 attachment.zip 파일의 압축을 풉니다.