Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Hasilkan wawasan z/OS data Db2 dengan menggunakan dan AWS Mainframe Modernization Amazon Q di QuickSight
Shubham Roy, Roshna Razack, dan Santosh Kumar Singh, Amazon Web Services
Ringkasan
Jika organisasi Anda menghosting data penting bisnis di lingkungan mainframe IBM Db2, mendapatkan wawasan dari data tersebut sangat penting untuk mendorong pertumbuhan dan inovasi. Dengan membuka kunci data mainframe, Anda dapat membangun intelijen bisnis yang lebih cepat, aman, dan terukur untuk mempercepat pengambilan keputusan, pertumbuhan, dan inovasi berbasis data di Amazon Web Services () Cloud.AWS
Pola ini menyajikan solusi untuk menghasilkan wawasan bisnis dan membuat narasi yang dapat dibagikan dari data mainframe di IBM Db2 untuk tabel. z/OS Perubahan data mainframe dialirkan ke topik Amazon Managed Streaming for Apache Kafka (Amazon MSK AWS Mainframe Modernization ) menggunakan Replikasi Data dengan Tepat. Menggunakan konsumsi streaming Amazon Redshift, data topik MSK Amazon disimpan di tabel gudang data Amazon Redshift Tanpa Server untuk analitik di Amazon. QuickSight
Setelah data tersedia QuickSight, Anda dapat menggunakan petunjuk bahasa alami dengan Amazon Q in QuickSight untuk membuat ringkasan data, mengajukan pertanyaan, dan menghasilkan cerita data. Anda tidak perlu menulis kueri SQL atau mempelajari alat intelijen bisnis (BI).
Konteks bisnis
Pola ini menyajikan solusi untuk analisis data mainframe dan kasus penggunaan wawasan data. Dengan menggunakan pola, Anda membangun dasbor visual untuk data perusahaan Anda. Untuk mendemonstrasikan solusinya, pola ini menggunakan perusahaan perawatan kesehatan yang menyediakan rencana medis, gigi, dan penglihatan kepada anggotanya di AS. Dalam contoh ini, demografi anggota dan informasi rencana disimpan di IBM Db2 untuk tabel data. z/OS Dasbor visual menunjukkan hal berikut:
Distribusi anggota berdasarkan wilayah
Distribusi anggota berdasarkan jenis kelamin
Distribusi anggota berdasarkan usia
Distribusi anggota berdasarkan jenis rencana
Anggota yang belum menyelesaikan imunisasi preventif
Untuk contoh distribusi anggota menurut wilayah dan anggota yang belum menyelesaikan imunisasi preventif, lihat bagian Informasi tambahan.
Setelah membuat dasbor, Anda menghasilkan cerita data yang menjelaskan wawasan dari analisis sebelumnya. Cerita data memberikan rekomendasi untuk meningkatkan jumlah anggota yang telah menyelesaikan imunisasi preventif.
Prasyarat dan batasan
Prasyarat
Aktif Akun AWS. Solusi ini dibangun dan diuji di Amazon Linux 2 di Amazon Elastic Compute Cloud (Amazon EC2).
Virtual Private Cloud (VPC) dengan subnet yang dapat diakses oleh sistem mainframe Anda.
Database mainframe dengan data bisnis. Untuk contoh data yang digunakan untuk membangun dan menguji solusi ini, lihat bagian Lampiran.
Ubah pengambilan data (CDC) diaktifkan pada tabel Db2 z/OS . Untuk mengaktifkan CDC pada Db2 z/OS, lihat dokumentasi IBM.
Tepatnya Connect CDC untuk z/OS diinstal pada z/OS sistem yang menghosting database sumber. CDC Tepat Connect untuk z/OS gambar disediakan sebagai file zip dalam AWS Mainframe Modernization - Replikasi Data untuk IBM z/OS Amazon Machine Image (AMI). Untuk menginstal Connected Connect CDC z/OS di mainframe, lihat dokumentasi Instalasi yang tepat.
Batasan
Data Db2 mainframe Anda harus berada dalam tipe data yang didukung oleh Acceply Connect CDC. Untuk daftar tipe data yang didukung, lihat dokumentasi CDC Connect dengan tepat.
Data Anda di Amazon MSK harus dalam tipe data yang didukung oleh Amazon Redshift. Untuk daftar tipe data yang didukung, lihat dokumentasi Amazon Redshift.
Amazon Redshift memiliki perilaku dan batas ukuran yang berbeda untuk tipe data yang berbeda. Untuk informasi selengkapnya, lihat dokumentasi Amazon Redshift.
Data mendekati waktu nyata QuickSight tergantung pada interval penyegaran yang disetel untuk database Amazon Redshift.
Beberapa Layanan AWS tidak tersedia di semua Wilayah AWS. Untuk ketersediaan Wilayah, lihat Layanan AWS berdasarkan Wilayah. Amazon Q in saat QuickSight ini tidak tersedia di setiap Wilayah yang mendukung QuickSight. Untuk titik akhir tertentu, lihat halaman titik akhir dan kuota Layanan, dan pilih tautan untuk layanan.
Versi produk
Arsitektur
Arsitektur target
Diagram berikut menunjukkan arsitektur untuk menghasilkan wawasan bisnis dari data mainframe dengan menggunakan Replikasi AWS Mainframe Modernization Data dengan Tepatnya dan Amazon Q in. QuickSight
Diagram menunjukkan alur kerja berikut:
Agen Pembaca Log Tepatnya membaca data dari log Db2 dan menulis data ke penyimpanan sementara pada sistem file OMVS di mainframe.
Agen Penerbit membaca log Db2 mentah dari penyimpanan sementara.
Daemon pengontrol lokal mengautentikasi, mengotorisasi, memantau, dan mengelola operasi.
Agen Terapkan diterapkan di Amazon EC2 dengan menggunakan AMI yang telah dikonfigurasi sebelumnya. Ini terhubung dengan Agen Penerbit melalui daemon pengontrol dengan menggunakan TCP/IP. Agen Terapkan mendorong data ke MSK Amazon menggunakan beberapa pekerja untuk throughput tinggi.
Para pekerja menulis data ke topik MSK Amazon dalam format JSON. Sebagai target perantara untuk pesan yang direplikasi, Amazon MSK menyediakan kemampuan failover yang sangat tersedia dan otomatis.
Amazon Redshift streaming ingestion menyediakan latensi rendah, konsumsi data berkecepatan tinggi dari Amazon MSK ke database Amazon Redshift Serverless. Prosedur tersimpan di Amazon Redshift melakukan rekonsiliasi data perubahan mainframe (insert/update/deletes) ke dalam tabel Amazon Redshift. Tabel Amazon Redshift ini berfungsi sebagai sumber analisis data untuk. QuickSight
Pengguna mengakses data QuickSight untuk analitik dan wawasan. Anda dapat menggunakan Amazon Q in QuickSight untuk berinteraksi dengan data dengan menggunakan petunjuk bahasa alami.
Alat
Layanan AWS
Amazon Elastic Compute Cloud (Amazon EC2) menyediakan kapasitas komputasi yang dapat diskalakan di AWS Cloud. Anda dapat meluncurkan server virtual sebanyak yang Anda butuhkan dan dengan cepat menskalakannya atau masuk.
AWS Key Management Service (AWS KMS) membantu Anda membuat dan mengontrol kunci kriptografi untuk membantu melindungi data Anda.
Amazon Managed Streaming for Apache Kafka (Amazon MSK) adalah layanan yang dikelola sepenuhnya yang membantu Anda membangun dan menjalankan aplikasi yang menggunakan Apache Kafka untuk memproses data streaming.
Amazon QuickSight adalah layanan intelijen bisnis skala cloud (BI) yang membantu Anda memvisualisasikan, menganalisis, dan melaporkan data Anda dalam satu dasbor. Pola ini menggunakan kemampuan BI generatif Amazon Q in QuickSight.
Amazon Redshift Serverless adalah opsi tanpa server Amazon Redshift yang membuatnya lebih efisien untuk menjalankan dan menskalakan analitik dalam hitungan detik tanpa perlu menyiapkan dan mengelola infrastruktur gudang data.
AWS Secrets Managermembantu Anda mengganti kredensi hardcode dalam kode Anda, termasuk kata sandi, dengan panggilan API ke Secrets Manager untuk mengambil rahasia secara terprogram.
Alat lainnya
Repositori kode
Kode untuk pola ini tersedia di repositori GitHub Mainframe_ DataInsights _change_data_reconciliation. Kode ini adalah prosedur yang disimpan di Amazon Redshift. Prosedur tersimpan ini merekonsiliasi perubahan data mainframe (menyisipkan, memperbarui, dan menghapus) dari Amazon MSK ke dalam tabel Amazon Redshift. Tabel Amazon Redshift ini berfungsi sebagai sumber analisis data untuk. QuickSight
Praktik terbaik
Epik
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Siapkan grup keamanan. | Untuk terhubung ke daemon pengontrol dan kluster MSK Amazon, buat grup keamanan untuk instance tersebut. EC2 Tambahkan aturan masuk dan keluar berikut: Aturan masuk 1: Untuk Type, pilih Custom TCP. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 2626 (port default untuk daemon pengontrol Tepatnya) atau nomor port daemon pengontrol yang berjalan di mainframe. Untuk Sumber, pilih blok CIDR.
Aturan masuk 2: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih SSH. Untuk rentang Port, pilih 22. Untuk Sumber, pilih alamat IP atau daftar awalan.
Aturan masuk 3: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 9092-9098. Untuk Sumber, pilih blok CIDR.
Aturan keluar 1: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 9092-9098. Untuk Sumber, pilih blok CIDR.
Aturan keluar 2: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 2626 (port default untuk daemon pengontrol Tepatnya) atau nomor port daemon pengontrol yang berjalan di mainframe. Untuk Sumber, pilih blok CIDR.
Perhatikan nama grup keamanan. Anda perlu mereferensikan nama saat meluncurkan EC2 instance dan mengonfigurasi cluster MSK Amazon. | DevOps insinyur, AWS DevOps |
Buat kebijakan IAM dan peran IAM. | Untuk membuat kebijakan IAM dan peran IAM, ikuti petunjuk dalam dokumentasi AWS. Kebijakan IAM memberikan akses untuk membuat topik di klaster MSK Amazon dan mengirim data ke topik tersebut. Setelah Anda membuat peran IAM, kaitkan kebijakan tersebut dengannya. Perhatikan nama peran IAM. Peran ini akan digunakan sebagai profil instans IAM saat Anda meluncurkan EC2 instance.
| DevOps insinyur, administrator sistem AWS |
Menyediakan sebuah EC2 contoh. | Untuk menyediakan EC2 instans untuk menjalankan Exceply CDC dan terhubung ke Amazon MSK, lakukan hal berikut: Masuk ke AWS Marketplace, dan berlangganan AWS Mainframe Modernization - Replikasi Data untuk IBM z/OS. Pilih AMI dari langganan terkelola, dan pilih Launch new instance. Berikan detail konfigurasi lainnya, seperti nama instance, tipe instance, key pair, VPC, dan subnet. Untuk informasi selengkapnya, lihat EC2 dokumentasi Amazon. Dalam daftar dropdown, pilih grup keamanan yang Anda buat sebelumnya. Di bawah Detail lanjutan, profil instans IAM, Anda harus memilih peran yang Anda buat sebelumnya. Pilih Luncurkan instans.
| Administrator AWS, DevOps insinyur |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Buat cluster MSK Amazon. | Untuk membuat cluster MSK Amazon, lakukan hal berikut: Masuk ke AWS Management Console, dan buka konsol MSK Amazon di https://console.aws.amazon.com/msk/. Pilih Buat klaster. Untuk metode pembuatan cluster, pilih Custom create, dan untuk tipe cluster, pilih Provisioned. Berikan nama untuk cluster. Perbarui pengaturan Cluster sesuai kebutuhan, dan pertahankan default untuk pengaturan lainnya. Perhatikan versi < Kafka>. Anda akan membutuhkannya selama pengaturan klien Kafka. Pilih Berikutnya. Pilih VPC dan subnet yang sama dengan yang Anda gunakan untuk EC2 instans Tepat, dan pilih grup keamanan yang Anda buat sebelumnya. Di bagian Pengaturan keamanan, aktifkan otentikasi berbasis peran SASL/SCRAM dan IAM. Secara tepat Connect menggunakan CDC SASL/SCRAM (Sederhana Authentication and Security Layer/Salted Challenge Response Mechanism), dan IAM diperlukan untuk menghubungkan ke Amazon Redshift. Pilih Berikutnya. Untuk meninjau, pilih metode pengiriman log Monitoring dan Broker. Pilih Berikutnya, lalu pilih Buat cluster.
Cluster yang disediakan khas membutuhkan waktu hingga 15 menit untuk membuatnya. Setelah cluster dibuat, statusnya berubah dari Creating menjadi Active. | AWS DevOps, Administrator Cloud |
Mengatur SASL/SCRAM otentikasi. | Untuk menyiapkan SASL/SCRAM otentikasi klaster MSK Amazon, lakukan hal berikut: Untuk mengatur rahasia di Secrets Manager, ikuti instruksi dalam AWS dokumentasi. Buka konsol MSK Amazon, dan pilih cluster MSK Amazon yang Anda buat sebelumnya. Pilih tab Properti. Pilih Rahasia asosiasi, Pilih rahasia, pilih kunci rahasia yang Anda buat, lalu pilih Rahasia asosiasi. Anda akan melihat pesan sukses yang mirip dengan yang berikut ini: Successfully associated 1 secret for cluster <chosen cluster name>
Pilih nama cluster. Dalam ringkasan klaster, pilih Lihat informasi klien. Perhatikan string koneksi endpoint pribadi untuk jenis otentikasi SASL/SCRAM.
| Arsitek awan |
Buat topik MSK Amazon. | Untuk membuat topik MSK Amazon, lakukan hal berikut: Connect ke EC2 instance yang Anda buat sebelumnya, dan instal pembaruan terbaru dengan menjalankan perintah berikut: sudo yum update -y
Instal perpustakaan Java dan Kafka dengan menjalankan perintah berikut: sudo yum install -y java-11 librdkafka librdkafka-devel
Untuk membuat folder bernama kafka/home/ec2-user, navigasikan ke folder itu, dan jalankan perintah berikut: mkdir kafka;cd kafka
Unduh pustaka kafka klien ke kafka folder, ganti <YOUR MSK VERSION> dengan versi Kafka yang Anda catat selama pembuatan cluster MSK Amazon: wget https://archive.apache.org/dist/kafka//kafka_2.13-<YOUR MSK VERSION>.tgz
Untuk mengekstrak file yang diunduh, jalankan perintah berikut, gantiYOUR MSK VERSION>: tar -xzf kafka_2.13-<YOUR MSK VERSION>.tgz
Untuk menavigasi ke kafka libs direktori dan mengunduh file Java IAM Authentication Java Archive (JAR), jalankan perintah berikut, ganti: <YOUR MSK VERSION> cd kafka_2.13-<YOUR MSK VERSION>/libs
wget https://github.com/aws/aws-msk-iam-auth/releases/download/v1.1.1/aws-msk-iam-auth-1.1.1-all.jarkafka
Untuk menavigasi ke bin direktori Kafka dan membuat client.properties file, jalankan perintah berikut: cd /home/ec2-user/kafka/kafka_2.13-<YOUR MSK VERSION>/bin
cat >client.properties
Perbarui client.properties file dengan konten berikut: security.protocol=SASL_SSL
sasl.mechanism=AWS_MSK_IAM
sasl.jaas.config=software.amazon.msk.auth.iam.IAMLoginModule required;
sasl.client.callback.handler.class=software.amazon.msk.auth.iam.IAMClientCallbackHandler
Untuk membuat topik Kafka, navigasikan ke tempat sampah Kafka dan jalankan perintah berikut, ganti <kafka broker> dengan titik akhir pribadi server bootstrap IAM yang Anda catat selama pembuatan cluster MSK Amazon: ./kafka-topics.sh --bootstrap-server <kafka broker> --command-config client.properties --create --replication-factor 3 —partitions 6 --topic <topic name>
Saat pesan Created topic <topic name> muncul, perhatikan nama topik.
| Administrator awan |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Siapkan skrip Tepat untuk mereplikasi perubahan data. | Untuk menyiapkan skrip CDC Connect yang tepat untuk mereplikasi data yang diubah dari mainframe ke topik MSK Amazon, lakukan hal berikut: Untuk membuat nama folder dengan tepat dan mengubah ke folder itu, jalankan perintah berikut: mkdir /home/ec2-user/precisely;cd /home/ec2-user/precisely
Untuk membuat dua folder di dalam tepat dipanggil scripts danddls, dan kemudian ubah ke scripts folder, jalankan perintah berikut: mkdir scripts;mkdir ddls;cd scripts
Untuk membuat file bernama sqdata_kafka_producer.conf dalam scripts folder, jalankan perintah berikut: cat >sqdata_kafka_producer.conf
Perbarui sqdata_kafka_producer.conf file dengan konten berikut: builtin.features=SASL_SCRAM
security.protocol=SASL_SSL
sasl.mechanism=SCRAM-SHA-512
sasl.username=<User Name>
sasl.password=<Password>
metadata.broker.list=<SASL/SCRAM Bootstrap servers>
Perbarui <SASL/SCRAM Bootstrap servers> dengan daftar SASL/SCRAM broker MSK Amazon yang sebelumnya Anda konfigurasikan. Perbarui <User Name> dan <Password> dengan nama pengguna dan kata sandi yang Anda atur sebelumnya di Secrets Manager. Buat script.sqd file di scripts folder. cat >script.sqd
Apply Engine digunakan script.sqd untuk memproses data sumber dan mereplikasi data sumber ke target. Untuk contoh Menerapkan skrip Engine, lihat bagian Informasi tambahan. Untuk mengubah ke ddls folder dan membuat file.ddl untuk setiap tabel Db2, jalankan perintah berikut: cd /home/ec2-user/precisely/ddls
cat >mem_details.ddl
cat >mem_plans.ddl
Misalnya file.ddl, lihat bagian Informasi tambahan. | Pengembang aplikasi, arsitek Cloud |
Hasilkan kunci ACL jaringan. | Untuk menghasilkan kunci network access control list (network ACL), lakukan hal berikut: Untuk mengekspor jalur sqdata instalasi, jalankan perintah berikut: export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin
Untuk mengubah ke /home/ec2-user direktori dan menghasilkan kunci ACL jaringan, jalankan perintah berikut: cd /home/ec2-user
sqdutil keygen --force
Setelah kunci publik dan pribadi dihasilkan, pesan berikut ditampilkan: SQDUT04I Generating a private key in file /home/ec2-user/.nacl/id_nacl
SQDC017I sqdutil(pid=27344) terminated successfully
Perhatikan kunci publik yang dihasilkan yang disimpan di .nacl folder.
| Arsitek cloud, AWS DevOps |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Konfigurasikan default di layar ISPF. | Untuk mengonfigurasi pengaturan default di Fasilitas Produktivitas Sistem Interaktif (ISPF), ikuti petunjuk dalam dokumentasi Tepatnya. | Administrator sistem mainframe |
Konfigurasikan daemon pengontrol. | Untuk mengkonfigurasi daemon pengontrol, lakukan hal berikut: Pada layar Menu Utama SQData z/OS, pilih opsi 2. Pada layar Tambahkan Daemon ke Daftar, di bidang Nama Daemon, masukkan nama untuk daemon, lalu tekan Enter.
| Administrator sistem mainframe |
Konfigurasikan penerbit. | Untuk mengkonfigurasi penerbit, lakukan hal berikut: Pada layar Menu Utama SQData z/OS, pilih opsi 3. Ini membawa Anda ke layar Ringkasan Capture/Publisher. Pilih opsi untuk menambahkan file CAB. Ini akan membawa Anda ke Tambahkan File CAB ke Daftar layar. Di bidang Nama, masukkan nama untuk file CAB. Untuk Db2, masukkan Type as. D Tekan Enter. Ini membawa Anda ke layar Create New Db2 Capture CAB File. Di bidang ZfS Dir, tentukan titik pemasangan penyimpanan. Tekan Enter untuk menyimpan dan melanjutkan.
| Administrator sistem mainframe |
Perbarui file konfigurasi daemon. | Untuk memperbarui detail penerbit di file konfigurasi daemon pengontrol, lakukan hal berikut: Pada layar Menu Utama SQData z/OS, pilih opsi 2. Masukkan S di dekat daemon yang Anda buat untuk melihat detail daemon. Masuk1, lalu tekan Enter untuk mengedit file agen. Tambahkan detail file CAB Anda. Contoh berikut menunjukkan rincian untuk file CAB bernamaDB2ZTOMSK. Gunakan ID pengguna mainframe Anda alih-alih. <userid> ÝDB2ZTOMSK¨
type=capture
cab=/u/<userid>/sqdata/DB2ZTOMSK.cab
Tekan F3. Masukkan 2 untuk mengedit file ACL. Tambahkan Anda userid ke file acl konfigurasi seperti yang ditunjukkan pada contoh berikut: Ýacls¨
prod=admin,<userid>
Tekan F3 untuk menyimpan dan keluar.
| Administrator sistem mainframe |
Buat pekerjaan untuk memulai daemon controller. | Untuk membuat pekerjaan, lakukan hal berikut: Di Opsi, masukkanG. Masukkan Kartu JOB, pustaka pekerjaan dan proc, dan detail Db2 load perpustakaan. Masukkan detail file ACL jaringan, dan masukkan opsi 2 untuk menghasilkan file bahasa kontrol pekerjaan (JCL) di pustaka pekerjaan yang ditentukan.
| Administrator sistem mainframe |
Hasilkan file JCL penerbit tangkapan. | Untuk membuat file JCL penerbit tangkapan, lakukan hal berikut: Pada layar Menu Utama SQData z/OS, pilih opsi 3. Ini membawa Anda ke layar Ringkasan Capture/Publisher. Masukkan S di sebelah file CAB untuk memilihnya. Ini membawa Anda ke layar Capture/Publisher Detail Db2. Di Opsi, G masukkan opsi untuk menghasilkan capture/publisher pekerjaan. Masukkan pustaka kartu JOB, pekerjaan, dan prosedur, dan detail pustaka muat Db2. Untuk membuat pekerjaan, pilih opsi 4. Pekerjaan dibuat di pustaka pekerjaan yang ditentukan dalam pustaka pekerjaan.
| Administrator sistem mainframe |
Periksa dan perbarui CDC. | Periksa DATACAPTURE bendera untuk tabel Db2 dengan menjalankan kueri berikut, ubah <table name> ke nama tabel Db2 Anda: SELECT DATACAPTURE FROM SYSIBM.SYSTABLES WHERE NAME='<table name>';
Konfirmasikan bahwa hasilnya menunjukkan DATACAPTURE sebagaiY. Jika DATACAPTURE tidakY, jalankan kueri berikut untuk mengaktifkan CDC pada tabel Db2, ubah <table name> ke nama tabel Db2 Anda: ALTER TABLE <table name> DATA CAPTURE CHANGES;
| Administrator sistem mainframe |
Kirim file JCL. | Kirimkan file JCL berikut yang Anda konfigurasikan pada langkah sebelumnya: Setelah Anda mengirimkan file JCL, Anda dapat memulai Apply Engine di Tepat pada EC2 instance. | Administrator sistem mainframe |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Mulai Apply Engine dan validasi CDC. | Untuk memulai Apply Engine pada EC2 instance dan memvalidasi CDC, lakukan hal berikut: Untuk terhubung ke EC2 instance, ikuti instruksi dalam AWS dokumentasi. Ubah ke direktori yang berisi script.sqd file: cd /home/ec2-user/precisely/scripts
Untuk memulai Apply Engine, jalankan perintah sqdeng start berikut: sqdeng -s script.sqd --identity=/home/ec2-user/.nacl/id_nacl
Apply Engine akan mulai menunggu pembaruan dari sumber mainframe. Untuk menguji CDC, buat beberapa sisipan catatan atau pembaruan di tabel Db2. Validasi bahwa log Apply Engine menunjukkan jumlah catatan yang diambil dan ditulis ke target.
| Arsitek cloud, Pengembang aplikasi |
Validasi catatan tentang topik MSK Amazon. | Untuk membaca pesan dari topik Kafka, lakukan hal berikut: Untuk mengubah ke bin direktori jalur instalasi klien Kafka pada EC2 instance, jalankan perintah berikut, ganti <Kafka version> dengan versi Anda: cd /home/ec2-user/kafka/kafka_2.13-<Kafka version>/bin
Untuk memvalidasi CDC Db2 yang ditulis sebagai pesan dalam topik Kafka, jalankan perintah berikut, ganti <kafka broker> dan <Topic Name> dengan topik yang Anda buat sebelumnya: ./kafka-console-consumer.sh --bootstrap-server <kafka broker>:9098 --topic <Topic Name> --from-beginning --consumer.config client.properties
Validasi bahwa pesan cocok dengan jumlah catatan yang diperbarui dalam tabel Db2.
| Pengembang aplikasi, arsitek Cloud |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Siapkan Amazon Redshift Tanpa Server. | Untuk membuat gudang data Amazon Redshift Tanpa Server, ikuti petunjuk dalam dokumentasi.AWS Di dasbor Amazon Redshift Tanpa Server, validasi bahwa namespace dan workgroup telah dibuat dan tersedia. Untuk contoh pola ini, prosesnya mungkin memakan waktu 2-5 menit. | Insinyur data |
Siapkan peran IAM dan kebijakan kepercayaan yang diperlukan untuk streaming konsumsi. | Untuk mengatur konsumsi streaming Amazon Redshift Tanpa Server dari Amazon MSK, lakukan berikut: Buat kebijakan IAM untuk Amazon Redshift untuk mengakses Amazon MSK. Mengganti [region] dengan MSK Wilayah AWS untuk Amazon, [account-id] dengan Akun AWS ID Anda, dan [msk-cluster-name] dengan nama cluster MSK Amazon, jalankan kode berikut: {"Version": "2012-10-17", "Statement": [{"Sid": "MSKIAMpolicy","Effect": "Allow","Action": ["kafka-cluster:ReadData","kafka-cluster:DescribeTopic","kafka-cluster:Connect"],"Resource": ["arn:aws:kafka:[region]:[account-id]:cluster/[msk-cluster-name]/*","arn:aws:kafka:[region]:[account-id]:topic/[msk-cluster-name]/*"]},{"Effect": "Allow","Action": ["kafka-cluster:AlterGroup","kafka-cluster:DescribeGroup"],"Resource": ["arn:aws:kafka:[region]:[account-id]:group/[msk-cluster-name]/*"]}]}
Anda dapat menemukan nama cluster dan Amazon Resource Name (ARN) di konsol Amazon MSK. Di konsol, pilih Ringkasan cluster, lalu pilih ARN. Untuk membuat peran IAM dan melampirkan kebijakan, ikuti instruksi dalam AWS dokumentasi. Untuk melampirkan peran IAM ke namespace Amazon Redshift Tanpa Server, lakukan berikut: Masuk ke konsol, dan buka konsol Amazon Redshift di. https://console.aws.amazon.com/redshiftv2/ Pilih dasbor Tanpa Server. Pilih Namespace. Pilih tab Keamanan dan enkripsi. Pilih Izin, dan lampirkan peran IAM yang Anda buat.
Di grup keamanan Amazon Redshift Tanpa Server, buat aturan masuk dengan detail berikut: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 9098, 9198. Untuk Sumber, pilih grup keamanan MSK Amazon.
Di grup keamanan MSK Amazon Anda, buat aturan masuk dengan detail berikut: Untuk Jenis, pilih TCP kustom. Untuk Protokol, pilih TCP. Untuk rentang Port, pilih 9098, 9198. Untuk Sumber, pilih grup keamanan Amazon Redshift.
Pola ini menggunakan port untuk otentikasi IAM untuk konfigurasi Amazon Redshift dan Amazon MSK. Untuk informasi selengkapnya, lihat AWS dokumentasi (langkah 2). Aktifkan perutean VPC yang disempurnakan untuk workgroup Amazon Redshift Serverless. Lihat informasi yang lebih lengkap dalam dokumentasi AWS.
| Insinyur data |
Hubungkan Amazon Redshift Tanpa Server ke Amazon MSK. | Untuk terhubung ke topik MSK Amazon, buat skema eksternal di Amazon Redshift Tanpa Server. Di Amazon Redshift query editor v2, jalankan perintah SQL berikut, ganti 'iam_role_arn' dengan peran yang Anda buat sebelumnya dan ganti 'MSK_cluster_arn 'dengan ARN untuk cluster Anda. CREATE EXTERNAL SCHEMA member_schema
FROM MSK
IAM_ROLE 'iam_role_arn'
AUTHENTICATION iam
URI 'MSK_cluster_arn';
| Insinyur migrasi |
Buat tampilan yang terwujud. | Untuk menggunakan data dari topik MSK Amazon di Amazon Redshift Tanpa Server, buat tampilan terwujud. Di Amazon Redshift query editor v2, jalankan perintah SQL berikut, ganti <MSK_Topic_name> dengan nama topik MSK Amazon Anda. CREATE MATERIALIZED VIEW member_view
AUTO REFRESH YES
AS SELECT
kafka_partition,
kafka_offset,
refresh_time,
json_parse(kafka_value) AS Data
FROM member_schema.<MSK_Topic_name>
WHERE CAN_JSON_PARSE(kafka_value);
| Insinyur migrasi |
Buat tabel target di Amazon Redshift. | Tabel Amazon Redshift menyediakan masukan untuk. QuickSight Pola ini menggunakan tabel member_dtls danmember_plans, yang cocok dengan tabel sumber Db2 pada mainframe. Untuk membuat dua tabel di Amazon Redshift, jalankan perintah SQL berikut di editor kueri Amazon Redshift v2: -- Table 1: members_dtls
CREATE TABLE members_dtls (
memberid INT ENCODE AZ64,
member_name VARCHAR(100) ENCODE ZSTD,
member_type VARCHAR(50) ENCODE ZSTD,
age INT ENCODE AZ64,
gender CHAR(1) ENCODE BYTEDICT,
email VARCHAR(100) ENCODE ZSTD,
region VARCHAR(50) ENCODE ZSTD
) DISTSTYLE AUTO;
-- Table 2: member_plans
CREATE TABLE member_plans (
memberid INT ENCODE AZ64,
medical_plan CHAR(1) ENCODE BYTEDICT,
dental_plan CHAR(1) ENCODE BYTEDICT,
vision_plan CHAR(1) ENCODE BYTEDICT,
preventive_immunization VARCHAR(50) ENCODE ZSTD
) DISTSTYLE AUTO;
| Insinyur migrasi |
Buat prosedur tersimpan di Amazon Redshift. | Pola ini menggunakan prosedur tersimpan untuk menyinkronkan data perubahan (INSERT,UPDATE,DELETE) dari mainframe sumber ke tabel gudang data Amazon Redshift target untuk analitik. QuickSight Untuk membuat prosedur tersimpan di Amazon Redshift, gunakan editor kueri v2 untuk menjalankan kode prosedur tersimpan yang ada di repositori. GitHub | Insinyur migrasi |
Baca dari tampilan terwujud streaming dan muat ke tabel target. | Prosedur tersimpan membaca perubahan data dari tampilan streaming yang terwujud dan memuat perubahan data ke tabel target. Untuk menjalankan prosedur yang disimpan, gunakan perintah berikut: call SP_Members_Load();
Anda dapat menggunakan Amazon EventBridge untuk menjadwalkan pekerjaan di gudang data Amazon Redshift untuk memanggil prosedur tersimpan ini berdasarkan persyaratan latensi data Anda. EventBridge menjalankan pekerjaan pada interval tetap. Untuk memantau apakah panggilan sebelumnya ke prosedur selesai, Anda mungkin perlu menggunakan mekanisme seperti mesin AWS Step Functionsstatus. Untuk informasi selengkapnya, lihat sumber daya berikut: Pilihan lain adalah menggunakan editor kueri Amazon Redshift v2 untuk menjadwalkan penyegaran. Untuk informasi selengkapnya, lihat Menjadwalkan kueri dengan editor kueri v2. | Insinyur migrasi |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Mengatur QuickSight. | Untuk mengatur QuickSight, ikuti instruksi dalam AWS dokumentasi. | Insinyur migrasi |
Siapkan koneksi aman antara QuickSight dan Amazon Redshift. | Untuk mengatur koneksi yang aman antara QuickSight dan Amazon Redshift, lakukan hal berikut Untuk mengotorisasi koneksi dari QuickSight Amazon Redshift, buka konsol Amazon Redshift, dan tambahkan aturan masuk di grup keamanan Amazon Redshift. Aturan harus mengizinkan lalu lintas ke port 5439 (port Redshift default) dari rentang CIDR tempat Anda mengatur. QuickSight Untuk daftar Wilayah AWS dan alamat IP mereka, lihat Didukung Wilayah AWS untuk QuickSight. Di konsol Amazon Redshift, pilih Workgroup, Akses data, Jaringan, dan keamanan, dan aktifkan akses Publik.
| Insinyur migrasi |
Buat kumpulan data untuk QuickSight. | Untuk membuat kumpulan data QuickSight dari Amazon Redshift, lakukan hal berikut: Di QuickSight konsol, di panel navigasi, pilih Datasets. Pada halaman Datasets, pilih Kumpulan data baru. Pilih sambungan Manual Redshift. Di jendela sumber data Redshift Baru, masukkan informasi koneksi: Untuk nama sumber Data, masukkan nama untuk sumber data Amazon Redshift. Untuk server Database, masukkan titik akhir cluster Amazon Redshift. Anda bisa mendapatkan nilai endpoint dari bidang Endpoint di bagian Informasi umum untuk workgroup cluster di dasbor Amazon Redshift Serverless. Alamat server adalah bagian pertama dari titik akhir sebelum titik dua, seperti yang ditunjukkan pada contoh berikut: mfdata-insights.NNNNNNNNN.us-east-1.redshift-serverless.amazonaws.com:5439/dev
Untuk port, masukkan 5439 (port default untuk Amazon Redshift). Masukkan nama database (setelah garis miring di titik akhir). Dalam hal ini, nama database adalahdev. Untuk Nama Pengguna dan Kata Sandi, masukkan nama pengguna dan kata sandi untuk database Amazon Redshift.
Pilih Validasi Koneksi. Jika berhasil, Anda akan melihat tanda centang hijau, yang menunjukkan validasi. Jika validasi gagal, lihat bagian Pemecahan Masalah. Pilih Buat sumber data.
| Insinyur migrasi |
Bergabunglah dengan kumpulan data. | Untuk membuat analitik QuickSight, gabungkan dua tabel dengan mengikuti petunjuk dalam AWS dokumentasi. Di panel Gabung Konfigurasi, pilih Left for Join type. Di bawah klausa Gabung, gunakan. memberid from member_plans = memberid from members_details | Insinyur migrasi |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Siapkan Amazon Q di QuickSight. | Untuk mengatur Amazon Q dalam kemampuan QuickSight Generative BI, ikuti petunjuk dalam AWS dokumentasi. | Insinyur migrasi |
Analisis data mainframe dan buat dasbor visual. | Untuk menganalisis dan memvisualisasikan data Anda QuickSight, lakukan hal berikut: Untuk membuat analisis data mainframe, ikuti instruksi dalam AWS dokumentasi. Untuk kumpulan data, pilih kumpulan data yang Anda buat. Pada halaman analisis pilih Build visual. Di jendela Buat topik untuk analisis, pilih Perbarui topik yang ada. Dalam daftar tarik-turun Pilih topik, pilih topik yang Anda buat sebelumnya. Pilih Penautan topik. Setelah Anda menautkan topik, pilih Build visual untuk membuka jendela Amazon Q Build a Visual. Di bilah prompt. Tulis pertanyaan analisis Anda. Contoh pertanyaan yang digunakan untuk pola ini adalah sebagai berikut: Tampilkan distribusi anggota berdasarkan wilayah Tampilkan distribusi anggota berdasarkan usia Tampilkan distribusi anggota berdasarkan jenis kelamin Tampilkan distribusi anggota berdasarkan jenis paket Tampilkan anggota belum menyelesaikan imunisasi preventif
Setelah Anda memasukkan pertanyaan Anda, pilih Build. Amazon Q in QuickSight menciptakan visual. Untuk menambahkan visual ke dasbor visual Anda, pilih TAMBAHKAN KE ANALISIS.
Setelah selesai, Anda dapat mempublikasikan dasbor untuk dibagikan dengan orang lain di organisasi Anda. Sebagai contoh, lihat Dasbor visual Mainframe di bagian Informasi tambahan. | Insinyur migrasi |
| Tugas | Deskripsi | Keterampilan yang dibutuhkan |
|---|
Buat cerita data. | Buat cerita data untuk menjelaskan wawasan dari analisis sebelumnya, dan buat rekomendasi untuk meningkatkan imunisasi preventif bagi anggota: Untuk membuat cerita data, ikuti instruksi dalam AWS dokumentasi. Untuk prompt cerita data, gunakan yang berikut ini: Build a data story about Region with most numbers of members. Also show the member distribution by medical plan, vision plan, dental plan. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.
Anda juga dapat membuat prompt Anda sendiri untuk menghasilkan cerita data untuk wawasan bisnis lainnya. Pilih Tambahkan visual, dan tambahkan visual yang relevan dengan cerita data. Untuk pola ini, gunakan visual yang Anda buat sebelumnya. Pilih Build. Misalnya keluaran cerita data, lihat Output cerita data di bagian Informasi tambahan.
| Insinyur migrasi |
Lihat cerita data yang dihasilkan. | Untuk melihat cerita data yang dihasilkan, pilih cerita itu di halaman Cerita data. | Insinyur migrasi |
Edit cerita data yang dihasilkan. | Untuk mengubah format, tata letak, atau visual dalam cerita data, ikuti petunjuk dalam dokumentasi.AWS | Insinyur migrasi |
Bagikan cerita data. | Untuk berbagi cerita data, ikuti instruksi dalam AWS dokumentasi. | Insinyur migrasi |
Pemecahan Masalah
| Isu | Solusi |
|---|
QuickSight Untuk pembuatan kumpulan data Amazon Redshift, Validate Connection telah salah. | Konfirmasikan bahwa grup keamanan yang dilampirkan ke instans Amazon Redshift Tanpa Server memungkinkan lalu lintas masuk dari rentang alamat IP yang terkait dengan Wilayah tempat Anda mengatur. QuickSight Konfirmasikan bahwa VPC tempat Amazon Redshift Serverless digunakan tersedia untuk umum. Konfirmasikan bahwa Anda menggunakan nama pengguna dan kata sandi yang benar untuk Amazon Redshift. Anda dapat mengatur ulang nama pengguna dan kata sandi di konsol Amazon Redshift.
|
Mencoba menyalakan mesin Apply pada EC2 instance mengembalikan kesalahan berikut: -bash: sqdeng: command not found
| Ekspor jalur sqdata instalasi dengan menjalankan perintah berikut: export PATH=$PATH:/usr/sbin:/opt/precisely/di/sqdata/bin
|
Mencoba memulai Apply Engine mengembalikan salah satu kesalahan koneksi berikut: SQDD018E Cannot connect to transfer socket(rc==0x18468). Agent:<Agent Name > Socket:/u/./sqdata/.DB2ZTOMSK.cab.data
SQDUR06E Error opening url cdc://<VPC end point name>:2626/DB2ZTOMSK/DB2ZTOMSK : errno:1128 (Unknown error 1128)
| Periksa spool mainframe untuk memastikan bahwa pekerjaan daemon controller berjalan. |
Sumber daya terkait
Informasi tambahan
Contoh file.ddl
members_details.ddl
CREATE TABLE MEMBER_DTLS (
memberid INTEGER NOT NULL,
member_name VARCHAR(50),
member_type VARCHAR(20),
age INTEGER,
gender CHAR(1),
email VARCHAR(100),
region VARCHAR(20)
);
member_plans.ddl
CREATE TABLE MEMBER_PLANS (
memberid INTEGER NOT NULL,
medical_plan CHAR(1),
dental_plan CHAR(1),
vision_plan CHAR(1),
preventive_immunization VARCHAR(20)
);
Contoh file.sqd
Ganti <kafka topic name>dengan nama topik MSK Amazon Anda.
script.sqd
-- Name: DB2ZTOMSK: DB2z To MSK JOBNAME DB2ZTOMSK;REPORT EVERY 1;OPTIONS CDCOP('I','U','D');-- Source Descriptions
JOBNAME DB2ZTOMSK;
REPORT EVERY 1;
OPTIONS CDCOP('I','U','D');
-- Source Descriptions
BEGIN GROUP DB2_SOURCE;
DESCRIPTION DB2SQL /var/precisely/di/sqdata/apply/DB2ZTOMSK/ddl/mem_details.ddl AS MEMBER_DTLS;
DESCRIPTION DB2SQL /var/precisely/di/sqdata/apply/DB2ZTOMSK/ddl/mem_plans.ddl AS MEMBER_PLANS;
END GROUP;
-- Source Datastore
DATASTORE cdc://<zos_host_name>/DB2ZTOMSK/DB2ZTOMSK
OF UTSCDC
AS CDCIN
DESCRIBED BY GROUP DB2_SOURCE ;
-- Target Datastore(s)
DATASTORE 'kafka:///<kafka topic name>/key'
OF JSON
AS TARGET
DESCRIBED BY GROUP DB2_SOURCE;
PROCESS INTO TARGET
SELECT
{
REPLICATE(TARGET)
}
FROM CDCIN;
Dasbor visual mainframe
Data visual berikut dibuat oleh Amazon Q QuickSight untuk pertanyaan analisis show member distribution by region.
Data visual berikut dibuat oleh Amazon Q QuickSight untuk pertanyaan tersebutshow member distribution by Region who have not completed preventive immunization, in pie chart.
Keluaran cerita data
Tangkapan layar berikut menunjukkan bagian dari cerita data yang dibuat oleh Amazon Q QuickSight untuk promptBuild a data story about Region with most numbers of members. Also show the member distribution by age, member distribution by gender. Recommend how to motivate members to complete immunization. Include 4 points of supporting data for this pattern.
Dalam pendahuluan, cerita data merekomendasikan memilih wilayah dengan anggota terbanyak untuk mendapatkan dampak terbesar dari upaya imunisasi.
Cerita data memberikan analisis nomor anggota untuk empat wilayah. Wilayah Timur Laut, Barat Daya, dan Tenggara memiliki anggota terbanyak.
Kisah data menyajikan analisis anggota berdasarkan usia.
Kisah data berfokus pada upaya imunisasi di Midwest.
Lampiran
Untuk mengakses konten tambahan yang terkait dengan dokumen ini, unzip file berikut: attachment.zip
