AWS penawaran untuk data mesh

Gunakan kemampuan analitik AWS untuk membangun solusi data berbasis jaringan data untuk organisasi Anda. Analitik pada AWS sumber daya merekomendasikan beberapa Layanan AWS untuk membangun data mesh dengan biaya rendah tanpa mengorbankan kinerja. Pelanggan telah mengadopsi opsi berikut untuk membangun solusi berbasis jaringan data:

• Menerapkan data mesh dengan menggunakan Amazon DataZone

• Menerapkan data mesh dengan menggunakan kerangka kerja open source AWS seperti data.all

• Menerapkan data mesh dengan menggunakan AWS Lake Formation

Ketiga opsi ini menggunakan yang berikut Layanan AWS:

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue(termasuk AWS Glue Data Catalog dan AWS Glue crawler)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming for Apache Kafka (Amazon) MSK

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• Amazon SageMaker AI

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

DataZone Opsi Amazon juga menggunakan Amazon EventBridge.

Data.all dan AWS Lake Formation opsi juga menggunakan yang berikut Layanan AWS dan sumber daya:

• APIGerbang Amazon

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager Toko Parameter

• AWS WAF

Layanan AWS Yang Anda gunakan dalam implementasi Anda mungkin berbeda, berdasarkan persyaratan organisasi Anda.

Amazon DataZone

Jika Anda ingin menggunakan layanan yang dikelola sepenuhnya, pertimbangkan untuk menggunakan Amazon DataZone untuk mengimplementasikan mesh data untuk organisasi Anda. Amazon DataZone adalah layanan manajemen data untuk membuat katalog, menemukan, berbagi, dan mengatur data yang disimpan di seluruh, di tempat AWS, dan sumber pihak ketiga. Diagram berikut menunjukkan arsitektur referensi mesh data berdasarkan Amazon DataZone.

Dalam arsitektur referensi, akun anggota milik domain data. Mereka dikelompokkan ke dalam produsen data dan konsumen data. Diagram arsitektur berisi komponen-komponen berikut:

1. Produsen data mempublikasikan produk data dalam katalog bisnis yang disediakan oleh portal DataZone data Amazon. Portal data di-host di akun tata kelola pusat.

2. Konsumen data (pengguna) masuk ke portal data dengan menggunakan AWS kredensialnya atau kredensial masuk tunggal. Mereka dapat menelusuri katalog dan mencari produk data yang mereka minati dengan menggunakan kata kunci. Mereka dapat memfilter hasil pencarian.

3. Setelah pengguna data milik tim konsumen menemukan produk data yang mereka minati, mereka dapat meminta akses ke data. Amazon DataZone memiliki alur kerja manajemen akses bawaan yang digunakan pemilik data untuk meninjau dan menyetujui permintaan tersebut.

4. Tim konsumen data dapat menggunakan data untuk memberdayakan kecerdasan buatan dan pembelajaran mesin (AI/ML), analitik dan pelaporan, serta mengekstrak, mengubah, dan memuat (ETL) kasus penggunaan.

Data.semua

Jika Anda memahami open source dan ingin membangun dan mengelola solusi Anda sendiri, pertimbangkan untuk menggunakan kerangka kerja open source seperti data.all. Data.all adalah pasar data modern yang mendukung kolaborasi di antara beragam pengguna. Data.all menyederhanakan penemuan data, berbagi, dan manajemen akses data granular sementara pembangun menggunakan AWS portofolio layanan data dan analitik. Diagram berikut menunjukkan arsitektur referensi mesh data berdasarkan data.all.

Diagram arsitektur berisi komponen-komponen berikut:

1. Produsen data mempublikasikan produk data dalam katalog yang disediakan oleh frontend data.all. Frontend dan backend data.all di-host di akun tata kelola pusat.

2. Konsumen data (pengguna) masuk ke frontend data.all dengan menggunakan kredenal masuk tunggal atau Amazon Cognito mereka. Mereka dapat menelusuri katalog dan mencari produk data yang mereka minati. Mereka dapat memfilter hasil pencarian.

3. Setelah pengguna data milik tim konsumen menemukan produk data yang mereka minati, mereka dapat meminta akses data. Data.all memiliki alur kerja manajemen akses bawaan yang digunakan pemilik data untuk meninjau dan menyetujui permintaan akses.

4. Tim konsumen dapat menggunakan data untuk memberdayakan AI/ML mereka, analitik dan pelaporan, dan ETL kasus penggunaan.

AWS Lake Formation

Jika Anda ingin membangun solusi mesh data kustom dari bawah ke atas dan mengelolanya, pertimbangkan untuk menggunakannya AWS Lake Formation. Lake Formation membantu Anda mengatur secara terpusat, mengamankan, dan berbagi data secara global untuk analitik dan pembelajaran mesin. Diagram berikut menunjukkan arsitektur referensi data mesh berdasarkan Lake Formation.

Diagram arsitektur berisi komponen-komponen berikut:

1. Produsen data mempublikasikan produk data di AWS Glue Data Catalog akun tata kelola pusat. AWS Lake Formation mengelola akses ke entitas Katalog Data pusat.

2. Setelah akses diberikan, tim konsumen dapat menggunakan data untuk memberdayakan AI/ML mereka, analitik dan pelaporan, dan kasus penggunaan. ETL