Arsitektur data

Merancang dan mengembangkan arsitektur fit-for-purpose data dan analitik.

Arsitektur data dan analitik yang dirancang dengan baik sangat penting untuk mendapatkan wawasan yang dapat ditindaklanjuti. Dengan merancang dan mengembangkan arsitektur fit-for-purpose data dan analitik, organisasi mengurangi kompleksitas, biaya, dan utang teknis sambil membuka wawasan berharga dari volume data mereka yang terus berkembang. Dengan menyelaraskan dengan prinsip-prinsip AWS CAF, bisnis dapat membuat arsitektur data yang terintegrasi secara mulus dengan platform yang ada. Penyelarasan ini memposisikan organisasi untuk memanfaatkan keuntungan yang ditawarkan oleh teknologi pemrosesan data dan analitik modern.

Arsitektur data dan analitik adalah cetak biru kemampuan organisasi untuk memperoleh nilai dari data. Ini membantu organisasi mendapatkan wawasan bisnis baru dan merupakan katalisator untuk pertumbuhan bisnis. Untuk mendukung kebutuhan bisnis, arsitektur data modern harus selaras dengan tujuan bisnis jangka pendek dan jangka panjang dan unik untuk persyaratan budaya dan kontekstual organisasi. Di dunia sekarang ini, keberhasilan implementasi dan adopsi arsitektur data dan analitik didasarkan pada prinsip memungkinkan data yang tepat pada waktu yang tepat untuk konsumen yang tepat.

Hal ini dicapai dengan merencanakan dan mengatur bagaimana aset data organisasi dimodelkan, secara fisik atau logis, bagaimana data diamankan, dan bagaimana model data ini berinteraksi satu sama lain untuk mengatasi masalah bisnis dan untuk mendapatkan pola yang tidak diketahui dan menghasilkan wawasan.

Mulai

Tentukan kemampuan menyeluruh

Dalam lingkungan bisnis saat ini, sangat penting bagi platform analitik data modern untuk memperoleh nilai dari data untuk mendukung berbagai domain dalam organisasi. Alih-alih mengadopsi pendekatan arsitektur data tunggal, arsitektur data modern harus menyertakan toolset dan pola yang dibuat khusus dan dioptimalkan untuk kasus penggunaan tertentu. Arsitektur harus dapat berkembang dan mencakup blok bangunan dasar, seperti data lake yang dapat diskalakan, layanan analitik yang dibangun khusus, akses data terpadu, dan tata kelola terpadu.

Mengatur zona data

Bagaimana data diatur dan disimpan untuk akses cepat dan mudah adalah aspek penting dari arsitektur data. Ini dapat dicapai dengan menyiapkan zona data khusus dalam danau data. Zona data dikategorikan sebagai berikut:

• Data mentah yang dikumpulkan dari sumber heterogen

• Data yang dikuratori dan diubah untuk mendukung kebutuhan analitis setiap domain

• Gunakan case atau data mart berbasis produk untuk kebutuhan pelaporan

• Data yang terpapar secara eksternal dengan kontrol keamanan dan kepatuhan

Merencanakan kelincahan dan demokratisasi data

Efektivitas platform analitik tergantung pada kecepatan penyediaan data serta demokratisasi data yang disediakan untuk konsumsi. Kelincahan penyediaan data dicapai dengan kemampuan arsitektur data untuk mendapatkan dan memproses data dalam berbagai cara―seperti real-time, near-real time, batch, micro-batch, atau hybrid―berdasarkan kasus penggunaan. Demokratisasi data dicapai dengan mendefinisikan berbagi data dan alur kerja kontrol akses yang dipantau oleh pengelola data. Menerapkan pasar data adalah salah satu enabler untuk mendemokratisasi data.

Tentukan pengiriman data yang aman

Arsitektur data modern adalah benteng bagi dunia luar dalam keamanan tetapi memungkinkan akses mudah ke karyawan atau pengguna data, sebagaimana didefinisikan oleh fungsi pekerjaan mereka, dan mematuhi pembatasan kepatuhan seperti Undang-Undang Portabilitas dan Akuntabilitas Asuransi Kesehatan (HIPAA), informasi yang dapat diidentifikasi secara pribadi (PII), Peraturan Perlindungan Data Umum (GDPR), dan sebagainya. Ini dicapai dengan metode kontrol akses berbasis peran (RBAC) dan kontrol akses berbasis tag (TBAC). Pada AWS, tag digunakan untuk mengontrol akses ke data untuk menyederhanakan manajemen kontrol akses. Lakukan ini sejalan dengan prinsip-prinsip yang diuraikan dalam perspektif Keamanan AWS CAF.

Rencanakan efektivitas biaya

Gudang data tradisional menyediakan komputasi dan penyimpanan yang digabungkan erat dengan biaya pemanfaatan sumber daya yang tinggi. Arsitektur modern memisahkan komputasi dan penyimpanan, dan mengimplementasikan penyimpanan berjenjang berdasarkan siklus hidup data. Misalnya, aktif AWS, Anda dapat menggunakan Amazon Simple Storage Service (Amazon S3) Simple Storage Service (Amazon S3) untuk mengontrol biaya dan memisahkan penyimpanan data dari komputasi. Kelas penyimpanan Amazon S3 dibuat khusus untuk menyediakan penyimpanan biaya terendah untuk pola akses yang berbeda. Selain itu, alat AWS komputasi (seperti Amazon Athena AWS Glue, Amazon Redshift, dan SageMaker Amazon Runtime) tidak memiliki server, jadi Anda tidak perlu mengelola infrastruktur, dan Anda hanya membayar untuk apa yang Anda gunakan. 

Maju

Arsitektur data modern dapat ditingkatkan lebih lanjut untuk meningkatkan luasnya penggunaan data — dari analitik standar yang mendukung fungsi bisnis dan operasional hingga kemampuan yang lebih kompleks yang mendukung prediksi dan wawasan — dan membantu mendukung pengambilan keputusan yang lebih cepat. Untuk mencapai hal ini, arsitektur mendukung kemampuan yang dijelaskan di bagian berikut.

Memahami rekayasa fitur

Rekayasa fitur menggunakan pembelajaran mesin dan melibatkan pengaturan toko fitur atau marts fitur. Tim ilmu data membuat fitur baru (atribut turunan) untuk model pembelajaran yang diawasi dan tidak diawasi dan menyimpannya di marts fitur untuk transformasi yang disederhanakan dan akurasi data yang ditingkatkan. Perusahaan dapat menggunakan kembali fitur di beberapa model analitik, yang meningkatkan kecepatan ke pasar.

Rencanakan untuk mendenormalisasi kumpulan data

Membangun kumpulan data denormalisasi atau data mart dapat secara signifikan menyederhanakan kumpulan data untuk pengguna bisnis dengan membuat data yang diperlukan tersedia di satu lokasi dan meningkatkan kecepatan analitik. Jika dirancang dengan hati-hati, satu catatan dapat mendukung beberapa model penggunaan dan mengurangi siklus hidup pengembangan secara keseluruhan. Tata kelola yang efektif dari kumpulan data denormalisasi juga signifikan karena dua alasan. Menerapkan data denormalisasi dapat membuat sejumlah besar kumpulan data redundan, yang bisa menjadi tantangan untuk dikelola dalam skala besar. Selain itu, kumpulan data ini bisa semakin sulit untuk digunakan kembali jika tidak dimodelkan dengan benar. 

Desain portabilitas dan skalabilitas

Organisasi besar jarang memiliki semua aplikasi dan pengguna mereka pada satu platform data. Aplikasi dan penyimpanan data mereka biasanya didistribusikan di seluruh platform lokal dan cloud lama, sehingga sulit bagi tim analitik untuk mencampur dan menggabungkan data. Kami menyarankan Anda menyimpan data berdasarkan karakteristik seperti domain, geografi, kasus penggunaan bisnis, dan sebagainya. Kontainerisasi ini meningkatkan portabilitas antara berbagai platform dan aplikasi dan mendukung konsumsi yang lebih efektif. Mensegmentasi data ke dalam wadah dan mengeksposnya APIs membantu Anda menskalakan arsitektur data dengan lebih mudah. Ini memungkinkan hybrid, aliran end-to-end data dan membantu aplikasi lokal dan berbasis cloud bekerja dengan mulus.

Unggul

Ketika arsitektur analitik modern berkembang dalam suatu organisasi, penting untuk mengelola perubahan itu dengan memperkenalkan konsep yang dapat digunakan kembali. Konsep-konsep ini meningkatkan daya tahan dan adopsi sambil menjaga biaya tetap terkendali. Beberapa konsep yang perlu dipertimbangkan dibahas di bagian berikut.

Rancang kerangka kerja yang dapat dikonfigurasi

Organizations sering membuat beberapa model yang kompleks untuk memenuhi kebutuhan bisnis mereka yang unik. Model-model ini memerlukan pembuatan beberapa pipa data dan fitur rekayasa. Seiring waktu, ini menciptakan redundansi yang signifikan dan meningkatkan biaya operasi. Membuat kerangka kerja yang menggabungkan satu set model dasar yang digerakkan oleh parameter dan dapat dikonfigurasi mengurangi waktu pengembangan dan biaya pengoperasian. Mesin analitik dapat mengimplementasikan model yang dapat dikonfigurasi ini untuk memberikan output yang diinginkan.

Berencana untuk membangun mesin analitik terpadu

Masalah bisnis unik dan sering membutuhkan teknologi khusus untuk memenuhi persyaratan, menghasilkan beberapa mesin analitik dalam suatu organisasi. Merancang dan mengembangkan antarmuka mesin analitik berbasis AI terpadu yang dapat mendukung berbagai paradigma pemrograman menyederhanakan penggunaan dan mengurangi biaya.

Mendefinisikan DataOps

Sebagian besar profesional data menghabiskan banyak waktu untuk melakukan operasi data seperti menemukan data yang tepat, mengubah, memodelkan, dan sebagainya. Memiliki operasi data tangkas (DataOps) dapat sangat meningkatkan arsitektur data dengan memecah silo insinyur data, ilmuwan data, pemilik data, dan analis. DataOps memungkinkan komunikasi yang lebih baik antar tim, mengurangi waktu siklus, dan memastikan kualitas data yang tinggi. Arsitektur data dan analitik telah mengalami banyak transformasi dari waktu ke waktu karena perubahan kebutuhan bisnis dan kemajuan teknologi. Sebuah organisasi harus berusaha untuk mengembangkan, menerapkan, dan memelihara arsitektur data dan analitik yang berkembang dari waktu ke waktu dan mendukung bisnisnya.