Skala petabyte di Layanan Amazon OpenSearch

Domain Amazon OpenSearch Service menawarkan penyimpanan terlampir hingga 3 PB. Anda dapat mengonfigurasi domain dengan 200 tipe instans i3.16xlarge.search, masing-masing dengan penyimpanan 15 TB. Karena perbedaan tipis dalam skala, rekomendasi untuk domain ukuran ini berbeda dari rekomendasi umum kami. Bagian ini membahas pertimbangan untuk menciptakan domain, biaya, penyimpanan, dan ukuran serpihan.

Sementara bagian ini sering mereferensikan tipe instans i3.16xlarge.search, Anda dapat menggunakan beberapa tipe instans lain untuk mencapai 1 PB dari total penyimpanan domain.

Membuat domain

Domain dengan ukuran ini melebihi batas default 80 instance per domain. Untuk meminta peningkatan batas layanan hingga 200 instans per domain, buka kasus di AWS Pusat Dukungan.

Harga

Sebelum membuat domain sebesar ini, periksa halaman harga OpenSearch Layanan Amazon untuk memastikan bahwa biaya terkait sesuai dengan harapan Anda. Memeriksa UltraWarm penyimpanan untuk Amazon OpenSearch Service untuk melihat apakah arsitektur hangat hangat cocok dengan kasus penggunaan Anda.

Penyimpanan

Tipe instans i3 dirancang untuk menyediakan penyimpanan cepat, penyimpanan non-volatile memory express (NVMe). Karena penyimpanan lokal ini cenderung menawarkan manfaat kinerja jika dibandingkan dengan Amazon Elastic Block Store, volume EBS bukanlah pilihan saat Anda memilih jenis instans ini di OpenSearch Layanan. Jika Anda lebih suka penyimpanan EBS, gunakan tipe instans lain, seperti r6.12xlarge.search.

Ukuran dan jumlah serpihan

OpenSearch Pedoman umum adalah tidak melebihi 50 GB per pecahan. Mengingat jumlah serpihan yang diperlukan untuk mengakomodasi domain besar dan sumber daya yang tersedia untuk instans i3.16xlarge.search, kami merekomendasikan ukuran serpihan 100 GB.

Misalnya, jika Anda memiliki 450 TB sumber data dan ingin satu replika, persyaratan minimum penyimpanan Anda lebih dekat dengan 450 TB * 2 * 1,1/0,95 = 1,04 PB. Untuk penjelasan tentang perhitungan ini, lihat Menghitung persyaratan penyimpanan. Meskipun 1,04 PB/15 TB = 70 instans, Anda dapat memilih 90 instans i3.16xlarge.search atau lebih untuk memberikan diri Anda jaring pengaman penyimpanan, menangani kegagalan simpul, dan memperhitungkan beberapa varians dalam jumlah data dari waktu ke waktu. Setiap instans menambahkan 20 GiB lainnya untuk kebutuhan penyimpanan minimum Anda, tetapi untuk disk seukuran ini, 20 GiB tersebut hampir dapat diabaikan.

Mengontrol jumlah pecahan itu rumit. OpenSearch pengguna sering memutar indeks setiap hari dan menyimpan data selama satu atau dua minggu. Dalam situasi ini, Anda mungkin merasa berguna untuk membedakan antara serpihan “aktif” dan “tidak aktif”. Serpihan aktif, baik, secara aktif ditulis atau dibaca. Serpihan tidak aktif mungkin melayani beberapa permintaan baca, tetapi sebagian besar siaga. Secara umum, Anda harus menyimpan sejumlah serpihan aktif di bawah beberapa ribu. Karena jumlah serpihan aktif mendekati 10.000, risiko performa dan stabilitas yang cukup besar muncul.

Untuk menghitung jumlah serpihan primer, gunakan rumus ini: 450.000 GB * 1,1/100 GB per serpihan = 4.950 serpihan. Menggandakan jumlah tersebut untuk memperhitungkan replika adalah 9.900 serpihan, yang merupakan perhatian utama jika semua serpihan aktif. Tetapi jika Anda memutar indeks dan hanya 1/7 atau ^1/14 dari pecahan yang aktif pada hari tertentu (masing-masing 1.414 atau 707 pecahan), cluster mungkin berfungsi dengan baik. Seperti biasa, langkah terpenting dalam menentukan ukuran dan mengonfigurasi domain Anda adalah melakukan pengujian klien yang representatif menggunakan kumpulan data yang realistis.