Amazon Timestream untuk InfluxDB 3

Apa itu Timestream untuk InfluxDB 3?

Amazon TimeStream untuk InfluxDB 3 adalah layanan database seri waktu terkelola yang memudahkan pengembang dan DevOps tim aplikasi untuk menjalankan database InfluxDB 3 untuk aplikasi analitik deret waktu skala AWS besar menggunakan sumber terbuka. APIs Dengan Amazon TimeStream untuk InfluxDB 3, Anda dapat dengan mudah mengatur, mengoperasikan, dan menskalakan beban kerja deret waktu yang dirancang untuk menangani data kardinalitas tinggi dan kueri analitik yang kompleks.

InfluxDB 3 mewakili penataan ulang arsitektur lengkap dari mesin database InfluxDB. Tidak seperti versi 1 dan 2, yang menggunakan mesin penyimpanan Time-Structured Merge tree (TSM), InfluxDB 3 dibangun dari bawah ke atas di atas fondasi teknologi yang sama sekali berbeda. Versi baru ini memanfaatkan Apache Arrow untuk pemrosesan data dalam memori, Apache Data Fusion untuk eksekusi kueri, dan format penyimpanan kolumnar (Parket) untuk persistensi data dalam penyimpanan objek (Amazon S3). Pergeseran arsitektur ini memungkinkan InfluxDB 3 untuk memberikan peningkatan kinerja untuk data kardinalitas tinggi dan skala secara efisien untuk beban kerja analitis yang besar. Arsitektur InfluxDB 3 memberikan peningkatan kinerja kueri dan pemanfaatan sumber daya untuk kasus penggunaan intensif data.

Amazon TimeStream untuk InfluxDB 3 memberi Anda akses ke kemampuan mesin database seri waktu generasi berikutnya ini. Transformasi arsitektur memungkinkan beban kerja analitik deret waktu skala besar dan memanfaatkan kemampuan kompresi, partisi, dan pengoptimalan kueri yang melekat pada format penyimpanan Parket kolumnar. Dengan memisahkan komputasi dari penyimpanan, InfluxDB 3 dapat menskalakan untuk menangani volume data yang hampir tidak terbatas sambil mempertahankan efisiensi biaya.

Amazon TimeStream untuk InfluxDB 3 dapat secara otomatis mencadangkan database Anda dan menjaga perangkat lunak database Anda tetap up to date dengan versi terbaru. Seperti semua Layanan AWS, tidak ada investasi di muka yang diperlukan, dan Anda hanya membayar untuk sumber daya yang Anda gunakan.

Cluster DB

Cluster DB adalah blok bangunan dasar Timestream untuk InfluxDB 3. Tidak seperti instance database tradisional, InfluxDB 3 menggunakan arsitektur berbasis cluster yang memisahkan komputasi dari penyimpanan, memanfaatkan Amazon S3 untuk penyimpanan data yang hampir tidak terbatas dan hemat biaya.

Anda dapat mengatur penerapan InfluxDB 3 dalam versi Core atau Enterprise:

Versi Inti

Versi Core InfluxDB 3 terbatas pada penerapan kluster simpul tunggal dan tidak memiliki kemampuan pemadatan, yang memengaruhi kesesuaiannya untuk beban kerja tertentu. Karena keterbatasan ini, versi Core terutama dirancang untuk beban kerja mendekati waktu nyata yang berfokus pada data terbaru (biasanya beberapa hari). Tidak disarankan untuk kasus penggunaan yang melibatkan penyimpanan dan analisis jangka panjang, karena kinerja akan menurun seiring waktu tanpa proses pemadatan untuk mengoptimalkan penyimpanan.

Versi Perusahaan

Versi Enterprise dari InfluxDB 3 mendukung konfigurasi cluster multi-node dan mencakup kemampuan pemadatan penting, memungkinkan penskalaan horizontal untuk operasi baca dan tulis. Penerapan multi-node ini memberikan ketersediaan yang ditingkatkan, peningkatan kinerja untuk kueri bersamaan, dan ketahanan sistem secara keseluruhan yang lebih besar. Fungsionalitas pemadatan dalam versi Enterprise membuatnya cocok untuk data kardinalitas tinggi dan kasus penggunaan analitik jangka panjang, karena terus mengoptimalkan format penyimpanan yang mendasarinya. Kluster perusahaan dapat diskalakan dengan menambahkan node untuk mengakomodasi beban kerja yang terus bertambah tanpa mengganggu operasi yang sedang berlangsung.

Setiap cluster DB memiliki pengidentifikasi cluster DB. Nama yang dibuat secara otomatis ini secara unik mengidentifikasi cluster DB saat berinteraksi dengan Amazon Timestream untuk InfluxDB API dan perintah. AWS CLI Pengidentifikasi cluster DB unik untuk pelanggan tersebut dalam file Wilayah AWS.

Timestream untuk InfluxDB mengalokasikan endpoint DNS untuk klaster Anda. Pengidentifikasi yang dihasilkan layanan merupakan bagian dari titik akhir DNS cluster. Misalnya, jika pengidentifikasi yang dihasilkan layanan cluster adalahxghozx1v79, maka titik akhir DNS adalah. xghozx1v79-3ksj4dla5nfjhi.timestream-influxdb3.us-east-1.on.aws

Amazon Timestream untuk InfluxDB 3 memungkinkan Anda membuat akun pengguna master dan kata sandi untuk cluster DB Anda sebagai bagian dari proses pembuatan. Pengguna master ini memiliki izin untuk membuat database, tabel, dan untuk melakukan operasi baca, tulis, hapus, dan upsert pada data Anda.

Untuk mengakses antarmuka pengguna berbasis web visual, Anda dapat menggunakan InfluxDB Explore, yang dapat diunduh dari InfluxDatadan dijalankan pada instance Anda sendiri.

Kelas Cluster DB

Kelas cluster DB menentukan komputasi dan kapasitas memori node dalam Amazon Timestream untuk cluster InfluxDB 3 Anda. Kelas cluster yang sesuai tergantung pada kekuatan pemrosesan dan kebutuhan memori Anda.

Kelas Cluster InfluxDB 3

Cluster InfluxDB 3 menggunakan kelas instans yang secara khusus dioptimalkan untuk arsitektur penyimpanan berbasis Amazon S3. Kelas-kelas ini, ditunjuk sebagaidb.influxIOIncluded, dirancang untuk menyeimbangkan sumber daya komputasi dengan I/O persyaratan bekerja dengan penyimpanan objek. Instans db.influxIOIncluded komputasi diberi harga untuk sudah menyertakan semua I/O operasi yang dilakukan terhadap Amazon S3, memberi pelanggan biaya yang dapat diprediksi terlepas dari pola I/O spesifik mereka.

Tabel berikut menunjukkan detail perangkat keras untuk kelas node cluster InfluxDB 3:

Kelas Instance	vCPU	Memori (GiB)	Jenis Penyimpanan	Bandwidth jaringan (Gbps)
db.influx .sedang IOIncluded	1	8	Penyimpanan Objek S3	12
db.influx .large IOIncluded	2	16	Penyimpanan Objek S3	12
db.masuk.xlarge IOIncluded	3	32	Penyimpanan Objek S3	15
IOIncludeddb.masuk.2xbesar	8	64	Penyimpanan Objek S3	20
db.masuk.4xlarge IOIncluded	16	128	Penyimpanan Objek S3	25
db.masuk.8xlarge IOIncluded	32	256	Penyimpanan Objek S3	30
db.masuk.12xlarge IOIncluded	48	384	Penyimpanan Objek S3	22.5
db.masuk.16xlarge IOIncluded	64	512	Penyimpanan Objek S3	30
db.masuk.24xlarge IOIncluded	96	768	Penyimpanan Objek S3	40

Kelas db.influxIOIncluded instance secara khusus dirancang untuk:

1. Mengelola I/O operasi antara node komputasi dan penyimpanan objek Amazon S3 secara efisien.

2. Berikan memory-to-CPU rasio optimal untuk memproses data deret waktu menggunakan kerangka Apache Arrow.

3. Mendukung persyaratan komputasi mesin kueri Data Fusion.

Untuk penerapan Enterprise dengan cluster multi-node, semua node menggunakan kelas instance yang sama untuk memastikan kinerja yang seimbang di seluruh cluster. Saat beban kerja Anda bertambah, Anda dapat meningkatkan skala dengan memilih kelas instance yang lebih besar untuk semua node di cluster atau skala keluar dengan menambahkan lebih banyak node dari kelas yang sama ke cluster Anda.

Spesifikasi perangkat keras untuk kelas cluster DB

Terminologi berikut menjelaskan spesifikasi perangkat keras untuk kelas cluster DB:

• vCPU — Jumlah unit pemrosesan pusat virtual ()CPUs. CPU virtual adalah unit kapasitas yang dapat Anda gunakan untuk membandingkan kelas cluster DB.

• Memori (GiB) — RAM, dalam gibibytes, dialokasikan ke node cluster DB. Sering kali ada rasio yang konsisten antara memori dan vCPU.

• Jenis Penyimpanan — InfluxDB 3 menggunakan S3 Object Storage, yang terpisah dari node komputasi.

• Bandwidth jaringan — Kecepatan jaringan relatif terhadap kelas cluster DB lainnya.

Penyimpanan Cluster DB

Amazon TimeStream untuk InfluxDB 3 memperkenalkan arsitektur penyimpanan berbeda yang memisahkan komputasi dari penyimpanan dengan memanfaatkan Amazon S3 untuk penyimpanan objek. Arsitektur ini menyediakan kapasitas penyimpanan yang hampir tidak terbatas sambil menjaga biaya tetap terkendali dalam penyebaran skala besar.

Penyimpanan Objek InfluxDB

Cluster InfluxDB 3 menggunakan kelas penyimpanan tunggal yang disebut InfluxDB Object Storage, yang dibangun di Amazon S3. Opsi penyimpanan ini menawarkan:

• Kapasitas penyimpanan hampir tidak terbatas

• Penyimpanan hemat biaya untuk volume data yang besar (penghematan hingga 75% untuk penerapan melebihi 16TB dibandingkan dengan InfluxDB 2.x)

• Daya tahan 99,99999999999% (11 sembilan)

• Data disimpan dalam format Parket kolumnar untuk kompresi dan kinerja kueri yang efisien

Tidak seperti arsitektur database tradisional di mana penyimpanan langsung dilampirkan ke node komputasi, penyimpanan objek InfluxDB 3 dibagi di semua node di cluster. Setiap node mempertahankan cache dalam memori lokal untuk data yang sering diakses guna mengoptimalkan kinerja kueri sementara data yang mendasarinya tetap berada di Amazon S3.

Harga InfluxDB Object Storage didasarkan pada:

• Total volume data yang disimpan (GB/bulan), dengan biaya bulanan minimum setara dengan 200GB

I/O Biaya operasi dibundel dalam harga komputasi untuk kelas IOIncluded instans db.influx, memberi pelanggan biaya yang lebih dapat diprediksi terlepas dari pola spesifik mereka. I/O

Manfaat Arsitektur Penyimpanan

Arsitektur penyimpanan berbasis Amazon S3 di InfluxDB 3 sangat bermanfaat untuk:

• Beban kerja analitik deret waktu skala besar

• Persyaratan data kardinalitas tinggi

• Skenario retensi data jangka panjang

• Penyimpanan hemat biaya dari kumpulan data deret waktu yang besar

Model penyimpanan ini sebanding dengan Timestream untuk LiveAnalytics 'Magnetic Storage Tier, yang juga berbasis penyimpanan objek dan dioptimalkan untuk penyimpanan jangka panjang dan kasus penggunaan analitik. Ekonomi penyimpanan InfluxDB 3 dirancang untuk bersaing dengan LiveAnalytics 'harga toko magnetik, model yang telah terbukti cocok untuk pelanggan yang ingin menjalankan dan menyimpan beban kerja dan data deret waktu skala besar untuk jangka waktu yang lama.

Ukuran Cluster DB

Konfigurasi optimal Timestream untuk cluster InfluxDB 3 bergantung pada berbagai faktor, termasuk tingkat konsumsi, ukuran batch, kardinalitas deret waktu, kueri bersamaan, dan jenis kueri.

Saat mengukur cluster InfluxDB 3, pertimbangkan faktor-faktor tambahan ini karena arsitekturnya yang berbeda:

• Efisiensi Penyimpanan: Untuk penerapan dengan lebih dari 16TB data, penyimpanan objek InfluxDB 3 dapat memberikan penghematan biaya hingga 75% dibandingkan dengan Timestream untuk penyebaran InfluxDB 2.

• Karakteristik Beban Kerja: InfluxDB 3 dioptimalkan untuk data kardinalitas tinggi dan kueri analitis pada kumpulan data besar sambil memberikan kinerja yang sebanding dengan versi 1.x dan 2.x untuk kueri rentang waktu yang lebih pendek. Selain itu, fitur seperti nilai terakhir dan cache nilai berbeda memungkinkan latensi kueri sub-10ms berkelanjutan untuk kasus penggunaan tertentu seperti mengambil titik data terbaru atau nilai metadata unik.

• Pola Kueri: Pertimbangkan apakah beban kerja Anda berkelanjutan (pemantauan 24/7) atau intermiten (analitik berkala)

• Persyaratan Pemadatan: Versi perusahaan mencakup kemampuan pemadatan yang penting untuk penyimpanan data jangka panjang dan beban kerja kardinalitas tinggi. Untuk penerapan dengan cluster 3-node dan yang lebih besar, node pemadat khusus direkomendasikan untuk memaksimalkan kinerja penulis dan pembaca pada node individu lainnya, memastikan bahwa proses pemadatan tidak bersaing untuk sumber daya dengan operasi kueri dan konsumsi.

Untuk memberikan rekomendasi ukuran, mari pertimbangkan beban kerja yang patut dicontoh dengan karakteristik berikut:

• Data dikumpulkan dan ditulis oleh armada agen Telegraf yang mengumpulkan Sistem, CPU, Memori, Disk, IO, dll dari pusat data.

• Setiap permintaan tulis berisi 5000 baris.

• Kueri yang dijalankan pada sistem dikategorikan sebagai kueri “kompleksitas sedang”, menunjukkan karakteristik berikut:

  • Mereka memiliki beberapa fungsi dan satu atau dua ekspresi reguler.

  • Mereka mungkin termasuk kelompok demi klausa atau sampel rentang waktu beberapa minggu.

  • Mereka biasanya membutuhkan beberapa ratus milidetik hingga beberapa ribu milidetik untuk dieksekusi.

  • CPU lebih menyukai kinerja kueri.

  • Semua tes dilakukan dengan dataset yang berisi kardinalitas 30 juta deret waktu.

Menulis (baris per detik)	Membaca (Kueri per detik)	Kelas instance	Versi
~ 150.000	<25	db.influx .large IOIncluded	Core
~ 200.000	~ 25	db.masuk.xlarge IOIncluded	Core
~ 250.000	~35	IOIncludeddb.masuk.2xbesar	Perusahaan
~ 500.000	~50	db.masuk.4xlarge IOIncluded	Perusahaan
<750.000	<100	db.masuk.8xlarge IOIncluded	Perusahaan
> 750.000	>100	Kluster Perusahaan multi-node	Perusahaan

Penagihan Cluster DB untuk Amazon Timestream untuk InfluxDB 3

Amazon Timestream untuk cluster InfluxDB 3 ditagih berdasarkan komponen berikut:

• Jam node cluster DB (per jam) - Berdasarkan kelas node cluster DB, misalnya, IOIncluded db.influx .large. Harga dicantumkan per jam, tetapi tagihan dihitung turun menjadi detik dan menunjukkan waktu dalam bentuk desimal. Penggunaan ditagih dalam kenaikan 1 detik, dengan minimal 10 menit. Untuk penerapan Core node tunggal atau penerapan Enterprise multi-node, setiap node ditagih secara terpisah berdasarkan waktu pengoperasiannya.

• Penyimpanan objek (per GB per bulan) — Volume data aktual disimpan di InfluxDB Object Storage, bukan kapasitas yang disediakan. Model ini memungkinkan Anda membayar hanya untuk penyimpanan yang Anda gunakan, tanpa perlu kapasitas penyimpanan pra-penyediaan. Catatan: Ada biaya penyimpanan bulanan minimum yang setara dengan 200GB, meskipun penggunaan penyimpanan Anda yang sebenarnya lebih rendah.

• Transfer data keluar (per GB) — Transfer data dari cluster DB Anda ke internet atau lainnya Wilayah AWS. Transfer data masuk atau lalu lintas dalam VPC yang sama atau antara Availability Zone dalam VPC yang sama Wilayah AWS tidak dikenai biaya.

• Lisensi Perusahaan InfluxDB 3 (per vCPU per jam) - Untuk penyebaran InfluxDB 3 Enterprise, ada InfluxData biaya lisensi tambahan yang dikenakan per vCPU per jam. Biaya lisensi ini ditagih langsung melalui AWS Marketplace dan muncul sebagai item baris terpisah pada AWS tagihan Anda. Lisensi ini memungkinkan fitur Enterprise seperti pengelompokan multi-node, kemampuan pemadatan, dan fitur keamanan canggih.

Untuk cluster InfluxDB 3 Enterprise dengan beberapa node, setiap node ditagih secara terpisah berdasarkan kelas instans dan jumlah vCPU (untuk biaya lisensi), sementara biaya penyimpanan dikonsolidasikan karena semua node berbagi penyimpanan objek dasar yang sama.

Ringkasan Komponen Penagihan

Komponen Penagihan	InfluxDB 3 Inti	InfluxDB 3 Perusahaan
Hitung Penagihan	Per jam node (kelas db.influxIOIncluded )	Per jam node (kelas db.influxIOIncluded )
Penagihan Penyimpanan	Per GB data yang disimpan (minimum 200GB)	Per GB data yang disimpan (minimum 200GB)
I/O Operasi	Termasuk dalam harga node komputasi	Termasuk dalam harga node komputasi
Penskalaan Penyimpanan	Tidak perlu, bayar hanya untuk penyimpanan yang digunakan	Tidak perlu, bayar hanya untuk penyimpanan yang digunakan
Transfer Data Masuk	Kosong	Kosong
Transfer Data Dalam VPC/AZ	Kosong	Kosong
Transfer Data Keluar (Internet/Lintas Wilayah)	Dibebankan per GB	Dibebankan per GB
Penagihan Minimum	10 menit	10 menit
Granularitas Penagihan	Kenaikan 1 detik	Kenaikan 1 detik
Dukungan Multi-Node	Tidak (hanya simpul tunggal)	Ya
Lisensi Tambahan	Tidak ada	Per vCPU per jam melalui AWS Marketplace

Strategi Optimalisasi Biaya

• Right-sizing - Pilih kelas node yang sesuai berdasarkan persyaratan beban kerja Anda untuk menghindari penyediaan berlebih. Kami juga merekomendasikan memilih instans yang mempertahankan rata-rata sekitar 65% pemanfaatan CPU dan memori, memastikan ketahanan terhadap lonjakan penggunaan dan memungkinkan ruang kepala untuk perencanaan kapasitas yang sehat.

• Efisiensi Penyimpanan — Untuk penerapan dengan lebih dari 16TB data, penyimpanan objek InfluxDB 3 dapat memberikan penghematan biaya hingga 75% dibandingkan dengan solusi berbasis EBS tradisional.

• Pengoptimalan Lalu Lintas Jaringan — Simpan transfer data dalam VPC atau wilayah yang sama bila memungkinkan untuk menghindari biaya transfer data.

• Strategi Penskalaan — Untuk InfluxDB 3 Enterprise, pertimbangkan apakah penskalaan (kelas node yang lebih besar) atau penskalaan (lebih banyak node) lebih hemat biaya untuk pola beban kerja spesifik Anda.

• Pengoptimalan Lisensi — Untuk InfluxDB 3 Enterprise, pilih kelas node yang memberikan keseimbangan optimal antara jumlah vCPU (yang memengaruhi biaya lisensi) dan persyaratan kinerja.

Untuk informasi harga Amazon Timestream untuk InfluxDB 3, lihat halaman harga Amazon Timestream untuk InfluxDB.

Wilayah AWS dan Availability Zone

Sumber daya komputasi cloud Amazon di-hosting di beberapa lokasi di seluruh dunia. Lokasi ini terdiri dari Wilayah AWS dan Availability Zone. Masing-masing Wilayah AWS adalah wilayah geografis yang terpisah. Masing-masing Wilayah AWS memiliki beberapa lokasi terisolasi yang dikenal sebagai Availability Zones.

Amazon TimeStream untuk InfluxDB 3 memungkinkan Anda menempatkan sumber daya, seperti kluster DB, dan data di beberapa lokasi. Untuk penerapan Enterprise dengan cluster multi-node, node didistribusikan di beberapa Availability Zone untuk meningkatkan ketersediaan.

Untuk informasi tentang Wilayah AWS lokasi Amazon TimeStream untuk InfluxDB 3 tersedia dan titik akhir untuk setiap Wilayah, lihat titik akhir dan kuota Amazon Timestream.