Amazon Timestream for InfluxDB 3

Timestream for InfluxDB 3 とは

Amazon Timestream for InfluxDB 3 は、アプリケーション開発者や DevOps チームが、オープンソース API を使用して大規模な時系列分析アプリケーション AWS 用に InfluxDB 3 データベースを簡単に で実行できるようにするマネージド時系列データベースサービスです。 APIs Amazon Timestream for InfluxDB 3 を使用すると、高カーディナリティのデータや複雑な分析クエリを処理するように設計された時系列ワークロードを簡単にセットアップ、運用、スケールできます。

InfluxDB 3 は、InfluxDB データベースエンジンのアーキテクチャを完全に再構築したものです。Time-Structured Merge Tree (TSM) ストレージエンジンを利用したバージョン 1 および 2 とは異なり、InfluxDB 3 はまったく異なるテクノロジー基盤上にゼロから構築されています。この新しいバージョンは、インメモリデータ処理に Apache Arrow、クエリ実行に Apache DataFusion、オブジェクトストレージ (Amazon S3) でのデータ永続化に列指向ストレージ形式 (Parquet) を使用します。このアーキテクチャの変更により、InfluxDB 3 は高カーディナリティデータのパフォーマンスを向上させ、大規模な分析ワークロードに対して効率的にスケールできます。InfluxDB 3 アーキテクチャは、データ集約型ユースケースのクエリパフォーマンスとリソース使用率を向上させます。

Amazon Timestream for InfluxDB 3 では、この次世代の時系列データベースエンジンが持つ機能にアクセスできます。アーキテクチャの変換により、大規模な時系列分析ワークロードが可能になり、列指向の Parquet ストレージ形式に固有の圧縮、パーティショニング、クエリ最適化機能を活用できます。コンピューティングをストレージから切り離すことで、InfluxDB 3 はコスト効率を維持しながら、実質的に無制限のデータボリュームを処理するようにスケールできます。

Amazon Timestream for InfluxDB 3 は、データベースを自動的にバックアップし、データベースのソフトウェアを最新のバージョンによって更新された状態に保ちます。同様に AWS のサービス、前払いの投資は不要で、使用したリソースに対してのみ料金が発生します。

DB クラスター

DB クラスターは、Timestream for InfluxDB 3 の基本的な構成要素です。従来のデータベースインスタンスとは異なり、InfluxDB 3 はコンピューティングをストレージから分離するクラスターベースのアーキテクチャを使用しており、Amazon S3 を活用して実質的に無制限で費用対効果の高いデータストレージを実現します。

InfluxDB 3 デプロイは、Core バージョンまたは Enterprise バージョンで設定できます。

Core バージョン

InfluxDB 3 の Core バージョンは単一ノードクラスターデプロイに限定されており、圧縮機能がないので、特定のワークロードへの適合性に影響します。これらの制限により、Core バージョンは主に最近のデータ (通常は数日経過) に焦点を当てたほぼリアルタイムのワークロード向けに設計されています。長期ストレージと分析を含むユースケースでは、ストレージを最適化するための圧縮プロセスがなくパフォーマンスが時間の経過とともに低下するため、推奨されません。

Enterprise バージョン

InfluxDB 3 の Enterprise バージョンは、マルチノードクラスター設定をサポートし、重要な圧縮機能を備えているため、読み取りオペレーションと書き込みオペレーションの両方で水平スケーリングが可能になります。これらのマルチノードデプロイにより、可用性および同時クエリのパフォーマンスが向上し、システム全体の耐障害性が向上します。Enterprise バージョンの圧縮機能は、基盤となるストレージ形式を継続的に最適化するので、高カーディナリティデータや長期分析のユースケースに適しています。ノードを追加してスケールすることで、Enterprise クラスターは継続的な運用を維持したまま、増大するワークロードに対応できます。

各 DB クラスターには DB クラスター識別子があります。この自動生成された名前は、Amazon Timestream for InfluxDB API および AWS CLI コマンドを操作するときに DB クラスターを一意に識別します。DB クラスター識別子は、 AWS リージョン内でお客様別に一意です。

Timestream for InfluxDB は、クラスターに DNS エンドポイントを割り当てます。サービス生成識別子は、クラスターの DNS エンドポイントの一部を形成します。例えば、クラスターのサービス生成識別子が xghozx1v79 の場合、DNS エンドポイントは xghozx1v79-3ksj4dla5nfjhi.timestream-influxdb3.us-east-1.on.aws です。

Amazon Timestream for InfluxDB 3 では、作成プロセスの一環として DB クラスターのマスターユーザーアカウントおよびパスワードを作成できます。このマスターユーザーには、データベースやテーブルを作成したり、データに対して読み取り、書き込み、削除、アップサート操作を実行したりできるアクセス許可が付与されます。

視覚的なウェブベースのユーザーインターフェイスにアクセスするには、InfluxData からダウンロードして独自のインスタンスで実行できる InfluxDB Explorer を使用できます。

DB クラスタークラス

DB クラスタークラスは、Amazon Timestream for InfluxDB 3 クラスター内のノードの計算とメモリ容量を決定します。適切なクラスタークラスは、処理能力とメモリの要件によって異なります。

InfluxDB 3 クラスタークラス

InfluxDB 3 クラスターでは、Amazon S3 ベースのストレージアーキテクチャ用に特別に最適化されたインスタンスクラスを使用します。これらのクラスは、db.influxIOIncluded として指定され、コンピューティングリソースとオブジェクトストレージを操作するための I/O 要件のバランスを取るように設計されています。db.influxIOIncluded コンピューティングインスタンスの料金は、Amazon S3 に対して実行されたすべての I/O オペレーションが既に含まれているため、特定の I/O パターンに関係なく、予測可能なコストがお客様に示されます。

次の表は、InfluxDB 3 クラスターノードクラスのハードウェアの詳細を示しています。

インスタンスクラス	vCPU	メモリ (GiB)	ストレージタイプ	ネットワーク帯域幅 (Gbps)
db.influxIOIncluded.medium	1	8	S3 オブジェクトストレージ	12
db.influxIOIncluded.large	2	16	S3 オブジェクトストレージ	12
db.influxIOIncluded.xlarge	3	32	S3 オブジェクトストレージ	15
db.influxIOIncluded.2xlarge	8	64	S3 オブジェクトストレージ	20
db.influxIOIncluded.4xlarge	16	128	S3 オブジェクトストレージ	25
db.influxIOIncluded.8xlarge	32	256	S3 オブジェクトストレージ	30
db.influxIOIncluded.12xlarge	48	384	S3 オブジェクトストレージ	22.5
db.influxIOIncluded.16xlarge	64	512	S3 オブジェクトストレージ	30
db.influxIOIncluded.24xlarge	96	768	S3 オブジェクトストレージ	40

db.influxIOIncluded インスタンスクラスは、次の目的で特別に設計されています。

1. コンピューティングノードと Amazon S3 オブジェクトストレージ間の I/O オペレーションを効率的に管理する。

2. Apache Arrow フレームワークを使用して時系列データを処理するための最適な memory-to-CPU 比率を提供する。

3. DataFusion クエリエンジンの計算要件をサポートする。

マルチノードクラスターを使用する Enterprise デプロイでは、すべてのノードが同じインスタンスクラスを使用して、クラスター全体でバランスの取れたパフォーマンスを確保します。ワークロードが増加するにつれて、クラスター内のすべてのノードに対してより大きなインスタンスクラスを選択することでスケールアップしたり、同じクラスのノードをクラスターに追加してスケールアウトしたりすることができます。

DB クラスタークラスのハードウェア仕様

以下は、DB クラスタークラスのハードウェア仕様に関する用語をまとめた用語集です。

• vCPU – 仮想中央演算装置 (CPU) の数。仮想 CPU は、DB クラスタークラスの比較に使用できる容量の単位です。

• メモリ (GiB) – DB クラスターノードに割り当てられる RAM (ギビバイト単位) を示します。通常、メモリと vCPU の比率は一定です。

• ストレージタイプ – InfluxDB 3 は、コンピューティングノードとは別の S3 オブジェクトストレージを使用します。

• ネットワーク帯域幅 – 他の DB クラスタークラスと比較してのネットワーク速度です。

DB クラスターストレージ

Amazon Timestream for InfluxDB 3 では、オブジェクトストレージに Amazon S3 を活用することで、コンピューティングとストレージを切り離す、異なるストレージアーキテクチャが導入されています。このアーキテクチャは、大規模なデプロイでコストを制御しながら、実質的に無制限のストレージ容量を提供します。

InfluxDB オブジェクトストレージ

InfluxDB 3 クラスターでは、Amazon S3 上に構築された InfluxDB オブジェクトストレージと呼ばれる単一のストレージクラスを使用します。このストレージオプションは以下を提供します。

• 実質的に無制限のストレージ容量

• 大規模なデータボリューム向けのコスト効率の高いストレージ (InfluxDB 2.x と比較して 16 TB を超えるデプロイでは最大 75% の節約)

• 99.999999999% (11 ナイン) の耐久性

• 圧縮とクエリのパフォーマンスを効率的にするために列指向 Parquet 形式でデータを保存

ストレージがコンピューティングノードに直接アタッチされている従来のデータベースアーキテクチャとは違い、InfluxDB 3 のオブジェクトストレージはクラスター内のすべてのノードで共有されます。各ノードは、頻繁にアクセスされるデータのローカルインメモリキャッシュを維持し、基になるデータが Amazon S3 に残っている間、クエリパフォーマンスを最適化します。

InfluxDB オブジェクトストレージの料金は、以下に基づいています。

• 保存された合計データ量 (GB/月) (200 GB 分に相当する最小月額料金あり)

I/O オペレーションのコストは、db.influxIOIncluded インスタンスクラスのコンピューティング料金にバンドルされるため、特定の I/O パターンに関係なく、より予測可能なコストが示されます。

ストレージアーキテクチャの利点

InfluxDB 3 の Amazon S3 ベースのストレージアーキテクチャは、特に次の点で有益です。

• 大規模な時系列分析ワークロード

• 高カーディナリティデータ要件

• 長期データ保持シナリオ

• 大規模な時系列データセットの費用対効果の高いストレージ

このストレージモデルは、Timestream for LiveAnalytics のマグネティックストレージ階層と同等です。そちらもオブジェクトストアベースであり、長期ストレージと分析のユースケース向けに最適化されています。InfluxDB 3 のストレージエコノミクスは、LiveAnalytics のマグネティックストア料金と競合できるように設計されています。このモデルは、大規模な時系列ワークロードとデータを長期間実行して保存したいお客様に適していることが証明されています。

DB クラスターのサイジング

Timestream for InfluxDB 3 クラスターの最適な設定は、さまざまな要因 (取り込みレート、バッチサイズ、時系列のカーディナリティ、同時クエリ、クエリタイプなど) によって変わってきます。

InfluxDB 3 クラスターのサイズを決定するときは、アーキテクチャが異なるので、次の要素を追加で考慮してください。

• ストレージ効率: 16 TB を超えるデータを含むデプロイの場合、InfluxDB 3 のオブジェクトストレージは、Timestream for InfluxDB 2 デプロイと比較して最大 75% のコスト削減を実現できます。

• ワークロードの特性: InfluxDB 3 は、大規模なデータセットに対する高カーディナリティデータおよび分析クエリ用に最適化されていますが、バージョン 1.x および 2.x と同等のパフォーマンスと、より短い時間範囲のクエリを実現します。さらに、最終値キャッシュや個別値キャッシュなどの機能により、最新のデータポイントや一意のメタデータ値の取得など、特定のユースケースで 10 ミリ秒未満のクエリレイテンシーを維持できます。

• クエリパターン: ワークロードが継続的 (24 時間 365 日のモニタリング) か断続的 (定期的な分析) かを検討します。

• 圧縮要件: Enterprise バージョンには、長期データストレージと高カーディナリティワークロードに不可欠な圧縮機能が含まれています。3 ノードクラスターデプロイおよびそれ以上の規模のデプロイでは、他の個々のノードでライターとリーダーのパフォーマンスを最大化するために専用のコンパクターノードが推奨されます。これにより、圧縮プロセスがクエリと取り込みオペレーションでリソースと競合することはありません。

推奨されるサイジングを特定するため、以下の特性を持つ代表的なワークロードについて考えてみましょう。

• データは、データセンターからシステム、CPU、メモリ、ディスク、IO などの情報を集める Telegraf エージェントフリートによって収集され書き込まれます。

• 書き込みリクエストにはそれぞれ 5,000 行が含まれます。

• システムで実行されるクエリは、「複雑さが中程度」のクエリとして分類され、以下の特性を持っています。

  • 複数の関数および 1 つまたは 2 つの正規表現を持ちます。

  • group by 句が含まれていたり、複数週にわたる時間範囲をサンプリングしたりすることがあります。

  • 通常、実行には数百ミリ秒～数千ミリ秒かかります。

  • CPU は主としてクエリパフォーマンスを優先します。

  • すべてのテストは、3,000 万カーディナリティの時系列を含むデータセットで実行されました。

書き込み (秒あたりの行数)	読み取り (秒あたりのクエリ数)	インスタンスクラス	バージョン
約 150,000	<25	db.influxIOIncluded.large	Core
約 200,000	約 25	db.influxIOIncluded.xlarge	Core
約 250,000	約 35	db.influxIOIncluded.2xlarge	Enterprise
約 500,000	約 50	db.influxIOIncluded.4xlarge	Enterprise
<750,000	<100	db.influxIOIncluded.8xlarge	Enterprise
>750,000	>100	マルチノード Enterprise クラスター	Enterprise

Amazon Timestream for InfluxDB 3 の DB クラスターの請求

Amazon Timestream for InfluxDB 3 クラスターは、次のコンポーネントに基づいて請求されます。

• DB クラスターノード時間 (1 時間あたり) – DB クラスターノードクラスに基づきます (例: db.influxIOIncluded.large)。料金は 1 時間単位で表示されますが、請求の計算方法には秒単位が適用され、時間は 10 進形式で表示されます。使用料は 1 秒ごとに課金され、10 分未満の場合は 10 分の料金が発生します。単一ノード Core デプロイまたはマルチノード Enterprise デプロイの場合、各ノードは実行時間に基づいて個別に請求されます。

• オブジェクトストレージ (月あたり、GB あたり) – InfluxDB オブジェクトストレージに保存されている実際のデータボリューム。このモデルでは、使用するストレージに対してのみの料金支払いが可能で、ストレージ容量を事前にプロビジョニングする必要はありません (注意: 実際のストレージ使用量が少なくても、200 GB 分に相当する最低月額ストレージ料金が発生します)。

• データ転送 (GB あたり) – DB クラスターからインターネットまたは他の AWS リージョンへのデータ転送。同じ VPC 内または同じ VPC 内のアベイラビリティーゾーン間のデータ転送 AWS リージョン は無料です。

• InfluxDB 3 Enterprise ライセンス (1 時間あたり、vCPU あたり) – InfluxDB 3 Enterprise デプロイの場合、1 時間あたりの vCPU ごとに追加の InfluxData ライセンスコストが課金されます。このライセンス料金は から直接請求 AWS Marketplace され、 AWS 請求書には個別の明細項目として表示されます。このライセンスにより、マルチノードクラスタリング、圧縮機能、高度なセキュリティ機能などの Enterprise 機能が有効になります。

複数のノードを持つ InfluxDB 3 Enterprise クラスターの場合、各ノードはインスタンスクラスと vCPU 数 (ライセンス料金) に基づいて個別に請求されますが、すべてのノードは同じ基盤となるオブジェクトストレージを共有するため、ストレージコストは統合されます。

請求コンポーネントの概要

請求コンポーネント	InfluxDB 3 Core	InfluxDB 3 Enterprise
コンピューティング請求	ノード時間あたり (db.influxIOIncluded クラス)	ノード時間あたり (db.influxIOIncluded クラス)
ストレージ請求	保存データの GB あたり (最小 200 GB)	保存データの GB あたり (最小 200 GB)
I/O オペレーション	コンピューティングノードの料金に包含	コンピューティングノードの料金に包含
ストレージのスケーリング	必須でない。支払いは使用したストレージに対してのみ	必須でない。支払いは使用したストレージに対してのみ
受信データ転送	空き	空き
VPC/AZ 内のデータ転送	空き	空き
送信データ転送 (インターネット/クロスリージョン)	GB あたりの課金	GB あたりの課金
最小請求額	10 分	10 分
請求の詳細度	1 秒単位	1 秒単位
マルチノードのサポート	なし (単一ノードのみ)	はい
追加ライセンス	なし	経由の 1 時間あたりの vCPU あたり AWS Marketplace

コスト最適化戦略

• 適切なサイジング – ワークロードの要件に基づいて適切なノードクラスを選択することで、過剰プロビジョニングを回避します。また、CPU とメモリの平均使用率を約 65% に維持し、使用率の急増に対する耐障害性を確保し、正常なキャパシティプランニングのためのヘッドルームを可能にするインスタンスを選択することをお勧めします。

• ストレージ効率 – 16 TB を超えるデータを含むデプロイの場合、InfluxDB 3 のオブジェクトストレージは、従来の EBS ベースのソリューションと比較して最大 75% のコスト削減を達成できます。

• ネットワークトラフィックの最適化 – データ転送料金が発生しないように、可能な限り同じ VPC またはリージョン内でデータ転送を維持します。

• スケーリング戦略 – InfluxDB 3 Enterprise で、スケールアップ (より大きなノードクラス) とスケールアウト (より多くのノード) のどちらが特定のワークロードパターンに対して費用対効果が高いかを検討します。

• ライセンスの最適化 – InfluxDB 3 Enterprise では、vCPU 数 (ライセンスコストに影響) とパフォーマンス要件のバランスが最適なノードクラスを選択します。

Amazon Timestream for InfluxDB 3 の料金情報については、Amazon Timestream for InfluxDB の料金ページを参照してください。

AWS リージョン および アベイラビリティーゾーン

Amazon クラウドコンピューティングリソースは、世界各地の多くの場所でホストされています。これらのロケーションは、 AWS リージョン および アベイラビリティーゾーンで構成されます。それぞれが個別の地理的領域 AWS リージョン です。各 AWS リージョン には、アベイラビリティーゾーンと呼ばれる複数の独立した場所があります。

Amazon Timestream for InfluxDB 3 を使用すると、DB クラスターなどのリソースやデータを複数の場所に配置できます。マルチノードクラスターを使用する Enterprise デプロイの場合、ノードは複数のアベイラビリティーゾーンに分散され、可用性が向上します。

Amazon Timestream for InfluxDB 3 が利用可能な AWS リージョン 場所と各リージョンのエンドポイントについては、「Amazon Timestream エンドポイントとクォータ」を参照してください。