フーディ

Apache Hudi は、増分データの処理とデータパイプラインの開発をシンプルにするオープンソースのデータ管理フレームワークであり、レコードレベルの挿入、更新、アップサート、および削除機能を備えています。アップサートとは、既存のデータセットにレコードがまだ存在しない場合は挿入し、存在する場合は更新する機能を指します。Amazon S3 でのデータのレイアウト方法を効率的に管理することで、Hudi はデータをほぼリアルタイムで取り込んで更新できます。Hudi は、データセットに対して実行されたアクションのメタデータをきめ細かく管理して、アクションをアトミックで整合性のある状態にするのに役立ちます。

Hudi は、Apache Spark、Apache Hive、および Presto と統合されています。Amazon EMR リリースバージョン 6.1.0 以降では、Hudi は Trino (PrestoSQL) とも統合されています。

Amazon EMR リリースバージョン 5.28.0 以降では、EMR は Spark、Hive、Presto、または Flink のインストール時に、デフォルトで Hudi コンポーネントをインストールします。Spark または Hudi DeltaStreamer ユーティリティを使用して Hudi データセットを作成または更新できます。Hive、Spark、Presto、または Flink を使用して、Hudi データセットをインタラクティブにクエリしたり、インクリメンタルプルを使用してデータ処理パイプラインを構築したりできます。増分プルとは、2 つのアクション間で変更されたデータのみをプルする機能を指します。

これらの機能により、Hudi は以下のユースケースに適しています。

• 特定のデータの挿入および更新イベントを必要とするセンサーやその他のモノのインターネット (IoT) デバイスからのストリーミングデータを操作する。

• ユーザーがデータの使用方法について忘れたり、同意を変更したりする可能性のあるアプリケーションのデータプライバシー規制を遵守する。

• 経時的に変更をデータセットに適用できる変更データキャプチャ (CDC) システムを実装する。

次の表は、Amazon EMR 6.x シリーズの最新リリースに含まれている Hudi のバージョンと、Amazon EMR で Hudi と共にインストールされるコンポーネントを示しています。

このリリースで Hudi と共にインストールされるコンポーネントのバージョンについては、「リリース 6.9.0 のコンポーネントバージョン」を参照してください。

emr-6.9.0 の Hudi バージョン情報
Amazon EMR リリースラベル	Hudi バージョン	Hudi でインストールされるコンポーネント
emr-6.9.0	Hudi 0.12.1-amzn-0-SNAPSHOT	Not available.

注記

Amazon EMR リリース 6.8.0 には Apache Hudi 0.11.1 が付属していますが、Amazon EMR 6.8.0 クラスターは Hudi 0.12.0hudi-spark3.3-bundle_2.12 のオープンソースとも互換性があります。

次の表は、Amazon EMR 5.x シリーズの最新リリースに含まれている Hudi のバージョンと、Amazon EMR で Hudi と共にインストールされるコンポーネントを示しています。

このリリースで Hudi と共にインストールされるコンポーネントのバージョンについては、「リリース 5.36.0 のコンポーネントバージョン」を参照してください。

emr-5.36.0 の Hudi バージョン情報
Amazon EMR リリースラベル	Hudi バージョン	Hudi でインストールされるコンポーネント
emr-5.36.0	Hudi 0.10.1-amzn-1	Not available.

トピック

• Hudi の仕組み
• Amazon EMR で Hudi を使用する際の考慮事項と制限事項
• Hudi がインストールされたクラスターを作成する
• Hudi データセットを操作する
• Hudi CLI を使用する
• Hudi リリース履歴