Delta Lake について - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Delta Lake について

Delta Lake は、Amazon S3 で一般的に構築されている最新のデータレイクアーキテクチャの実装を支援するオープンソースプロジェクトです。デルタレイクには次の機能があります。

  • Spark 上でアトミックで一貫性のある、分離された、耐久性のある (ACID) トランザクションを実現し、Spark ジョブ中も読者がテーブルを一貫して確認できるようにします

  • Spark の分散処理を使用してスケーラブルなメタデータ処理を処理します

  • 同じ Delta テーブルを使用してストリーミングとバッチのユースケースを統合

  • スキーマの自動適用を実施して、データ取り込み中の不正なレコードを回避します

  • データバージョニングによるタイムトラベルをサポート

  • マージ、更新、削除操作をサポートして、変更データキャプチャ (CDC)、ストリーミングアップサートなどの複雑なユースケースを可能にします