メンテナンスジョブに関する考慮事項と制限事項
Amazon S3 には、S3 テーブルまたはテーブルバケットのパフォーマンスを向上させるためのメンテナンスオペレーションが用意されています。これらのオプションは、ファイル圧縮、スナップショット管理、および参照されていないファイルの削除です。これらの管理オプションの制限事項と考慮事項を次に示します。
圧縮に関する考慮事項
圧縮には以下の考慮事項が適用されます。圧縮の詳細については、「S3 Tables のメンテナンス」を参照してください。
-
圧縮は Apache Parquet ファイルタイプでのみサポートされています。
-
圧縮は Fixed データ型をサポートしていません。
-
圧縮は圧縮タイプ
brotli
、lz4
をサポートしていません。
スナップショット管理に関する考慮事項
スナップショット管理には、以下の考慮事項が適用されます。スナップショット管理の詳細については、「S3 Tables のメンテナンス」を参照してください。
-
スナップショットは、保持するスナップショットの最小数と指定された保持期間という両方の基準が満たされた場合にのみ保持されます。
-
スナップショット管理では、Apache Iceberg から期限切れのスナップショットメタデータを削除し、期限切れのスナップショットのタイムトラベルクエリを防ぎ、オプションで関連するデータファイルを削除します。
-
スナップショット管理では、ブランチやタグベースの保持を含め、
metadata.json
ファイル内の Iceberg テーブルプロパティとして、またはALTER TABLE SET TBLPROPERTIES
SQL コマンドを介して設定した保持値はサポートされていません。ブランチまたはタグベースの保持ポリシーを設定する場合、またはPutTableMaintenanceConfiguration
API で設定された値よりも長い保持ポリシーをmetadata.json
ファイルに設定する場合、スナップショット管理は無効になります。このような場合、S3 はスナップショットの有効期限が切れたり削除されたりしないため、ストレージ料金が発生しないように、スナップショットを手動で削除するか、Iceberg テーブルからプロパティを削除する必要があります。
参照されていないファイルの削除に関する考慮事項
参照されていないファイルの削除には、以下の考慮事項が適用されます。参照されていないファイルの削除の詳細については、「Amazon S3 テーブルバケットのメンテナンス」を参照してください。
-
参照されていないファイルを削除すると、作成時刻が保持期間より前の場合、Iceberg メタデータによって参照されなくなったデータとメタデータファイルが削除されます。
S3 テーブルとテーブルバケットのメンテナンスの制限事項
メンテナンスオペレーション | プロパティ | テーブルバケットレベルで設定可能か。 | テーブルレベルで設定可能か。 | デフォルト値 | 最小値 |
---|---|---|---|---|---|
圧縮 | targetFileSizeMB | いいえ | はい | 512MB | 64MB |
スナップショットの管理 | minimumSnapshots | いいえ | はい | 1 | 1 |
スナップショットの管理 | maximumSnapshotAge | いいえ | はい | 120 時間 | 1 時間 |
参照されていないファイルの削除 | unreferencedDays | はい | いいえ | 3 日 | 1 日 |
参照されていないファイルの削除 | nonCurrentDays | はい | いいえ | 10 日 | 1 日 |