S3 バケットに更新を自動的にエクスポートする

FSx for Lustre ファイルシステムは、ファイルシステムでファイルを追加、変更、または削除したときに、リンクされた S3 バケットの内容を自動的に更新するように設定できます。FSx for Lustre は、ファイルシステムの変更に応じて、S3 でオブジェクトを作成、更新、または削除します。

注記

自動エクスポートは、 FSx for Lustre 2.10 ファイルシステムまたは Scratch 1 ファイルシステムでは利用できません。

ファイルシステム AWS リージョン と同じ または別の にあるデータリポジトリにエクスポートできます AWS リージョン。

データリポジトリの関連付けを作成するときに自動エクスポートを設定し、 FSxマネジメントコンソール、、 AWS CLIおよび を使用していつでも自動エクスポート設定を更新できます AWS API。

注記

同じデータリポジトリの関連付けで、自動エクスポートと自動インポートの両方を設定できます。このトピックでは、自動エクスポート機能のみについて説明します。

重要

• すべての自動エクスポートポリシーが有効で、自動インポートが無効になっているファイルシステムでファイルが変更された場合、そのファイルの内容は常に S3 の対応するオブジェクトにエクスポートされます。オブジェクトがターゲットの場所に既に存在する場合、そのオブジェクトは上書きされます。

• 自動インポートと自動エクスポートのポリシーがすべて有効になっている状態で、ファイルシステムと S3 の両方でファイルを変更すると、ファイルシステム内のファイルまたは S3 内のオブジェクトのいずれかが他方で上書きされる可能性があります。ある場所で後から編集しても、別の場所で行った以前の編集が上書きされない場合があります。ファイルシステムと S3 バケットの両方で同じファイルを変更する場合は、このような競合を防ぐためにアプリケーションレベルの調整を行う必要があります。FSx for Lustre は、複数の場所での書き込みの競合を防ぐものではありません。

エクスポートポリシーは、ファイルシステム内のコンテンツが変更されたときにリンクされた S3 バケットを FSx Lustre が更新する方法を指定します。データリポジトリの関連付けには、次のいずれかの自動エクスポートポリシーを設定できます。

• 新規 – FSx for Lustre は、ファイルシステムに新しいファイル、ディレクトリ、またはシンボリックリンクが作成された場合にのみ、S3 データリポジトリを自動的に更新します。

• 変更 – FSx for Lustre は、ファイルシステム内の既存のファイルが変更された場合にのみ S3 データリポジトリを自動的に更新します。ファイルコンテンツの変更については、S3 リポジトリに転送される前に、ファイルを閉じる必要があります。メタデータの変更 (名前の変更、所有権、許可、タイムスタンプ) は、オペレーションが完了すると、反映されます。名前を変更する場合 (移動を含む)、既存の (名前が変更された) S3 オブジェクトが削除され、新しい名前の新しい S3 オブジェクトが作成されます。

• 削除済み – FSx for Lustre は、ファイルシステム内でファイル、ディレクトリ、またはシンボリックリンクが削除された場合にのみ、S3 データリポジトリを自動的に更新します。

• 新規、変更済み、削除済み – FSx for Lustre は、指定したアクションのいずれかがファイルシステムで発生したときに S3 データリポジトリを自動的に更新します。例えば、ファイルシステムでオブジェクトが [新規] に追加されたとき、または [削除済み] から削除されたときに S3 リポジトリが更新され、ファイルが変更されたときには更新されないように指定できます。

• ポリシーが設定されていない — FSx for Lustre は、ファイルがファイルシステムに追加、変更、または削除されたときに S3 データリポジトリを自動的に更新しません。エクスポートポリシーを設定しない場合、自動エクスポートは無効になります。「データリポジトリのタスクを使用した変更のエクスポート」の説明に従って、データリポジトリのエクスポートタスクを使用して、変更を手動でエクスポートできます。

ほとんどのユースケースで、エクスポートポリシーを [新規]、[変更済み]、[削除済み] に設定することをお勧めします。このポリシーにより、ファイルシステムで行われたすべての更新が、リンクされた S3 データリポジトリに自動的にエクスポートされます。

自動的にエクスポートできなかったファイルやディレクトリに関する情報をログに記録するには、 CloudWatch ログへのログ記録を有効にすることをお勧めします。ログ内の警告とエラーには、失敗の理由に関する情報が含まれています。詳細については、「データリポジトリのイベントログ」を参照してください。

エクスポート設定の更新

データリポジトリの関連付けを作成するときに、リンクされた S3 バケットへのファイルシステムのエクスポート設定を設定できます。詳細については、「S3 バケットへのリンクの作成」を参照してください。

また、エクスポートポリシーを含め、いつでもエクスポート設定を更新できます。詳細については、「データリポジトリの関連付け設定の更新」を参照してください。

自動インポートのモニタリング

Amazon に公開された一連のメトリクスを使用して、自動エクスポートが有効なデータリポジトリの関連付けをモニタリングできます CloudWatch。AgeOfOldestQueuedMessage メトリクスは、ファイルシステムに対して行われた後、S3 にまだエクスポートされていない最も古い更新の経過時間を表します。AgeOfOldestQueuedMessage が長期間にわたってゼロより大きい場合は、メッセージキューが減少するまで、ファイルシステムに対してアクティブに行われている変更 (特にディレクトリ名の変更) の数を一時的に減らすことをお勧めします。詳細については、「AutoImport および AutoExport メトリクス」を参照してください。

重要

自動エクスポートが有効化されているデータリポジトリの関連付けまたはファイルシステムを削除する場合、まず、AgeOfOldestQueuedMessage がゼロであること、つまりまだエクスポートされていない変更が存在しないことを確認する必要があります。データリポジトリの関連付けまたはファイルシステムを削除したときに AgeOfOldestQueuedMessage がゼロより大きい場合、まだエクスポートされていない変更は、リンクされた S3 バケットに到達していません。これを回避するには、AgeOfOldestQueuedMessage がゼロになるまで待ってから、データリポジトリの関連付けまたはファイルシステムを削除します。