Automatischer Import von Updates aus Ihrem S3-Bucket

Sie können Lustre so konfigurierenFSx, dass Metadaten im Dateisystem automatisch aktualisiert werden, wenn Objekte zu Ihrem S3-Bucket hinzugefügt, darin geändert oder gelöscht werden. FSxfor Lustre erstellt, aktualisiert oder löscht die Datei- und Verzeichnisliste entsprechend der Änderung in S3. Wenn das geänderte Objekt im S3-Bucket seine Metadaten nicht mehr enthält, behält FSx for Lustre die aktuellen Metadatenwerte der Datei bei, einschließlich der aktuellen Berechtigungen.

Anmerkung

Das FSx for Lustre-Dateisystem und der verknüpfte S3-Bucket müssen sich im selben Verzeichnis befinden, AWS-Region damit Updates automatisch importiert werden können.

Sie können den automatischen Import konfigurieren, wenn Sie die Datenrepository-Zuordnung erstellen, und Sie können die Einstellungen für den automatischen Import jederzeit über die FSx Managementkonsole AWS CLI, die oder die AWS API aktualisieren.

Anmerkung

Sie können sowohl den automatischen Import als auch den automatischen Export für dieselbe Datenrepository-Zuordnung konfigurieren. In diesem Thema wird nur die automatische Importfunktion beschrieben.

Wichtig

• Wenn ein Objekt in S3 geändert wird, wobei alle automatischen Importrichtlinien aktiviert und der automatische Export deaktiviert sind, wird der Inhalt dieses Objekts immer in eine entsprechende Datei im Dateisystem importiert. Wenn am Zielort bereits eine Datei vorhanden ist, wird die Datei überschrieben.

• Wenn eine Datei sowohl im Dateisystem als auch in S3 geändert wird und alle automatischen Import- und Exportrichtlinien aktiviert sind, kann entweder die Datei im Dateisystem oder das Objekt in S3 durch die andere überschrieben werden. Es ist nicht garantiert, dass eine spätere Bearbeitung an einem Ort eine frühere Bearbeitung an einem anderen Ort überschreibt. Wenn Sie dieselbe Datei sowohl im Dateisystem als auch im S3-Bucket ändern, sollten Sie die Koordination auf Anwendungsebene sicherstellen, um solche Konflikte zu vermeiden. FSxfor Lustre verhindert nicht widersprüchliche Schreibvorgänge an mehreren Speicherorten.

Die Importrichtlinie legt fest, wie Lustre Ihr Dateisystem aktualisieren soll, wenn sich der Inhalt im verknüpften S3-Bucket ändert. FSx Eine Datenrepository-Zuordnung kann eine der folgenden Importrichtlinien haben:

• Neu — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn dem verknüpften S3-Datenrepository neue Objekte hinzugefügt werden.

• Geändert — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn ein vorhandenes Objekt im Daten-Repository geändert wird.

• Gelöscht — FSx für Lustre werden Datei- und Verzeichnismetadaten nur dann automatisch aktualisiert, wenn ein Objekt im Datenrepository gelöscht wird.

• Beliebige Kombination aus Neu, Geändert und Gelöscht — FSx bei Lustre werden Datei- und Verzeichnismetadaten automatisch aktualisiert, wenn eine der angegebenen Aktionen im S3-Datenrepository stattfindet. Sie können beispielsweise angeben, dass das Dateisystem aktualisiert wird, wenn ein Objekt zum S3-Repository hinzugefügt (Neu) oder aus dem S3-Repository entfernt (gelöscht) wird, aber nicht aktualisiert wird, wenn ein Objekt geändert wird.

• Keine Richtlinie konfiguriert — FSx denn Lustre aktualisiert keine Datei- und Verzeichnismetadaten im Dateisystem, wenn Objekte zum S3-Daten-Repository hinzugefügt, darin geändert oder gelöscht werden. Wenn Sie keine Importrichtlinie konfigurieren, ist der automatische Import für die Datenrepository-Zuordnung deaktiviert. Sie können Metadatenänderungen immer noch manuell importieren, indem Sie eine Aufgabe zum Importieren eines Datenrepositorys verwenden, wie unter beschriebenVerwenden von Datenrepository-Aufgaben zum Importieren von Änderungen.

Wichtig

Beim automatischen Import werden die folgenden S3-Aktionen nicht mit Ihrem Linked FSx for Lustre-Dateisystem synchronisiert:

• Löschen eines Objekts mit Ablauf des S3-Objektlebenszyklus

• Dauerhaftes Löschen der aktuellen Objektversion in einem Bucket mit aktivierter Versionierung

• Das Löschen eines Objekts in einem Bucket mit aktivierter Versionierung rückgängig machen

Für die meisten Anwendungsfälle empfehlen wir, die Importrichtlinie „Neu“, „Geändert“ und „Gelöscht“ zu konfigurieren. Diese Richtlinie stellt sicher, dass alle Aktualisierungen, die in Ihrem verknüpften S3-Datenrepository vorgenommen wurden, automatisch in Ihr Dateisystem importiert werden.

Wenn Sie eine Importrichtlinie zur Aktualisierung Ihrer Dateisystemdatei und Ihrer Verzeichnismetadaten auf der Grundlage von Änderungen im verknüpften S3-Datenrepository festlegen, erstellt FSx for Lustre eine Konfiguration für Ereignisbenachrichtigungen im verknüpften S3-Bucket. Die Konfiguration für die Ereignisbenachrichtigung hat einen NamenFSx. Ändern oder löschen Sie die Konfiguration der FSx Ereignisbenachrichtigung im S3-Bucket nicht. Dadurch wird der automatische Import aktualisierter Datei- und Verzeichnismetadaten in Ihr Dateisystem verhindert.

Wenn FSx for Lustre eine Dateiliste aktualisiert, die sich im verknüpften S3-Daten-Repository geändert hat, überschreibt es die lokale Datei mit der aktualisierten Version, auch wenn die Datei schreibgesperrt ist.

FSxfor Lustre bemüht sich nach besten Kräften, Ihr Dateisystem zu aktualisieren. FSxfor Lustre kann das Dateisystem in den folgenden Situationen nicht aktualisieren:

• Wenn FSx for Lustre nicht berechtigt ist, das geänderte oder neue S3-Objekt zu öffnen. In diesem Fall überspringt FSx for Lustre das Objekt und fährt fort. Der DRA Lebenszyklusstatus ist davon nicht betroffen.

• Wenn FSx for Lustre keine Berechtigungen auf Bucket-Ebene hat, z. B. für. GetBucketAcl Dadurch wird der Lebenszyklusstatus des Datenrepositorys auf „Fehlkonfiguriert“ gesetzt. Weitere Informationen finden Sie unter Lebenszyklusstatus der Datenrepository-Zuordnung.

• Wenn die Konfiguration der FSx Ereignisbenachrichtigung im verknüpften S3-Bucket gelöscht oder geändert wird. Dies führt dazu, dass der Lebenszyklusstatus des Datenrepositorys falsch konfiguriert wird. Weitere Informationen finden Sie unter Lebenszyklusstatus der Datenrepository-Zuordnung.

Wir empfehlen, die Protokollierung in CloudWatch Logs zu aktivieren, um Informationen zu Dateien oder Verzeichnissen zu protokollieren, die nicht automatisch importiert werden konnten. Warnungen und Fehler im Protokoll enthalten Informationen zur Fehlerursache. Weitere Informationen finden Sie unter Datenrepository-Ereignisprotokolle.

Voraussetzungen

Die folgenden Bedingungen sind erforderlich, damit Lustre automatisch neue, geänderte oder gelöschte Dateien aus dem verknüpften S3-Bucket importieren kann: FSx

• Das Dateisystem und der verknüpfte S3-Bucket befinden sich im selben AWS-Region.

• Der S3-Bucket hat keinen falsch konfigurierten Lifecycle-Status. Weitere Informationen finden Sie unter Lebenszyklusstatus der Datenrepository-Zuordnung.

• Ihr Konto verfügt über die erforderlichen Berechtigungen, um Ereignisbenachrichtigungen für den verknüpften S3-Bucket zu konfigurieren und zu empfangen.

Unterstützte Arten von Dateiänderungen

FSxfor Lustre unterstützt den Import der folgenden Änderungen an Dateien und Verzeichnissen, die im verknüpften S3-Bucket auftreten:

• Änderungen am Dateiinhalt.

• Änderungen an Datei- oder Verzeichnismetadaten.

• Änderungen am Symlink-Ziel oder an den Metadaten.

• Löschungen von Dateien und Verzeichnissen. Wenn Sie ein Objekt im verknüpften S3-Bucket löschen, das einem Verzeichnis im Dateisystem entspricht (d. h. ein Objekt mit einem Schlüsselnamen, der mit einem Schrägstrich endet), FSx löscht Lustre das entsprechende Verzeichnis im Dateisystem nur, wenn es leer ist.

Importeinstellungen werden aktualisiert

Sie können die Importeinstellungen eines Dateisystems für einen verknüpften S3-Bucket festlegen, wenn Sie die Datenrepository-Zuordnung erstellen. Weitere Informationen finden Sie unter Einen Link zu einem S3-Bucket erstellen.

Sie können auch die Importeinstellungen, einschließlich der Importrichtlinie, jederzeit aktualisieren. Weitere Informationen finden Sie unter Einstellungen für die Datenrepository-Zuordnung werden aktualisiert.

Überwachung des automatischen Imports

Wenn die Änderungsrate in Ihrem S3-Bucket die Geschwindigkeit übersteigt, mit der der automatische Import diese Änderungen verarbeiten kann, werden die entsprechenden Metadatenänderungen, die in Ihr FSx for Lustre-Dateisystem importiert werden, verzögert. In diesem Fall können Sie anhand der AgeOfOldestQueuedMessage Metrik das Alter der ältesten Änderung überwachen, die darauf wartet, vom automatischen Import verarbeitet zu werden. Weitere Informationen zu dieser Metrik finden Sie unterAutoImport AutoExport und Metriken.

Wenn die Verzögerung beim Import von Metadatenänderungen 14 Tage überschreitet (gemessen anhand der AgeOfOldestQueuedMessage Metrik), werden Änderungen in Ihrem S3-Bucket, die nicht durch automatischen Import verarbeitet wurden, nicht in Ihr Dateisystem importiert. Darüber hinaus ist der Zuordnungszyklus Ihres Daten-Repositorys als markiert MISCONFIGUREDund der automatische Import wird gestoppt. Wenn Sie den automatischen Export aktiviert haben, überwacht der automatische Export Ihr FSx for Lustre-Dateisystem weiterhin auf Änderungen. Zusätzliche Änderungen werden jedoch nicht von Ihrem FSx for Lustre-Dateisystem mit S3 synchronisiert.

Um Ihre Datenrepository-Zuordnung vom MISCONFIGUREDLebenszyklusstatus in den AVAILABLELebenszyklusstatus zurückzuversetzen, müssen Sie Ihre Datenrepository-Zuordnung aktualisieren. Sie können Ihre Datenrepository-Zuordnung mithilfe des update-data-repository-associationCLIBefehls (oder der entsprechenden UpdateDataRepositoryAssociationAPIOperation) aktualisieren. Der einzige Anforderungsparameter, den Sie benötigen, ist AssociationID der der Datenrepository-Zuordnung, die Sie aktualisieren möchten.

Nachdem sich der Lebenszyklusstatus der Datenrepository-Zuordnung auf geändert hat AVAILABLE, wird der automatische Import (und der automatische Export, falls aktiviert) neu gestartet. Nach dem Neustart setzt der automatische Export die Synchronisierung der Dateisystemänderungen mit S3 fort. Um die Metadaten neuer und geänderter Objekte in S3 mit Ihrem FSx for Lustre-Dateisystem zu synchronisieren, die nicht importiert wurden oder aus einem falsch konfigurierten Zustand der Datenrepository-Zuordnung stammen, führen Sie eine Aufgabe zum Importieren von Datenrepositorys aus. Bei Aufgaben zum Importieren von Datenrepositorys werden Löschungen in Ihrem S3-Bucket nicht mit Ihrem FSx for Lustre-Dateisystem synchronisiert. Wenn Sie S3 vollständig mit Ihrem Dateisystem synchronisieren möchten (einschließlich Löschungen), müssen Sie Ihr Dateisystem neu erstellen.

Um sicherzustellen, dass Verzögerungen beim Import von Metadatenänderungen 14 Tage nicht überschreiten, empfehlen wir Ihnen, einen Alarm für die AgeOfOldestQueuedMessage Metrik einzurichten und die Aktivität in Ihrem S3-Bucket zu reduzieren, falls die AgeOfOldestQueuedMessage Metrik Ihren Alarmschwellenwert überschreitet. Für ein FSx for Lustre-Dateisystem, das mit einem S3-Bucket verbunden ist, wobei ein einziger Shard kontinuierlich die maximale Anzahl möglicher Änderungen von S3 sendet, wobei nur der automatische Import auf dem FSx for Lustre-Dateisystem ausgeführt wird, kann der automatische Import einen 7-stündigen Backlog von S3-Änderungen innerhalb von 14 Tagen verarbeiten.

Darüber hinaus können Sie mit einer einzigen S3-Aktion mehr Änderungen generieren, als der automatische Import jemals in 14 Tagen verarbeiten kann. Beispiele für diese Arten von Aktionen sind unter anderem AWS Snowball Uploads auf S3 und umfangreiche Löschungen. Wenn Sie eine umfangreiche Änderung an Ihrem S3-Bucket vornehmen, die Sie mit Ihrem FSx for Lustre-Dateisystem synchronisieren möchten, sollten Sie Ihr Dateisystem löschen und nach Abschluss der S3-Änderung neu erstellen, um zu verhindern, dass automatische Importänderungen länger als 14 Tage dauern.

Wenn Ihre AgeOfOldestQueuedMessage Metrik wächst, überprüfen Sie Ihren S3-BucketGetRequests, PutRequestsPostRequests, und die DeleteRequests Metriken auf Aktivitätsänderungen, die zu einer Erhöhung der Geschwindigkeit und/oder Anzahl der Änderungen führen würden, die an den automatischen Import gesendet werden. Informationen zu verfügbaren S3-Metriken finden Sie unter Monitoring Amazon S3 im Amazon S3 S3-Benutzerhandbuch.

Eine Liste aller FSx für Lustre verfügbaren Metriken finden Sie unterÜberwachung mit Amazon CloudWatch.