So funktioniert Amazon S3 File Gateway

Um ein S3 File Gateway zu verwenden, laden Sie zunächst ein VM-Image für das Gateway herunter. Anschließend aktivieren Sie das Gateway über die AWS Management Console oder über die Storage Gateway Gateway-API. Sie können auch ein S3 File Gateway mit einem EC2 Amazon-Image erstellen.

Nachdem das S3 File Gateway aktiviert wurde, erstellen und konfigurieren Sie Ihre Dateifreigabe und verknüpfen diese Freigabe mit Ihrem Amazon Simple Storage Service (Amazon S3) -Bucket. Dadurch können Clients, die entweder das Network File System (NFS) oder das Server Message Block (SMB) -Protokoll verwenden, auf die gemeinsame Nutzung zugreifen. In eine Dateifreigabe geschriebene Dateien werden in Amazon S3 zu Objekten, wobei der Pfad der Schlüssel ist. Es gibt eine one-to-one Zuordnung zwischen Dateien und Objekten, und das Gateway aktualisiert die Objekte in Amazon S3 asynchron, wenn Sie die Dateien ändern. Bestehende Objekte im Amazon S3 S3-Bucket werden als Dateien im Dateisystem angezeigt, und der Schlüssel wird zum Pfad. Objekte werden mit serverseitigen Amazon S3 S3-Verschlüsselungsschlüsseln (SSE-S3) verschlüsselt. Die gesamte Datenübertragung erfolgt über HTTPS.

Beim Senden von HTTPS-Daten-Upload-Anfragen an Amazon S3 füllt File Gateway den MD5 Content-Header mit der MD5 Prüfsumme der hochgeladenen Daten. Die Verwendung dieses Headers veranlasst Amazon S3, im Falle einer Nichtübereinstimmung zwischen der von Amazon S3 berechneten MD5 Prüfsumme und dem vom File Gateway empfangenen Wert einen Fehler zurückzugeben. Wenn ein solcher Fehler zurückgegeben wird, sendet das File Gateway die Anfrage erneut.

Der Dienst optimiert die Datenübertragung zwischen dem Gateway und AWS verwendet mehrteilige parallel Uploads oder Downloads im Bytebereich, um die verfügbare Bandbreite besser zu nutzen. Der lokale Cache wird beibehalten, um den Zugriff auf die zuletzt abgerufenen Daten mit geringer Latenz zu ermöglichen und die Gebühren für den Datenausgang zu senken. CloudWatch Metriken bieten Einblicke in die Ressourcennutzung auf der VM und den Datentransfer von AWS und zu. CloudTrail verfolgt alle API-Aufrufe.

Mit dem S3 File Gateway-Speicher können Sie Aufgaben wie das Einlesen von Cloud-Workloads in Amazon S3, das Durchführen von Backups und Archivieren, Tiering und die Migration von Speicherdaten in die Cloud erledigen. AWS Das folgende Diagramm bietet einen Überblick über die Bereitstellung von Dateispeichern für Storage Gateway.

S3 File Gateway konvertiert Dateien in S3-Objekte, wenn Dateien auf Amazon S3 hochgeladen werden. Die Wechselwirkung zwischen Dateioperationen, die gegen Dateifreigaben auf S3 File Gateway ausgeführt werden, und S3-Objekten erfordert, dass bestimmte Operationen bei der Konvertierung zwischen Dateien und Objekten sorgfältig geprüft werden.

Bei häufigen Dateioperationen werden Dateimetadaten geändert, was zum Löschen des aktuellen S3-Objekts und zur Erstellung eines neuen S3-Objekts führt. Die folgende Tabelle zeigt Beispiele für Dateioperationen und deren Auswirkungen auf S3-Objekte.

Dateioperation	Auswirkung auf das S3-Objekt	Auswirkung auf die Speicherklasse
Datei umbenennen	Ersetzt ein vorhandenes S3-Objekt und erstellt für jede Datei ein neues S3-Objekt	Es können Gebühren für vorzeitiges Löschen und Abrufen anfallen
Ordner umbenennen	Ersetzt alle vorhandenen S3-Objekte und erstellt neue S3-Objekte für jeden Ordner und jede Datei in der Ordnerstruktur	Es können Gebühren für vorzeitiges Löschen und Abrufen anfallen
Berechtigungen ändern file/folder	Ersetzt ein vorhandenes S3-Objekt und erstellt ein neues S3-Objekt für jede Datei oder jeden Ordner	Gebühren für vorzeitiges Löschen und Abrufen können anfallen
Inhaberschaft ändern file/folder	Ersetzt ein vorhandenes S3-Objekt und erstellt ein neues S3-Objekt für jede Datei oder jeden Ordner	Gebühren für vorzeitiges Löschen und Abrufen können anfallen
An eine Datei anhängen	Ersetzt ein vorhandenes S3-Objekt und erstellt für jede Datei ein neues S3-Objekt	Es können Gebühren für vorzeitiges Löschen und Abrufen anfallen

Wenn eine Datei von einem NFS- oder SMB-Client auf das S3 File Gateway geschrieben wird, lädt das File Gateway die Daten der Datei auf Amazon S3 hoch, gefolgt von ihren Metadaten (Besitzverhältnisse, Zeitstempel usw.). Durch das Hochladen der Dateidaten wird ein S3-Objekt erstellt, und beim Hochladen der Metadaten für die Datei werden die Metadaten für das S3-Objekt aktualisiert. Durch diesen Vorgang wird eine weitere Version des Objekts erstellt, was zu zwei Versionen eines Objekts führt. Wenn die S3-Versionierung aktiviert ist, werden beide Versionen gespeichert.

Wenn eine Datei im S3 File Gateway von einem NFS- oder SMB-Client geändert wird, nachdem sie auf Amazon S3 hochgeladen wurde, lädt das S3 File Gateway die neuen oder geänderten Daten hoch, anstatt die gesamte Datei hochzuladen. Die Dateiänderung führt dazu, dass eine neue Version des S3-Objekts erstellt wird.

Wenn das S3 File Gateway größere Dateien hochlädt, muss es möglicherweise kleinere Teile der Datei hochladen, bevor der Client mit dem Schreiben auf das S3 File Gateway fertig ist. Zu den Gründen hierfür gehören die Freigabe von Cache-Speicherplatz oder eine hohe Rate an Schreibvorgängen auf eine Dateifreigabe. Dies kann zu mehreren Versionen eines Objekts im S3-Bucket führen.

Sie sollten Ihren S3-Bucket überwachen, um festzustellen, wie viele Versionen eines Objekts existieren, bevor Sie Lebenszyklusrichtlinien einrichten, um Objekte in verschiedene Speicherklassen zu verschieben. Sie sollten den Lebenszyklusablauf für frühere Versionen konfigurieren, um die Anzahl der Versionen zu minimieren, die Sie für ein Objekt in Ihrem S3-Bucket haben. Die Verwendung von Same-Region-Replication (SRR) oder Cross-Region-Replication (CRR) zwischen S3-Buckets erhöht den Speicherverbrauch.