Netzwerkdateisysteme mit AWS PCS verwenden - AWS PCS
Überlegungen zur Verwendung von NetzwerkdateisystemenBeispiele für Netzwerk-Mounts

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Netzwerkdateisysteme mit AWS PCS verwenden

Sie können Netzwerkdateisysteme an Knoten anhängen, die in einer AWS PCS-Rechenknotengruppe ( AWS Parallel Computing Service) gestartet wurden, um einen dauerhaften Speicherort bereitzustellen, an dem Daten und Dateien geschrieben und abgerufen werden können. Sie können Dateisysteme verwenden, die von AWS Diensten wie Amazon Elastic File System (Amazon EFS), Amazon FSx for Lustre, Amazon for NetApp ONTAP, Amazon FSx FSx forOpenZFS und Amazon File Cache bereitgestellt werden. Sie können auch selbstverwaltete Dateisysteme wie NFS-Server verwenden.

In diesem Thema werden Überlegungen und Beispiele für die Verwendung von Netzwerkdateisystemen mit AWS PCS behandelt.

Überlegungen zur Verwendung von Netzwerkdateisystemen

Die Implementierungsdetails für verschiedene Dateisysteme sind unterschiedlich, es gibt jedoch einige allgemeine Überlegungen.

  • Die entsprechende Dateisystemsoftware muss auf der Instanz installiert sein. Um beispielsweise Amazon FSx for Lustre zu verwenden, ist das entsprechende Lustre Paket sollte vorhanden sein. Dies kann erreicht werden, indem es in das Compute-Knotengruppen-AMI aufgenommen wird oder indem ein Skript verwendet wird, das beim Instance-Start ausgeführt wird.

  • Es muss eine Netzwerkroute zwischen dem gemeinsam genutzten Netzwerkdateisystem und den Compute-Knotengruppen-Instances bestehen.

  • Die Sicherheitsgruppenregeln sowohl für das gemeinsam genutzte Netzwerk-Dateisystem als auch für die Compute-Knotengruppen-Instanzen müssen Verbindungen zu den entsprechenden Ports zulassen.

  • Sie müssen eine konsistente POSIX Benutzer- und Gruppennamespace für Ressourcen, die auf die Dateisysteme zugreifen. Andernfalls kann es bei Aufträgen und interaktiven Prozessen, die auf Ihrem PCS-Cluster ausgeführt werden, zu Berechtigungsfehlern kommen.

  • Das Einhängen von Dateisystemen erfolgt mit EC2 Vorlagen starten. Fehler oder Zeitüberschreitungen beim Mounten eines Netzwerkdateisystems können dazu führen, dass Instanzen nicht mehr für die Ausführung von Jobs verfügbar sind. Dies wiederum kann zu unerwarteten Kosten führen. Weitere Informationen zum Debuggen von Startvorlagen finden Sie unterVerwenden von EC2 Amazon-Startvorlagen mit AWS PCS.

Beispiele für Netzwerk-Mounts

Sie können Dateisysteme mit Amazon EFS, Amazon FSx for Lustre, Amazon for NetApp ONTAP, Amazon FSx FSx for OpenZFS und Amazon File Cache erstellen. Erweitern Sie den entsprechenden Abschnitt unten, um ein Beispiel für jeden Netzwerk-Mount zu sehen.

Einrichtung des Dateisystems

Erstellen Sie ein Amazon EFS-Dateisystem. Stellen Sie sicher, dass es in jeder Availability Zone, in der Sie PCS-Compute-Knotengruppen-Instances starten, ein Mount-Ziel gibt. Stellen Sie außerdem sicher, dass jedes Mount-Ziel einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS-Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen finden Sie unter Bereitstellen von Zielen und Sicherheitsgruppen im Amazon Elastic File System-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Fügen Sie Benutzerdaten hinzu, die cloud-config einen Mechanismus zum Mounten des Amazon EFS-Dateisystems verwenden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf jeder Instance, auf der Sie Amazon EFS mounten werden

  • filesystem-id— Die Dateisystem-ID für das EFS-Dateisystem

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Einrichtung des Dateisystems

Erstellen Sie ein FSx for Lustre-Dateisystem in der VPC, in dem Sie PCS verwenden AWS werden. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer PCS-Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS-Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Dateisystem-Zugriffskontrolle mit Amazon VPC im Amazon FSx for Lustre-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des FSx for Lustre-Dateisystems verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

  • filesystem-id— Die Dateisystem-ID für das FSx for Lustre-Dateisystem

  • mount-name— Der Mount-Name für das FSx for Lustre-Dateisystem

  • region-code— Der AWS-Region Ort, an dem das FSx for Lustre-Dateisystem bereitgestellt wird (muss mit Ihrem AWS PCS-System identisch sein)

  • (Optional) latest — Jede Version von Lustre unterstützt von FSx for Lustre

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==

Einrichtung des Dateisystems

Erstellen Sie ein Amazon FSx for NetApp ONTAP-Dateisystem in der VPC, in der Sie PCS verwenden AWS werden. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Bereitstellung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer AWS PCS-Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den Instances der AWS PCS-Compute-Knotengruppe aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter File System Access Control with Amazon VPC im FSx for ONTAP User Guide.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des Root-Volumes FSx für ein ONTAP-Dateisystem verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instance, auf der Sie Ihr FSx for ONTAP-Volume mounten möchten

  • svm-id— Die SVM-ID für das Dateisystem FSx für ONTAP

  • filesystem-id— Die Dateisystem-ID FSx für das ONTAP-Dateisystem

  • region-code— Der AWS-Region Ort, an dem das Dateisystem FSx für ONTAP bereitgestellt wird (muss mit Ihrem AWS PCS-System identisch sein)

  • volume-name— Der Name des FSx Volumes für ONTAP

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs svm-id.filesystem-id.fsx.region-code.amazonaws.com:/volume-name /mount-point-directory

--==MYBOUNDARY==

Einrichtung des Dateisystems

Erstellen Sie ein Dateisystem FSx für OpenZFS in der VPC, in dem Sie PCS verwenden werden. AWS Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer AWS PCS-Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den Instances der AWS PCS-Compute-Knotengruppe aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Verwaltung des Dateisystemzugriffs mit Amazon VPC im FSx OpenZFS-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des Root-Volumes FSx für ein OpenZFS-Dateisystem verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, auf der Sie Ihr FSx für OpenZFS Share mounten möchten

  • filesystem-id— Die Dateisystem-ID für das Dateisystem FSx für OpenZFS

  • region-code— Der AWS-Region Ort, an dem das Dateisystem FSx für OpenZFS bereitgestellt wird (muss mit Ihrem PCS-System identisch sein) AWS 

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Einrichtung des Dateisystems

Erstellen Sie einen Amazon File Cache in der VPC, in der Sie AWS PCS verwenden werden. Um Übertragungen zwischen Zonen zu minimieren, wählen Sie ein Subnetz in derselben Availability Zone, in der Sie die meisten Ihrer PCS-Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass der Datei-Cache einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Datenverkehr auf Port 988 zwischen Ihren PCS-Instances und dem File Cache zulässt. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Cache-Zugriffskontrolle mit Amazon VPC im Amazon File Cache-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Schließen Sie Benutzerdaten ein, die cloud-config zum Mounten des Amazon File Cache verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

  • mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

  • cache-dns-name— Der DNS-Name (Domain Name System) für den Dateicache

  • mount-name— Der Mount-Name für den Datei-Cache

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==