Verwenden von Netzwerkdateisystemen mit AWS PCS

Sie können Netzwerkspeichervolumes an Knoten anhängen, die in einer Rechenknotengruppe des AWS Parallel Computing Service (AWS PCS) gestartet wurden, um einen dauerhaften Speicherort bereitzustellen, an dem Daten und Dateien geschrieben und abgerufen werden können. Sie können Volumes verwenden, die von AWS Diensten bereitgestellt werden. Zu den Volumes gehören Amazon Elastic File System (AmazonEFS) NetApp ONTAP, Amazon FSx FSx for, Amazon for Open ZFS, Amazon FSx for Lustre und Amazon File Cache. Sie können auch selbstverwaltete Volumes wie NFS Server verwenden.

In diesem Thema werden Überlegungen und Beispiele für die Verwendung von Netzwerkdateisystemen mit AWS PCS behandelt.

Überlegungen zur Verwendung von Netzwerkdateisystemen

Die Implementierungsdetails für verschiedene Dateisysteme sind unterschiedlich, es gibt jedoch einige allgemeine Überlegungen.

• Die entsprechende Dateisystemsoftware muss auf der Instanz installiert sein. Um beispielsweise Amazon FSx for Lustre zu verwenden, sollte das entsprechende Lustre Paket vorhanden sein. Dies kann erreicht werden, indem es in die Compute-Knotengruppe aufgenommen wird AMI oder indem ein Skript verwendet wird, das beim Start der Instance ausgeführt wird.

• Es muss eine Netzwerkroute zwischen dem gemeinsam genutzten Speichervolume und den Instanzen der Compute-Knotengruppe bestehen.

• Die Sicherheitsgruppenregeln sowohl auf dem gemeinsam genutzten Speichervolume als auch auf den Instanzen der Compute-Knotengruppe müssen Verbindungen zu den entsprechenden Ports zulassen.

• Sie müssen für alle Ressourcen, die auf die Dateisysteme zugreifen, einen konsistenten POSIX Benutzer- und Gruppennamespace aufrechterhalten. Andernfalls kann es bei Aufträgen und interaktiven Prozessen, die auf Ihrem PCS Cluster ausgeführt werden, zu Berechtigungsfehlern kommen.

• Das Einhängen von Dateisystemen erfolgt mithilfe von EC2 Startvorlagen. Fehler oder Zeitüberschreitungen beim Mounten eines Netzwerkdateisystems können dazu führen, dass Instanzen nicht mehr für die Ausführung von Jobs verfügbar sind. Dies wiederum kann zu unerwarteten Kosten führen. Weitere Informationen zum Debuggen von Startvorlagen finden Sie unterVerwenden von EC2 Amazon-Startvorlagen mit AWS PCS.

Beispiele für Netzwerk-Mounts

Sie können Dateisysteme mit AmazonEFS, Amazon FSx for Lustre, Amazon FSx for Open ZFS und Amazon File Cache erstellen. Erweitern Sie den entsprechenden Abschnitt unten, um ein Beispiel für jeden Netzwerk-Mount zu sehen.

Amazon EFS

Einrichtung des Dateisystems

Erstellen Sie ein EFS Amazon-Dateisystem. Stellen Sie sicher, dass es in jeder Availability Zone, in der Sie PCS Compute-Knotengruppen-Instances starten, ein Mount-Ziel gibt. Stellen Sie außerdem sicher, dass jedes Mount-Ziel einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen finden Sie unter Bereitstellen von Zielen und Sicherheitsgruppen im Amazon Elastic File System-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Fügen Sie Benutzerdaten hinzu, die cloud-config einen Mechanismus zum Mounten des EFS Amazon-Dateisystems verwenden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

• mount-point-directory— Der Pfad auf jeder Instance, auf der Sie Amazon mounten werden EFS

• filesystem-id— Die Dateisystem-ID für das EFS Dateisystem

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

packages:
  - amazon-efs-utils

runcmd:
  - mkdir -p /mount-point-directory
  - echo "filesystem-id:/ /mount-point-directory efs tls,_netdev" >> /etc/fstab
  - mount -a -t efs defaults

--==MYBOUNDARY==--

Amazon FSx für Lustre

Einrichtung des Dateisystems

Erstellen Sie in VPC dem Verzeichnis, das Sie verwenden AWS PCS möchten, ein Dateisystem FSx für Lustre. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer PCS Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Dateisystem-Zugriffskontrolle mit Amazon VPC im Amazon FSx for Lustre-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des FSx for Lustre-Dateisystems verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

• mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

• filesystem-id— Die Dateisystem-ID für das FSx for Lustre-Dateisystem

• mount-name— Der Mount-Name für das FSx for Lustre-Dateisystem

• region-code— Der AWS-Region Ort, an dem das FSx for Lustre-Dateisystem bereitgestellt wird (muss mit Ihrem AWS PCS System identisch sein)

• (Optional) latest — Jede Version von, die von FSx for Lustre Lustre unterstützt wird

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=latest
- mkdir -p /mount-point-directory
- mount -t lustre filesystem-id.fsx.region-code.amazonaws.com@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==   
   

Amazon FSx für Open ZFS

Einrichtung des Dateisystems

Erstellen Sie ein ZFS Dateisystem FSx für Open in VPC dem Verzeichnis, das Sie verwenden möchten AWS PCS. Um Übertragungen zwischen Zonen zu minimieren, sollten Sie die Implementierung in einem Subnetz in derselben Availability Zone durchführen, in der Sie die meisten Ihrer AWS PCS Compute-Knotengruppen-Instances starten werden. Stellen Sie sicher, dass das Dateisystem einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Zugriff von den AWS PCS Compute-Knotengruppen-Instances aus ermöglicht. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Verwaltung des Dateisystemzugriffs mit Amazon VPC im FSxfor ZFS Open-Benutzerhandbuch.

Startvorlage

Fügen Sie Benutzerdaten hinzu, die cloud-config zum Mounten des Root-Volumes für ein FSx for ZFS Open-Dateisystem verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

• mount-point-directory— Der Pfad auf einer Instanz, auf der Sie Ihre FSx for ZFS Open-Freigabe mounten möchten

• filesystem-id— Die Dateisystem-ID für das FSx for ZFS Open-Dateisystem

• region-code— Der AWS-Region Ort, an dem das FSx for ZFS Open-Dateisystem bereitgestellt wird (muss mit Ihrem AWS PCS System identisch sein)

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- mkdir -p /mount-point-directory
- mount -t nfs -o noatime,nfsvers=4.2,sync,rsize=1048576,wsize=1048576 filesystem-id.fsx.region-code.amazonaws.com:/fsx/ /mount-point-directory

--==MYBOUNDARY==

Amazon-Datei-Cache

Einrichtung des Dateisystems

Erstellen Sie einen Amazon File Cache in demVPC, wo Sie ihn verwenden werden AWS PCS. Um Übertragungen zwischen Zonen zu minimieren, wählen Sie ein Subnetz in derselben Availability Zone aus, in der Sie die meisten Ihrer PCS Compute Node Group-Instances starten werden. Stellen Sie sicher, dass der Datei-Cache einer Sicherheitsgruppe zugeordnet ist, die eingehenden und ausgehenden Datenverkehr auf Port 988 zwischen Ihren PCS Instances und dem File Cache zulässt. Weitere Informationen zu Sicherheitsgruppen finden Sie unter Cache-Zugriffskontrolle mit Amazon VPC im Amazon File Cache-Benutzerhandbuch.

Startvorlage

Fügen Sie die Sicherheitsgruppe (n) aus Ihrem Dateisystem-Setup zur Startvorlage hinzu, die Sie für die Compute-Knotengruppe verwenden werden.

Schließen Sie Benutzerdaten ein, die cloud-config zum Mounten des Amazon File Cache verwendet werden. Ersetzen Sie die folgenden Werte in diesem Skript durch Ihre eigenen Daten:

• mount-point-directory— Der Pfad auf einer Instanz, die Sie FSx für Lustre mounten möchten

• cache-dns-name— Der Name des Domain Name System (DNS) für den Datei-Cache

• mount-name— Der Mount-Name für den Datei-Cache

MIME-Version: 1.0
Content-Type: multipart/mixed; boundary="==MYBOUNDARY=="

--==MYBOUNDARY==
Content-Type: text/cloud-config; charset="us-ascii"

runcmd:
- amazon-linux-extras install -y lustre=2.12
- mkdir -p /mount-point-directory
- mount -t lustre -o relatime,flock cache-dns-name@tcp:/mount-name /mount-point-directory

--==MYBOUNDARY==