Amazon EFS-Volumes

Amazon Elastic File System (Amazon EFS) bietet einfachen, skalierbaren Dateispeicher für Ihre AWS Batch Jobs. Mit Amazon EFS ist die Speicherkapazität elastisch. Es wird automatisch skaliert, wenn Sie Dateien hinzufügen und entfernen. Ihre Anwendungen verfügen jederzeit über den jeweils erforderlichen Speicherplatz.

Sie können Amazon EFS-Dateisysteme mit verwenden AWS Batch , um Dateisystemdaten aus Ihrer gesamten Flotte von Container-Instances zu exportieren. Auf diese Weise haben Ihre Jobs Zugriff auf denselben persistenten Speicher. Sie müssen Ihr Container-Instance-AMI jedoch konfigurieren, um das Amazon EFS-Dateisystem zu mounten, bevor der Docker-Daemon startet. Außerdem müssen Ihre Jobdefinitionen auf Volume-Mounts auf der Container-Instance verweisen, um das Dateisystem verwenden zu können. Die folgenden Abschnitte helfen Ihnen bei den ersten Schritten mit Amazon EFS AWS Batch.

Überlegungen zu Amazon EFS Volumes

Bei der Verwendung von Amazon EFS-Volumes sollte Folgendes berücksichtigt werden:

• Für Jobs, die EC2 Ressourcen verwenden, wurde die Unterstützung des Amazon EFS-Dateisystems als öffentliche Vorschauversion mit der für Amazon ECS optimierten AMI-Version 20191212 mit der Container-Agent-Version 1.35.0 hinzugefügt. Die Amazon EFS-Dateisystemunterstützung wurde jedoch mit der für Amazon ECS optimierten AMI-Version 20200319 mit der Container-Agent-Version 1.38.0, die den Amazon EFS Access Point und die IAM-Autorisierungsfunktionen enthielt, allgemein verfügbar. Wir empfehlen, dass Sie die für Amazon ECS optimierte AMI-Version 20200319 oder höher verwenden, um diese Funktionen nutzen zu können. Weitere Informationen finden Sie unter Amazon ECS-optimierte AMI-Versionen im Amazon Elastic Container Service Developer Guide.

  Anmerkung

  Wenn Sie Ihr eigenes AMI erstellen, müssen Sie den Container-Agenten 1.38.0 oder höher, ecs-init Version 1.38.0-1 oder höher verwenden und die folgenden Befehle auf Ihrer Amazon-Instance ausführen. EC2 Dies ist alles, um das Amazon ECS-Volumen-Plugin zu aktivieren. Die Befehle hängen davon ab, ob Sie Amazon Linux 2 oder Amazon Linux als Basis-Image verwenden.

  Amazon Linux 2

  $ yum install amazon-efs-utils
  systemctl enable --now amazon-ecs-volume-plugin

  Amazon Linux

  $ yum install amazon-efs-utils
  sudo shutdown -r now

• Für Jobs, die Fargate-Ressourcen verwenden, wurde Amazon EFS-Dateisystemunterstützung hinzugefügt, wenn Plattformversion 1.4.0 oder höher verwendet wird. Weitere Informationen finden Sie unter AWS Fargate-Plattformversionen im Amazon Elastic Container Service Developer Guide.

• Bei der Angabe von Amazon EFS-Volumes in Aufträgen, die Fargate-Ressourcen verwenden, erstellt Fargate einen Supervisor-Container, der für die Verwaltung des Amazon EFS-Volumes verantwortlich ist. Der Supervisor-Container verwendet einen kleinen Teil des Arbeitsspeichers. Der Supervisor-Container ist beim Abfragen des Endpunkts der Aufgabenmetadaten Version 4 sichtbar. Weitere Informationen finden Sie unter Aufgabenmetadaten-Endpunkt Version 4 im Amazon Elastic Container Service-Benutzerhandbuch für AWS Fargate.

Verwenden Sie Amazon EFS-Zugriffspunkte

Amazon EFS Access Points sind anwendungsspezifische Einstiegspunkte in ein EFS-Dateisystem, mit denen Sie den Anwendungszugriff auf gemeinsam genutzte Datensätze verwalten können. Weitere Informationen zu Amazon EFS Access Points und zur Steuerung des Zugriffs auf diese finden Sie unter Arbeiten mit Amazon EFS Access Points im Amazon Elastic File System-Benutzerhandbuch.

Zugriffspunkte können eine Benutzeridentität, einschließlich der POSIX-Gruppen des Benutzers, für alle Dateisystemanforderungen erzwingen, die über den Zugriffspunkt erfolgen. Zugriffspunkte können auch ein anderes Stammverzeichnis für das Dateisystem erzwingen, so dass Clients nur auf Daten im angegebenen Verzeichnis oder in seinen Unterverzeichnissen zugreifen können.

Anmerkung

Beim Erstellen eines EFS-Zugriffspunkts geben Sie einen Pfad im Dateisystem an, der als Stammverzeichnis dienen soll. Wenn Sie in Ihrer AWS Batch Jobdefinition mit einer Zugriffspunkt-ID auf das EFS-Dateisystem verweisen, muss das Stammverzeichnis entweder weggelassen oder auf / Dies erzwingt den Pfad gesetzt werden, der auf dem EFS-Zugriffspunkt festgelegt ist.

Sie können eine AWS Batch IAM-Job-Rolle verwenden, um zu erzwingen, dass bestimmte Anwendungen einen bestimmten Zugriffspunkt verwenden. Durch die Kombination von IAM-Richtlinien mit Zugriffspunkten können Sie ganz einfach einen sicheren Zugriff auf bestimmte Datasets für Ihre Anwendungen bereitstellen. Diese Funktion verwendet Amazon ECS IAM-Rollen für Aufgabenfunktionen. Weitere Informationen finden Sie unter IAM-Rollen für Aufgaben im Entwicklerhandbuch zum Amazon Elastic Container Service.

Geben Sie in Ihrer Jobdefinition ein Amazon EFS-Dateisystem an

Um Amazon EFS-Dateisystem-Volumes für Ihre Container zu verwenden, müssen Sie die Volume- und Bereitstellungspunktkonfigurationen in Ihrer Auftragsdefinition angeben. Das folgende JSON-Snippet mit der Jobdefinition zeigt die Syntax für die mountPoints Objekte volumes und für einen Container:

{
    "containerProperties": [
        {
            "image": "amazonlinux:2",
            "command": [
                "ls",
                "-la",
                "/mount/efs"
            ],
            "mountPoints": [
                {
                    "sourceVolume": "myEfsVolume",
                    "containerPath": "/mount/efs",
                    "readOnly": true
                }
            ],
            "volumes": [
                {
                    "name": "myEfsVolume",
                    "efsVolumeConfiguration": {
                        "fileSystemId": "fs-12345678",
                        "rootDirectory": "/path/to/my/data",
                        "transitEncryption": "ENABLED",
                        "transitEncryptionPort": integer,
                        "authorizationConfig": {
                            "accessPointId": "fsap-1234567890abcdef1",
                            "iam": "ENABLED"
                        }
                    }
                }
            ]
        }
    ]
}

efsVolumeConfiguration

Typ: Objekt

Erforderlich: Nein

Dieser Parameter wird nur bei der Verwendung von Amazon EFS-Volumes angegeben.

fileSystemId

Typ: Zeichenfolge

Erforderlich: Ja

Die zu verwendende Amazon EFS-Dateisystem-ID.

rootDirectory

Typ: Zeichenfolge

Erforderlich: Nein

Das Verzeichnis im Amazon EFS-Dateisystem, das als Stammverzeichnis im Host bereitgestellt werden soll. Wenn dieser Parameter weggelassen wird, wird der Stamm des Amazon-EFS-Volumes verwendet. Die Angabe von / hat denselben Effekt wie das Weglassen dieses Parameters. Er kann bis zu 4.096 Zeichen lang sein.

Wichtig

Wenn in der ein EFS-Zugriffspunkt angegeben istauthorizationConfig, muss der Stammverzeichnisparameter entweder weggelassen oder auf gesetzt werden/. Dadurch wird der Pfad durchgesetzt, der auf dem EFS-Zugriffspunkt festgelegt ist.

transitEncryption

Typ: Zeichenfolge

Zulässige Werte: ENABLED | DISABLED

Erforderlich: Nein

Legt fest, ob die Verschlüsselung für Amazon EFS-Daten aktiviert werden soll, die zwischen dem AWS Batch Host und dem Amazon EFS-Server übertragen werden. Die Transit-Verschlüsselung muss aktiviert sein, wenn die Amazon-EFS-IAM-Autorisierung verwendet wird. Wenn dieser Parameter nicht angegeben ist, wird der Standardwert DISABLED verwendet. Weitere Informationen finden Sie unter Verschlüsseln von Daten während der Übertragung im Benutzerhandbuch für Amazon Elastic File System.

transitEncryptionPort

Typ: Ganzzahl

Erforderlich: Nein

Der Port, der beim Senden verschlüsselter Daten zwischen dem AWS Batch Host und dem Amazon EFS-Server verwendet werden soll. Wenn Sie keinen Transit-Verschlüsselungsport angeben, wird die Port-Auswahlstrategie verwendet, die der Amazon EFS-Mount-Helfer verwendet. Dieser Wert muss zwischen 0 und 65.535 liegen. Weitere Informationen finden Sie unter EFS-Mount-Helfer im Benutzerhandbuch für Amazon Elastic File System.

authorizationConfig

Typ: Objekt

Erforderlich: Nein

Die Autorisierungskonfigurationsdetails für das Amazon EFS-Dateisystem.

accessPointId

Typ: Zeichenfolge

Erforderlich: Nein

Die zu verwendende Zugriffspunkt-ID. Wenn ein Zugriffspunkt angegeben ist, efsVolumeConfiguration muss der Stammverzeichniswert in der entweder weggelassen oder auf gesetzt werden/. Dadurch wird der Pfad durchgesetzt, der auf dem EFS-Zugriffspunkt festgelegt ist. Wenn ein Zugriffspunkt verwendet wird, muss in EFSVolumeConfiguration die Transitverschlüsselung aktiviert sein. Weitere Informationen finden Sie unter Arbeiten mit Amazon EFS-Zugriffspunkten im Amazon Elastic File System-Benutzerhandbuch.

iam

Typ: Zeichenfolge

Zulässige Werte: ENABLED | DISABLED

Erforderlich: Nein

Legt fest, ob beim Mounten des Amazon EFS-Dateisystems die in einer Auftragsdefinition definierte AWS Batch Job-IAM-Rolle verwendet werden soll. Wenn diese Option aktiviert ist, muss die Transit-Verschlüsselung in EFSVolumeConfiguration aktiviert sein. Wenn dieser Parameter nicht angegeben ist, wird der Standardwert DISABLED verwendet. Weitere Informationen zur IAM-Ausführungsrolle finden Sie unter. AWS Batch IAM-Ausführungsrolle