AWS DataSyncStandorte erstellen mit demAWS CLI - AWS DataSync

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

AWS DataSyncStandorte erstellen mit demAWS CLI

JedeAWS DataSync Aufgabe besteht aus zwei Standorten in einer Übertragung. Der Quellspeicherort definiert das Speichersystem oder den Speicherservice, aus dem Sie Daten lesen möchten. Der Zielspeicherort definiert das Speichersystem oder den Speicherservice, in das bzw. den Sie Daten schreiben möchten.

Mit derAWS Command Line Interface (AWS CLI) können Sie Standorte für die folgenden Speichersysteme und Dienste erstellen:

  • Netzwerk-Dateisystem (NFS)

  • Server Message Block (SMB)

  • Hadoop Distributed File System (HDFS)

  • Quellstandorte für Objektspeicher mit Selbstverwaltung

  • Amazon Elastic File System (Amazon EFS)

  • Amazon FSx für Windows File Server

  • Amazon FSx für Lustre

  • Amazon FSx for OpenZFS

  • Amazon FSx for NetApp ONTAP

  • Amazon Simple Storage Service (Amazon S3)

Weitere Informationen finden Sie unter Womit kann ich meine Daten übertragenAWS DataSync?.

Erstellen eines NFS-Speicherorts

Ein NFS-Speicherort definiert ein Dateisystem auf einem NFS-Server, aus dem gelesen oder in das geschrieben werden kann. Sie können auch einen NFS-Standort erstellen, indem Sie den verwendenAWS Management Console. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen von einem NFS-Dateiserver.

Anmerkung

Wenn Sie einen NFS-Standort auf einemAWS Snowcone Gerät verwenden, finden Sie weitere InformationenKonfiguration vonAWS DataSync Übertragungen mitAWS Snowcone zum Übertragen von Daten zu oder von diesem Gerät.

So erstellen Sie einen NFS-Speicherort mithilfe der -CLI
  • Um einen NFS-Quellspeicherort zu erstellen, verwenden Sie den folgenden Befehl.

    $ aws datasync create-location-nfs \ --server-hostname nfs-server-address \ --on-prem-config AgentArns=datasync-agent-arns \ --subdirectory nfs-export-path

    Für den vorherigen Befehl gilt Folgendes:

    • Der Pfad (nfs-export-path), den Sie für den--subdirectory Parameter angeben, muss ein Pfad sein, der vom NFS-Server exportiert wurde, oder ein Unterverzeichnis. Andere NFS-Clients in Ihrem Netzwerk müssen in der Lage sein, diesen Pfad zu mounten. Um alle von Ihrem NFS-Server exportierten Pfade anzuzeigen, führen Sie über einen NFS-Client, der auf Ihren Server zugreifen kann, den Befehl showmount -e nfs-server-address aus. Sie können jedes Verzeichnis, das in den Ergebnissen erscheint, und jedes Unterverzeichnis dieser Verzeichnisse angeben.

    • Um alle Daten in dem von Ihnen angegebenen Ordner zu übertragen, benötigt DataSync Berechtigungen zum Lesen aller Daten. Um DataSync Berechtigungen zu erteilen, haben Sie zwei Möglichkeiten. Sie können den NFS-Export mit no_root_squash konfigurieren. Sie können auch für alle Dateien, auf die DataSync zugreifen soll, allen Benutzern Berechtigungen zum Lesezugriff erteilen. Wenn Sie eine dieser Aktionen ausführen, kann der Agent die Dateien lesen. Damit der Agent auf Verzeichnisse zugreifen kann, müssen Sie zusätzlich allen Benutzern Berechtigungen zum Ausführungszugriff erteilen.

    • Stellen Sie sicher, dass der NFS-Exportpfad ohne Kerberos-Authentifizierung möglich ist.

    DataSync wählt automatisch die NFS-Version aus, die es zum Lesen von einem NFS-Standort verwendet. Um eine NFS-Version anzugeben, verwenden Sie in der API-Operation NfsMountOptions den optionalen Parameter Version.

Dieser Befehl gibt für den NFS-Speicherort einen Amazon-Ressourcennamen (ARN) ähnlich dem folgenden ARN zurück.

{ "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0f01451b140b2af49" }

Um zu überprüfen, ob das Verzeichnis gemountet werden kann, können Sie eine Verbindung zu einem Computer mit der gleichen Netzwerkkonfiguration wie Ihr Agent herstellen und den folgenden CLI-Befehl ausführen.

mount -t nfs -o nfsvers=<nfs-server-version <nfs-server-address:<nfs-export-path <test-folder

Im Folgenden finden Sie ein Beispiel für den Befehl.

mount -t nfs -o nfsvers=3 198.51.100.123:/path_for_sync_to_read_from /temp_folder_to_test_mount_on_local_machine

Einen SMB-Standort erstellen

Ein SMB-Speicherort definiert ein Dateisystem auf einem SMB-Server, aus dem gelesen oder in das geschrieben werden kann. Sie können einen SMB-Speicherort auch mithilfe der -Konsole erstellen. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen von einem SMB-Dateiserver.

So erstellen Sie einen SMB-Speicherort mithilfe der -CLI
  • Um einen SMB-Quellspeicherort zu erstellen, verwenden Sie den folgenden Befehl.

    aws datasync create-location-smb \ --server-hostname smb-server-address \ --user user-who-can-mount-share \ --domain windows-domain-of-smb-server \ --password user-password \ --agent-arns datasync-agent-arns \ --subdirectory smb-export-path

    Dersmb-export-path, den Sie für den--subdirectory Parameter angeben, sollte ein Pfad sein, der vom SMB-Server exportiert wurde. Geben Sie den Pfad mit Schrägstrichen an,/path/to/folder z. B. Andere SMB-Clients in Ihrem Netzwerk sollten auf diesen Pfad zugreifen können.

    DataSync wählt automatisch die SMB-Version aus, die zum Lesen von einem SMB-Standort verwendet wird. Um eine SMB-Version anzugeben, verwenden Sie in der API-Operation SmbMountOptions den optionalen Parameter Version.

Dieser Befehl gibt für den SMB-Speicherort einen Amazon-Ressourcennamen (ARN) ähnlich dem folgenden ARN zurück.

{ "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0f01451b140b2af49" }

Erstellen eines HDFS-Speicherorts

Ein HDFS-Speicherort definiert ein Dateisystem in einem Hadoop-Cluster, das ausgelesen oder beschrieben werden kann. Sie können auch einen HDFS-Speicherort erstellen, indem Sie den verwendenAWS Management Console. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen von HDFS.

So erstellen Sie einen HDFS-Speicherort mithilfe desAWS CLI
  • Verwenden Sie den folgenden Befehl, um einen HDFS-Speicherort zu erstellen. Ersetzen Sie im folgenden Beispiel jedeuser input placeholder durch Ihre eigenen Informationen.

    aws datasync create-location-hdfs --name-nodes [{"Hostname":"host1", "Port": 8020}] \ --authentication-type "SIMPLE|KERBEROS" \ --agent-arns [arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890example] \ --subdirectory "/path/to/my/data"

    Die folgenden Parameter sind für dencreate-location-hdfs Befehl erforderlich:

    • name-nodes— Gibt den Hostnamen oder die IP-Adresse des NameNode im Hadoop-Cluster und den TCP-Port an, den NameNode er abhört.

    • authentication-type— Der Authentifizierungstyp, der beim Verbinden mit dem Hadoop-Cluster verwendet werden soll. Geben Sie SIMPLE oder KERBEROS an.

      Wenn Sie dieSIMPLE Authentifizierung verwenden, verwenden Sie den--simple-user Parameter, um den Benutzernamen des Benutzers anzugeben. Wenn Sie dieKERBEROS Authentifizierung verwenden, verwenden Sie die--kerberos-krb5-conf Parameter--kerberos-principal--kerberos-keytab, und. Weitere Informationen finden Sie unter create-location-hdfs.

    • agent-arns— Die ARNs der DataSync Agenten, die für den HDFS-Standort verwendet werden sollen.

    Der vorangegangene Befehl gibt den Speicherort ARN ähnlich der folgenden zurück:

    { "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890example" }

Erstellen eines Objekt-Speicherorts

Ein Standort ist ein DataSync Endpunkt, der ein Objektspeichersystem darstellt, das vor Ort oder von einem anderen Cloud-Anbieter gehostet wird (z. B. ein Google Cloud Storage-Bucket).

Weitere Informationen zu Objektspeicherorten, einschließlich Kompatibilitätsanforderungen, finden Sie unterKonfiguration von AWS DataSync Übertragungen aus einem Objektspeichersystem.

Um einen Objektspeicherort zu erstellen, verwenden Sie denAWS CLI
  1. Kopieren Sie den folgendencreate-location-object-storage Befehl:

    aws datasync create-location-object-storage \ --server-hostname object-storage-server.example.com \ --bucket-name your-bucket \ --agent-arns arn:aws:datasync:us-east-1:123456789012:agent/agent-01234567890deadfb
  2. Geben Sie die folgenden folgenden folgenden folgenden erforderlichen Parameter im Befehl an:

    • --server-hostname— Geben Sie den Domänennamen oder die IP-Adresse Ihres Objektspeicher-Servers an.

    • --bucket-name— Geben Sie den Namen des Buckets auf Ihrem Objektspeicherserver an, zu dem oder von dem Sie übertragen.

    • --agent-arns— Geben Sie die DataSync Agents an, die Sie mit Ihrem Object Storage Server verbinden möchten.

  3. (Optional) Fügen Sie dem Befehl einen der folgenden Parameter hinzu:

    • --server-port— Gibt den Port an, an dem Ihr Objektspeicher-Server eingehenden Netzwerkverkehr annimmt (z. B. Port443).

    • --server-protocol— Gibt das Protokoll (HTTPoderHTTPS) an, das Ihr Objektspeicher-Server für die Kommunikation verwendet.

    • --access-key— Gibt den Zugriffsschlüssel (z. B. einen Benutzernamen) an, wenn Anmeldeinformationen für die Authentifizierung beim Objektspeicher-Server erforderlich sind.

    • --secret-key— Gibt den geheimen Schlüssel (z. B. ein Passwort) an, wenn Anmeldeinformationen für die Authentifizierung beim Objektspeicher-Server erforderlich sind.

    • --server-certificate— Gibt ein privates oder selbstsigniertes Zertifikat an, dem der DataSync Agent vertraut, wenn er eine Verbindung zu Ihrem Objektspeicherserver herstellt.

      Die benutzerdefinierte Zertifikatsdatei muss eine.pem Erweiterung haben (z. B.file:///home/user/mycert.pem).

    • --subdirectory— Gibt das Objekt-Präfix für Ihren Objektspeicher-Server an.

      DataSync kopiert nur Objekte mit diesem Präfix.

    • --tags— Gibt das Schlüssel-Wert-Paar an, das für ein Tag steht, das Sie der Standortressource hinzufügen möchten.

      Mithilfe von Tags können Sie Ihre Ressourcen verwalten, filtern und suchen. Wir empfehlen, ein Namensschild für Ihren Standort zu erstellen.

  4. Führen Sie den Befehl create-location-object-storage aus.

    Sie erhalten eine Antwort, die Ihnen den Standort-ARN zeigt, den Sie gerade erstellt haben.

    { "LocationArn": "arn:aws:datasync:us-east-1:123456789012:location/loc-01234567890abcdef" }

Erstellen eines Amazon-EFS-Standorts

Ein Speicherort ist der Endpunkt für ein Amazon-EFS-Dateisystem, das ausgelesen oder beschrieben werden kann. Sie können einen solchen Speicherort auch mithilfe der -Konsole erstellen. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen mit Amazon EFS.

So erstellen Sie einen Amazon-EF-Speicherort mithilfe derAWS CLI
  1. Wenn Sie kein Amazon EFS Dateisystem haben, erstellen Sie eines. Weitere Informationen zum Erstellen eines EFS-Dateisystems finden Sie unter Erste Schritte mit Amazon Elastic File System im Benutzerhandbuch zu Amazon Elastic File System.

  2. Identifizieren Sie ein Subnetz, das mindestens ein Mountziel für dieses Dateisystem hat. Mit demdescribe-mount-targets Befehl können Sie alle Mount-Ziele und die Subnetze sehen, die einem EFS-Dateisystem zugeordnet sind.

    aws efs describe-mount-targets \ --region aws-region \ --file-system-id file-system-id
    Anmerkung

    DasAWS-Region, das Sie angeben, ist das, in dem sich Ihr Ziel-S3-Bucket oder das EFS-Dateisystem befindet.

    Dieser Befehl gibt Informationen zum Ziel ähnlich den folgenden Informationen zurück.

    { "MountTargets": [ { "OwnerId": "111222333444", "MountTargetId": "fsmt-22334a10", "FileSystemId": "fs-123456ab", "SubnetId": "subnet-f12a0e34", "LifeCycleState": "available", "IpAddress": "11.222.0.123", "NetworkInterfaceId": "eni-1234a044" } ] }
  3. Geben Sie eine Amazon-EC2-Sicherheitsgruppe an, die auf das Mount-Ziel zugreifen kann. Sie können den folgenden Befehl ausführen, um die Sicherheitsgruppe des Mount-Ziels herauszufinden.

    aws efs describe-mount-target-security-groups \ --region aws-region \ --mount-target-id mount-target-id

    Die von Ihnen angegebene Sicherheitsgruppe muss mit der Sicherheitsgruppe auf dem Mount-Ziel im angegebenen Subnetz kommunizieren können.

    Die Beziehung zwischen der Sicherheitsgruppe M auf dem Mount-Ziel und der Sicherheitsgruppe S, die DataSync Sie für diese Phase angeben, sieht folgendermaßen aus:

    • Die von Ihnen dem Mount-Ziel zugeordnete Sicherheitsgruppe M muss der Sicherheitsgruppe S eingehenden Zugriff auf das TCP-Protokoll auf dem NFS-Port (2049) gewähren.

      Sie können eine eingehende Verbindung anhand ihrer IP-Adresse (CIDR-Bereich) oder anhand ihrer Sicherheitsgruppe aktivieren.

    • Die Sicherheitsgruppe S, die Sie für den DataSync Zugriff auf Amazon EFS angeben, sollte eine Regel haben, die ausgehende Verbindungen zum NFS-Port ermöglicht. Sie ermöglicht ausgehende Verbindungen auf Mount-Zielen des Dateisystems.

      Sie können ausgehende Verbindungen anhand von IP-Adressen (CIDR-Bereich) oder Sicherheitsgruppen aktivieren.

      Weitere Informationen zu Sicherheitsgruppen und Mount-Zielen finden Sie unter Sicherheitsgruppen für Amazon EC2 EC2-Instances und Mount-Ziele im Benutzerhandbuch zu Amazon Elastic File System.

  4. Erstellen Sie den Standort. Um den EFS-Standort zu erstellen, benötigen Sie die ARNs für Ihr Amazon EC2-Subnetz, die Amazon EC2-Sicherheitsgruppe und ein Dateisystem. Da die DataSync -API vollständig qualifizierte ARNs akzeptiert, können Sie diese ARNs konstruieren. Informationen zum Erstellen von ARNs für verschiedene Dienste finden Sie unter Amazon Resource Names (ARNs) in der Allgemeine AWS-Referenz.

    Um einen EFS-Speicherort zu erstellen, verwenden Sie den folgenden Befehl.

    aws datasync create-location-efs \ --subdirectory /path/to/your/subdirectory \ --efs-filesystem-arn 'arn:aws:elasticfilesystem:region:account-id:file-system/filesystem-id' \ --ec2-config SecurityGroupArns='arn:aws:ec2:region:account-id:security-group/security-group-id',SubnetArn='arn:aws:ec2:region:account-id:subnet/subnet-id'
Anmerkung

DasAWS-Region, das Sie angeben, ist das, in dem sich Ihr Ziel-S3-Bucket oder das EFS-Dateisystem befindet.

Der Befehl gibt einen Speicherort-ARN ähnlich dem folgenden zurück.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07db7abfc326c50fb" }

Erstellen eines Speicherorts für Amazon FSx for Windows File Server für Amazon FSx für Windows

Ein Standort ist ein Endpunkt für einen FSx for Windows File Server, von dem Sie lesen oder auf den Sie schreiben können.

Sie können einen FSx for Windows File Server auch über die Konsole erstellen. Weitere Informationen finden Sie unter Konfiguration von AWS DataSync Übertragungen mit Amazon FSx for Windows File Server.

So erstellen Sie einen FSx for Windows File Server Speicherort für FSx for Windows File Server fürAWS CLI
  • Verwenden Sie den folgenden Befehl, um einen Amazon-FSx-Speicherort zu erstellen.

    aws datasync create-location-fsx-windows \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --user smb-user --password password

    Geben Sie im Befehl create-location-fsx-windows Folgendes an:

    • fsx-filesystem-arn— Der vollqualifizierte Amazon-Ressourcenname (ARN) des Dateisystems, aus dem Sie lesen wollen.

      Die DataSync API akzeptiert vollständig qualifizierte ARNs, und Sie können diese ARNs erstellen. Informationen zum Erstellen von ARNs für verschiedene Dienste finden Sie unter Amazon Resource Names (ARNs) in der Allgemeine AWS-Referenz.

    • security-group-arns— Der ARN einer Amazon EC2-Sicherheitsgruppe, der auf die Netzwerkschnittstellen des bevorzugten Subnetzes des Dateisystems angewendet werden kann.

    • DieAWS-Region — Die Region, die Sie angeben, ist die Region, in der sich Ihr Amazon FSx-Zieldateisystem befindet.

Der Befehl gibt einen Speicherort-ARN ähnlich dem folgenden zurück.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07db7abfc326c50fb" }

Erstellen eines Amazon-FSx-für-Lustre-Speicherorts

Ein Speicherort ist ein Endpunkt für ein FSx for Lustre-Dateisystem, in das Sie lesen oder schreiben können.

Sie können einen FSx for Lustre-Speicherort auch mithilfe der -Konsole erstellen. Weitere Informationen finden Sie unter Konfigurieren von AWS DataSync Übertragungen mit Amazon FSx for Lustre.

Um einen FSx for Lustre-Standort zu erstellen, verwenden Sie denAWS CLI
  • Verwenden Sie den folgenden Befehl, um einen FSx for Lustre-Standort zu erstellen.

    aws datasync create-location-fsx-lustre \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system:filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id

    Die folgenden Parameter sind für dencreate-location-fsx-lustre Befehl erforderlich.

    • fsx-filesystem-arn— Der vollqualifizierte Amazon-Ressourcenname (ARN) des Dateisystems, aus dem Sie lesen wollen.

    • security-group-arns— Der ARN einer Amazon EC2-Sicherheitsgruppe, der auf die Netzwerkschnittstellen des bevorzugten Subnetzes des Dateisystems angewendet werden soll.

Der vorhergehende Befehl gibt einen Speicher-ARN ähnlich der folgenden zurück.

{ "LocationArn": "arn:aws:datasync:us-west-2:111222333444:location/loc-07sb7abfc326c50fb" }

Erstellen eines Speicherorts für Amazon FSx for OpenZFS

Ein Standort ist ein Endpunkt für ein FSx for OpenZFS-Dateisystem, auf das für eine Übertragung zugreifen DataSync kann. Sie können auch einen FSx for OpenZFS-Speicherort in der Konsole erstellen.

So erstellen Sie einen FSx for OpenZFS-Speicherort mithilfe derAWS CLI
  1. Kopieren Sie den folgenden Befehl:

    $ aws datasync create-location-fsx-openzfs \ --fsx-filesystem-arn arn:aws:fsx:region:account-id:file-system/filesystem-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --protocol NFS={}
  2. Geben Sie die folgenden folgenden folgenden folgenden erforderlichen Parameter im Befehl an:

    • Fürfsx-filesystem-arn geben Sie den vollqualifizierten Amazon-Ressourcennamen (ARN) des Speicherdateisystems an. Dazu gehören derAWS-Region Speicherort Ihres DateisystemsAWS-Konto, Ihre und die Dateisystem-ID.

    • Geben Sie fürsecurity-group-arns den ARN der Amazon EC2-Sicherheitsgruppe an, die den Zugriff auf die Netzwerkschnittstellen des bevorzugten Subnetzes Ihres FSx for OpenZFS-Dateisystems ermöglicht. Dazu gehören derAWS-Region Standort Ihrer Amazon EC2 EC2-InstanceAWS-Konto, Ihre und die Sicherheitsgruppen-ID.

      Weitere Informationen zu Sicherheitsgruppen finden Sie unter File System Access Control mit Amazon VPC im Benutzerhandbuch zu Amazon FSx for OpenZFS.

    • Geben Sie fürprotocol das Protokoll an, das DataSync verwendet, um auf Ihr Dateisystem zuzugreifen. (unterstütztDataSync derzeit nur NFS.)

  3. Führen Sie den Befehl aus. Sie erhalten eine Antwort, die den Speicherort zeigt, den Sie gerade erstellt haben.

    { "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" }

Erstellen eines NetApp Amazon-FSx-für-ONTAP-Standorts

Ein Standort ist ein Endpunkt für ein FSx for ONTAP-Dateisystem, auf das für eine Übertragung zugreifen DataSync kann. Sie können auch einen FSx for ONTAP-Standort in der Konsole erstellen.

So erstellen Sie einen FSx for ONTAP-Speicherort mithilfe derAWS CLI
  1. Kopieren Sie den folgenden Befehl:

    $ aws datasync create-location-fsx-ontap \ --storage-virtual-machine-arn arn:aws:fsx:region:account-id:storage-virtual-machine/fs-file-system-id \ --security-group-arns arn:aws:ec2:region:account-id:security-group/group-id \ --protocol data-transfer-protocol={}
  2. Geben Sie die folgenden folgenden folgenden folgenden erforderlichen Parameter im Befehl an:

    • Geben Sie fürstorage-virtual-machine-arn den vollqualifizierten Amazon-Ressourcennamen (ARN) einer Storage Virtual Machine (SVM, virtuelle Speichermaschine) in Ihrem Dateisystem an, in die Sie Daten kopieren wollen.

      Dieser ARN enthält denAWS-Region Speicherort Ihres DateisystemsAWS-Konto, Ihre und das Dateisystem und die SVM-IDs.

    • Geben Sie fürsecurity-group-arns die ARNs der Amazon EC2-Sicherheitsgruppen an, die den Zugriff auf die Netzwerkschnittstellen des bevorzugten Subnetzes Ihres Dateisystems ermöglichen.

      Dazu gehören derAWS-Region Ort, an dem sich Ihre Amazon EC2 EC2-Instance befindetAWS-Konto, Ihre und Ihre Sicherheitsgruppen-IDs. Sie können bis zu fünf Sicherheitsgruppen-ARNs angeben.

      Weitere Informationen zu Sicherheitsgruppen finden Sie unter File System Access Control with Amazon VPC im Amazon FSx for NetApp ONTAP-Benutzerhandbuch.

    • Für konfigurieren Sie das Protokollprotocol, das für den Zugriff auf die SVM Ihres Dateisystems DataSync verwendet.

      • Für NFS können Sie die Standardkonfiguration verwenden:

        --protocol NFS={}

      • Für SMB müssen Sie einen Benutzernamen und ein Passwort angeben, mit denen Sie auf die SVM zugreifen können:

        --protocol SMB={User=smb-user,Password=smb-password}

  3. Führen Sie den Befehl aus.

    Sie erhalten eine Antwort, die den Speicherort zeigt, den Sie gerade erstellt haben.

    { "LocationArn": "arn:aws:datasync:us-west-2:123456789012:location/loc-abcdef01234567890" }

Erstellen eines Amazon-S3-Speicherorts

Für einen Amazon S3 S3-Standort ist ein S3-Bucket erforderlich, aus dem gelesen oder in den geschrieben werden kann. Informationen zum Erstellen eines S3-Buckets finden Sie unter Erstellen eines Buckets im Amazon S3 S3-Benutzerhandbuch.

Für DataSync den Zugriff auf einen S3-Bucket wird eineAWS Identity and Access Management (IAM) -Rolle DataSync benötigt, die über die erforderlichen Berechtigungen verfügt. Mit dem folgenden Verfahren erstellen Sie die IAM-Rolle, die erforderlichen IAM-Richtlinien und den S3-Standort mithilfe vonAWS CLI.

DataSync Um die IAM-Rolle übernehmen zu können, mussAWS Security Token Service (AWS STS) in Ihrem Konto und Ihrer Region aktiviert sein. Weitere Informationen zu temporären Anmeldeinformationen finden Sie unter Temporäre Sicherheitsanmeldeinformationen in IAM im IAM-Benutzerhandbuch.

Sie können einen S3-Speicherort auch mithilfe der -Konsole erstellen. Weitere Informationen finden Sie unter Konfigurieren von AWS DataSync Übertragungen mit Amazon S3.

So erstellen Sie einen S3-Speicherort mithilfe der -CLI
  1. Erstellen Sie eine IAM-Vertrauensrichtlinie, die es Ihnen ermöglicht, die IAM-Rolle DataSync zu übernehmen, die für den Zugriff auf Ihren S3-Bucket erforderlich ist.

    Im Folgenden finden Sie ein Beispiel für eine Vertrauensrichtlinie.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }
  2. Erstellen Sie eine temporäre Datei für die IAM-Richtlinie wie im folgenden Beispiel gezeigt.

    $ ROLE_FILE=$(mktemp -t sync.iam.role.filename.json) $ IAM_ROLE_NAME='YourBucketAccessRole' $ cat<<EOF> ${ROLE_FILE} { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" }] }
  3. Erstellen Sie eine IAM-Rolle und fügen Sie ihr die IAM-Richtlinie an.

    Der folgende Befehl erstellt eine IAM-Rolle und hängt die Richtlinie an diese an.

    $ aws iam create-role --role-name ${IAM_ROLE_NAME} --assume-role-policy-document file://${ROLE_FILE} { "Role": { "Path": "/", "RoleName": "YourBucketAccessRole", "RoleId": "role-id", "Arn": "arn:aws:iam::account-id:role/YourBucketAccessRole", "CreateDate": "2018-07-27T02:49:23.117Z", "AssumeRolePolicyDocument": { "Version": "2012-10-17", "Statement": [{ "Effect": "Allow", "Principal": { "Service": "datasync.amazonaws.com" }, "Action": "sts:AssumeRole" }] } } }
  4. Erteilen Sie der von Ihnen erstellten IAM-Rolle die Berechtigung, zum S3-Bucket zu schreiben.

    Hängen Sie der IAM-Rolle eine IAM-Richtlinie an, die über ausreichende Berechtigungen für den Zugriff auf Ihren S3-Bucket verfügt. Das folgende Beispiel zeigt die Mindestberechtigungen, die für DataSync das Lesen und Schreiben in einen S3-Bucket in einem erforderlich sindAWS-Region.

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "s3:GetBucketLocation", "s3:ListBucket", "s3:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": "YourS3BucketArn" }, { "Action": [ "s3:AbortMultipartUpload", "s3:DeleteObject", "s3:GetObject", "s3:ListMultipartUploadParts", "s3:PutObjectTagging", "s3:GetObjectTagging", "s3:PutObject" ], "Effect": "Allow", "Resource": "YourS3BucketArn/*" } ] }

    Um die Richtlinie an Ihre IAM-Rolle anzuhängen, führen Sie den folgenden Befehl aus.

    $ aws iam attach-role-policy \ --role-name role-name \ --policy-arn 'arn:aws:iam::aws:policy/YourPolicyName'

    Verwenden Sie für aktivierte Amazon S3 S3-Buckets die folgende Richtlinie.AWS Outposts

    { "Version": "2012-10-17", "Statement": [{ "Action": [ "s3-outposts:ListBucket", "s3-outposts:ListBucketMultipartUploads" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Action": [ "s3-outposts:AbortMultipartUpload", "s3-outposts:DeleteObject", "s3-outposts:GetObject", "s3-outposts:ListMultipartUploadParts", "s3-outposts:PutObjectTagging", "s3-outposts:GetObjectTagging", "s3-outposts:PutObject" ], "Effect": "Allow", "Resource": [ "s3OutpostsBucketArn/*", "s3OutpostsAccessPointArn" ], "Condition": { "StringLike": { "s3-outposts:DataAccessPointArn": "s3OutpostsAccessPointArn" } } }, { "Effect": "Allow", "Action": [ "s3-outposts:GetAccessPoint" ], "Resource": "s3OutpostsAccessPointArn" } ] }
  5. Erstellen Sie den S3-Speicherort.

    Verwenden Sie den folgenden Befehl, um Ihren Amazon-S3-Speicherort zu erstellen.

    $ aws datasync create-location-s3 \ --s3-bucket-arn 'arn:aws:s3:::DOC-EXAMPLE-BUCKET' \ --s3-storage-class 'your-S3-storage-class' \ --s3-config 'BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations' \ --subdirectory /your-folder

    Der Befehl gibt einen Speicherort-ARN ähnlich dem folgenden zurück.

    { "LocationArn": "arn:aws:datasync:us-east-1:111222333444:location/loc-0b3017fc4ba4a2d8d" }

    Die Informationen zum Ortstyp sind in der kodiertLocationUri. In diesem BeispielLocationUri zeigt dass3:// Präfix in den Typ des Standorts.

    Wenn sich Ihr Amazon S3 S3-Bucket auf einemAWS Outpost befindet, müssen Sie einen Amazon EC2 EC2-Agenten auf Ihrem Outpost bereitstellen. Der Agent muss sich in einer Virtual Private Cloud (VPC) befinden, die auf den im Befehl angegebenen Access Point zugreifen darf. Der Agent muss außerdem in der übergeordneten Region für den Outpost aktiviert sein und in der Lage sein, aufAWS Outposts Endpunkten für den Bucket an Amazon S3 weiterzuleiten. Weitere Informationen zum Starten eines DataSync Agenten aufAWS Outposts finden Sie unterStellen Sie Ihren Agenten bereit auf AWS Outposts.

    Verwenden Sie den folgenden Befehl, um einen Amazon-S3-Speicherort auf Ihrem Outpost zu erstellen.

    aws datasync create-location-s3 \ --s3-bucket-arn access-point-arn \ --s3-config BucketAccessRoleArn=arn:aws:iam::account-id:role/role-allowing-DS-operations \ --agent-arns arn-of-datasync-agent-in-vpc-that-can-access-your-s3-access-point
Anmerkung
  • Änderungen an Objektdaten oder Metadaten entsprechen dem Löschen eines Objekts und dem Erstellen eines neuen Objekts, um es zu ersetzen. Dies führt in den folgenden Szenarien zu zusätzlichen Gebühren:

    • Bei Verwendung der Objektversionierung — Änderungen an Objektdaten oder Metadaten führen zu einer neuen Version des Objekts.

    • Bei der Verwendung von Speicherklassen, für die zusätzliche Gebühren für das Überschreiben, Löschen oder Abrufen von Objekten anfallen können, führen Änderungen an Objektdaten oder Metadaten zu solchen Gebühren. Weitere Informationen finden Sie unter Überlegungen zur Speicherklasse bei Amazon S3 S3-Übertragungen.

  • Wenn Sie die Objektversionierung verwenden, kann eine einzelne DataSync Aufgabenausführung mehr als eine Version eines Amazon S3 S3-Objekts erstellen.

  • Zusätzlich zu den IAM-Richtlinien, die DataSync Berechtigungen gewähren, empfehlen wir, eine mehrteilige Upload-Bucket-Richtlinie für Ihre S3-Buckets zu erstellen. Dies kann Ihnen helfen, die Speicherkosten zu kontrollieren. Weitere Informationen finden Sie im Blogbeitrag S3-Lifecycle-Management-Update — Unterstützung für mehrteilige Uploads und Löschmarkierungen.