Procédure pas à pas : associer des autorisations POSIX lors du téléchargement d'objets dans un compartiment Amazon S3

La procédure suivante explique le processus de téléchargement d'objets dans Amazon S3 avec des autorisations POSIX. Cela vous permet d'importer les autorisations POSIX lorsque vous créez un système de FSx fichiers Amazon lié à ce compartiment S3.

Pour télécharger des objets dotés d'autorisations POSIX sur Amazon S3

1. À partir de votre ordinateur ou machine local, utilisez les exemples de commandes suivants pour créer un répertoire de test (s3cptestdir) et un fichier (s3cptest.txt) qui seront téléchargés dans le compartiment S3.

   $ mkdir s3cptestdir
   $ echo "S3cp metadata import test" >> s3cptestdir/s3cptest.txt
   $ ls -ld s3cptestdir/ s3cptestdir/s3cptest.txt
   drwxr-xr-x 3 500 500 96 Jan 8 11:29 s3cptestdir/
   -rw-r--r-- 1 500 500 26 Jan 8 11:29 s3cptestdir/s3cptest.txt

   Le fichier et le répertoire nouvellement créés ont un ID utilisateur (UID) et un ID de groupe (GID) du propriétaire du fichier (GID) de 500, ainsi que des autorisations, comme indiqué dans l'exemple précédent.

2. Appelez l'API Amazon S3 pour créer le répertoire s3cptestdir avec les autorisations de métadonnées. Vous devez spécifier le nom du répertoire avec une barre oblique ()/. Pour plus d'informations sur les métadonnées POSIX prises en charge, consultezSupport des métadonnées POSIX pour les référentiels de données.

   bucket_nameRemplacez-le par le nom réel de votre compartiment S3.

   $ aws s3api put-object --bucket bucket_name --key s3cptestdir/ --metadata '{"user-agent":"aws-fsx-lustre" , \
         "file-atime":"1595002920000000000ns" , "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , \
         "file-mtime":"1595002920000000000ns"}'

3. Vérifiez que les autorisations POSIX sont associées aux métadonnées de l'objet S3.

   $ aws s3api head-object --bucket bucket_name --key s3cptestdir/
   {
       "AcceptRanges": "bytes",
       "LastModified": "Fri, 08 Jan 2021 17:32:27 GMT",
       "ContentLength": 0,
       "ETag": "\"d41d8cd98f00b204e9800998ecf8427e\"",
       "VersionId": "bAlhCoWq7aIEjc3R6Myc6UOb8sHHtJkR",
       "ContentType": "binary/octet-stream",
       "Metadata": {
           "user-agent": "aws-fsx-lustre",
           "file-atime": "1595002920000000000ns",
           "file-owner": "500",
           "file-permissions": "0100664",
           "file-group": "500",
           "file-mtime": "1595002920000000000ns"
       }
   }

4. Téléchargez le fichier de test (créé à l'étape 1) depuis votre ordinateur vers le compartiment S3 avec les autorisations de métadonnées.

   $ aws s3 cp s3cptestdir/s3cptest.txt s3://bucket_name/s3cptestdir/s3cptest.txt \
         --metadata '{"user-agent":"aws-fsx-lustre" , "file-atime":"1595002920000000000ns" , \
         "file-owner":"500" , "file-permissions":"0100664","file-group":"500" , "file-mtime":"1595002920000000000ns"}'

5. Vérifiez que les autorisations POSIX sont associées aux métadonnées de l'objet S3.

   $ aws s3api head-object --bucket bucket_name --key s3cptestdir/s3cptest.txt
   {
       "AcceptRanges": "bytes",
       "LastModified": "Fri, 08 Jan 2021 17:33:35 GMT",
       "ContentLength": 26,
       "ETag": "\"eb33f7e1f44a14a8e2f9475ae3fc45d3\"",
       "VersionId": "w9ztRoEhB832m8NC3a_JTlTyIx7Uzql6",
       "ContentType": "text/plain",
       "Metadata": {
           "user-agent": "aws-fsx-lustre",
           "file-atime": "1595002920000000000ns",
           "file-owner": "500",
           "file-permissions": "0100664",
           "file-group": "500",
           "file-mtime": "1595002920000000000ns"
       }
   }

6. Vérifiez les autorisations sur le système de FSx fichiers Amazon lié au compartiment S3.

   $ sudo lfs df -h /fsx
   UUID                       bytes        Used   Available Use% Mounted on
   3rnxfbmv-MDT0000_UUID       34.4G        6.1M       34.4G   0% /fsx[MDT:0]
   3rnxfbmv-OST0000_UUID        1.1T        4.5M        1.1T   0% /fsx[OST:0]
    
   filesystem_summary:         1.1T        4.5M        1.1T   0% /fsx
    
   $ cd /fsx/s3cptestdir/
   $ ls -ld s3cptestdir/
   drw-rw-r-- 2 500 500 25600 Jan  8 17:33 s3cptestdir/
   
   $ ls -ld s3cptestdir/s3cptest.txt
   -rw-rw-r-- 1 500 500 26 Jan 8 17:33 s3cptestdir/s3cptest.txt

Le s3cptestdir répertoire et le s3cptest.txt fichier ont tous deux des autorisations POSIX importées.