Bekerja dengan tipe penerapan yang lebih lama

Bagian ini berlaku untuk sistem file dengan tipe penyebaran Scratch 1, dan juga untuk sistem file dengan Scratch 2 atau jenis Persistent 1 penyebaran yang tidak menggunakan asosiasi repositori data.

Tautkan sistem file Anda ke bucket Amazon S3

Saat Anda membuat sistem file Amazon FSx untuk Lustre, Anda dapat menautkannya ke repositori data yang tahan lama di Amazon S3. Sebelum Anda membuat sistem file, pastikan Anda telah membuat bucket Amazon S3 yang Anda tautkan. Dalam wizard Buat sistem file, Anda mengatur properti konfigurasi repositori data berikut di panel Impor/Ekspor Repositori Data opsional.

• Pilih cara FSx Amazon memperbarui daftar file dan direktori saat menambahkan atau memodifikasi objek di bucket S3 setelah sistem file dibuat. Untuk informasi selengkapnya, lihat Secara otomatis mengimpor pembaruan dari bucket S3.

• Import bucket: Masukkan nama bucket S3 yang Anda gunakan untuk repositori tertaut.

• Awalan impor: Masukkan awalan impor opsional jika Anda hanya ingin mengimpor beberapa file dan daftar direktori data di bucket S3 ke sistem file Anda. Prefiks impor menentukan tempat di bucket S3 Anda yang akan menjadi sumber pengambilan data yang akan diimpor.

• Awalan ekspor: Menentukan tempat Amazon FSx mengekspor konten sistem file ke bucket S3 yang ditautkan.

Anda dapat memiliki pemetaan 1:1 di mana Amazon FSx mengekspor data dari sistem file FSx for Lustre Anda kembali ke direktori yang sama pada bucket S3 yang diimpor. Untuk memiliki pemetaan 1:1, tentukan jalur ekspor ke bucket S3 tanpa awalan apa pun saat Anda membuat sistem file.

• Saat Anda membuat sistem file menggunakan konsol, pilih Ekspor awalan > Awalan yang Anda tentukan opsi, dan biarkan bidang awalan kosong.

• Saat Anda membuat sistem file menggunakan AWS CLI orAPI, tentukan jalur ekspor sebagai nama bucket S3 tanpa awalan tambahan, misalnya,. ExportPath=s3://amzn-s3-demo-bucket/

Dengan menggunakan metode ini, Anda dapat menyertakan awalan impor saat menentukan jalur impor, dan itu tidak memengaruhi pemetaan 1:1 untuk ekspor.

Membuat sistem file yang terhubung ke bucket S3

Prosedur berikut memandu Anda melalui proses pembuatan sistem FSx file Amazon yang ditautkan ke bucket S3 menggunakan AWS Management Console dan AWS Command Line Interface (AWS CLI).

Console

1. Buka FSx konsol Amazon di https://console.aws.amazon.com/fsx/.

2. Dari dasbor, pilih Buat sistem file.

3. Untuk jenis sistem file, pilih FSxLustre, lalu pilih Berikutnya.

4. Berikan informasi yang diperlukan untuk Detail sistem file dan bagian Jaringan dan keamanan. Untuk informasi selengkapnya, lihat Langkah 1: FSx Buat sistem file Lustre Anda.

5. Anda menggunakan panel Impor/ekspor repositori data untuk mengkonfigurasi repositori data terkait di Amazon S3. Pilih Impor data dari dan ekspor data ke S3 untuk memperluas bagian Impor/Ekspor Repositori Data dan konfigurasikan pengaturan repositori data.

   

6. Pilih cara FSx Amazon memperbarui daftar file dan direktori saat menambahkan atau memodifikasi objek di bucket S3. Ketika Anda membuat sistem file Anda, objek S3 yang ada muncul sebagai daftar file dan direktori.

   • Perbarui daftar file dan direktori saya saat objek ditambahkan ke bucket S3 saya: (Default) Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke bucket S3 tertaut yang saat ini tidak ada di sistem FSx file. Amazon FSx tidak memperbarui daftar untuk objek yang telah berubah di bucket S3. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.

     catatan

     Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API is. NONE Pengaturan preferensi impor default saat menggunakan konsol adalah memperbarui Lustre saat objek baru ditambahkan ke bucket S3.

   • Perbarui daftar file dan direktori saya saat objek ditambahkan atau diubah di ember S3 saya: Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke ember S3 dan objek apa pun yang ada yang diubah di ember S3 setelah Anda memilih opsi ini. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.

   • Perbarui daftar file dan direktori saya saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya: Amazon FSx secara otomatis memperbarui daftar file dan direktori objek baru apa pun yang ditambahkan ke bucket S3, objek apa pun yang ada yang diubah di bucket S3, dan objek apa pun yang ada yang dihapus di bucket S3 setelah Anda memilih opsi ini.

   • Jangan perbarui file saya dan cantumkan langsung saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya - Amazon FSx hanya memperbarui daftar file dan direktori dari bucket S3 yang ditautkan saat sistem file dibuat. FSxtidak memperbarui daftar file dan direktori untuk objek baru, diubah, atau dihapus setelah memilih opsi ini.

7. Masukkan prefiks impor opsional jika Anda ingin mengimpor hanya beberapa daftar file dan direktori data dalam bucket S3 Anda ke dalam sistem file Anda. Prefiks impor menentukan tempat di bucket S3 yang menjadi sumber pengimporan data. Untuk informasi selengkapnya, lihat Secara otomatis mengimpor pembaruan dari bucket S3.

8. Pilih salah satu opsi awalan Ekspor yang tersedia:

   • Awalan unik yang FSx dibuat Amazon di bucket Anda: Pilih opsi ini untuk mengekspor objek baru dan yang diubah menggunakan awalan yang dihasilkan oleh FSx for Lustre. Kode prefiks terlihat seperti ini: /FSxLustrefile-system-creation- timestamp. Stempel waktu dalam UTC format, misalnya. FSxLustre20181105T222312Z

   • Awalan yang sama yang Anda impor dari (ganti objek yang ada dengan yang diperbarui): Pilih opsi ini untuk mengganti objek yang ada dengan yang diperbarui.

   • Awalan yang Anda tentukan: Pilih opsi ini untuk mempertahankan data yang diimpor dan mengekspor objek baru dan yang diubah menggunakan awalan yang Anda tentukan. Untuk mencapai pemetaan 1:1 saat mengekspor data ke bucket S3, pilih opsi ini dan biarkan bidang prefiks kosong. FSxakan mengekspor data ke direktori yang sama dengan yang diimpor.

9. (Opsional) Atur Preferensi pemeliharaan, atau gunakan default sistem.

10. Pilih Selanjutnya, dan tinjau pengaturan sistem file. Buat perubahan jika diperlukan.

11. Pilih Buat sistem file.

AWS CLI

Contoh berikut membuat sistem FSx file Amazon yang ditautkan keamzn-s3-demo-bucket, dengan preferensi impor yang mengimpor file baru, diubah, dan dihapus dalam repositori data tertaut setelah sistem file dibuat.

catatan

Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API isNONE, yang berbeda dari perilaku default saat menggunakan konsol.

Untuk membuat sistem file FSx untuk Lustre, gunakan FSx CLI perintah Amazon create-file-system, seperti yang ditunjukkan di bawah ini. APIOperasi yang sesuai adalah CreateFileSystem.

$ aws fsx create-file-system \
--client-request-token CRT1234 \
--file-system-type LUSTRE \
--file-system-type-version 2.10 \
--lustre-configuration
AutoImportPolicy=NEW_CHANGED_DELETED,DeploymentType=SCRATCH_1,ImportPath=s
3://amzn-s3-demo-bucket/,ExportPath=s3://amzn-s3-demo-bucket/export,
PerUnitStorageThroughput=50 \
--storage-capacity 2400 \
--subnet-ids subnet-123456 \
--tags Key=Name,Value=Lustre-TEST-1 \
--region us-east-2

Setelah Anda berhasil membuat sistem file, Amazon FSx mengembalikan deskripsi sistem file sepertiJSON, seperti yang ditunjukkan pada contoh berikut.

{
    "FileSystems": [
        {
            "OwnerId": "owner-id-string",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.10",
            "Lifecycle": "CREATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://amzn-s3-demo-bucket/",
                    "ExportPath": "s3://amzn-s3-demo-bucket/export",
                    "ImportedFileChunkSize": 1024
                },
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

Melihat jalur ekspor sistem file

Anda dapat melihat jalur ekspor sistem file menggunakan konsol FSx for Lustre, the AWS CLI, dan. API

Console

1. Buka FSx konsol Amazon di https://console.aws.amazon.com/fsx/

2. Pilih Nama sistem file atau ID sistem file FSx untuk sistem file Lustre yang ingin Anda lihat jalur ekspor.

   Halaman detail sistem file muncul untuk sistem file tersebut.

3. Pilih tab Repositori data.

   Panel Integrasi repositori data muncul, menampilkan jalur impor dan ekspor.

CLI

Untuk menentukan jalur ekspor untuk sistem file Anda, gunakan describe-file-systems AWS CLIperintah.

aws fsx describe-file-systems

Cari properti ExportPath di bawah LustreConfiguration dalam respons.

{
    "OwnerId": "111122223333",
    "CreationTime": 1563382847.014,
    "FileSystemId": "",
    "FileSystemType": "LUSTRE",
    "Lifecycle": "AVAILABLE",
    "StorageCapacity": 2400,
    "VpcId": "vpc-6296a00a",
    "SubnetIds": [
        "subnet-1111111"
    ],
    "NetworkInterfaceIds": [
        "eni-0c288d5b8cc06c82d",
        "eni-0f38b702442c6918c"
    ],
    "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
    "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0",
    "Tags": [
        {
          "Key": "Name",
          "Value": "Lustre System"
        }
    ],
	"LustreConfiguration": {
    "DeploymentType": "SCRATCH_1",
    "DataRepositoryConfiguration": {
    "AutoImportPolicy": " NEW_CHANGED_DELETED",
    "Lifecycle": "AVAILABLE",
    "ImportPath": "s3://amzn-s3-demo-bucket/",
    "ExportPath": "s3://amzn-s3-demo-bucket/FSxLustre20190717T164753Z",
    "ImportedFileChunkSize": 1024
    }
  },
  "PerUnitStorageThroughput": 50,
  "WeeklyMaintenanceStartTime": "6:09:30"
}

Kondisi siklus hidup repositori data

Kondisi siklus hidup repositori data memberikan informasi kondisi repositori data terkait sistem file. Sebuah repositori data dapat memiliki status Siklus Hidup berikut.

• Membuat: Amazon FSx membuat konfigurasi repositori data antara sistem file dan repositori data tertaut. Repositori data tidak tersedia.

• Tersedia: Repositori data tersedia untuk digunakan.

• Memperbarui: Konfigurasi repositori data sedang menjalani pembaruan yang dimulai pelanggan yang mungkin memengaruhi ketersediaannya.

• Salah konfigurasi: Amazon FSx tidak dapat secara otomatis mengimpor pembaruan dari bucket S3 hingga konfigurasi repositori data diperbaiki. Untuk informasi selengkapnya, lihat Memecahkan masalah bucket S3 terkait yang salah dikonfigurasi.

Anda dapat melihat status siklus hidup repositori data tertaut sistem file menggunakan FSx konsol Amazon, Antarmuka Baris AWS Perintah, dan Amazon. FSx API Di FSx konsol Amazon, Anda dapat mengakses status Siklus Hidup repositori data di panel Integrasi Repositori Data pada tab Repositori Data untuk sistem file. LifecycleProperti terletak di DataRepositoryConfiguration objek dalam respons describe-file-systemsCLIperintah (APItindakan yang setara adalah DescribeFileSystems).

Secara otomatis mengimpor pembaruan dari bucket S3

Secara default, saat Anda membuat sistem file baru, Amazon FSx mengimpor metadata file (nama, kepemilikan, stempel waktu, dan izin) objek dalam bucket S3 tertaut pada pembuatan sistem file. Anda dapat mengonfigurasi sistem file Lustre untuk secara otomatis mengimpor metadata objek yang ditambahkan, diubah, atau dihapus dari bucket S3 setelah pembuatan sistem file. FSx FSxuntuk Lustre memperbarui file dan daftar direktori dari objek yang diubah setelah pembuatan dengan cara yang sama seperti mengimpor metadata file pada pembuatan sistem file. Saat Amazon FSx memperbarui daftar file dan direktori objek yang diubah, jika objek yang diubah di bucket S3 tidak lagi berisi metadatanya, Amazon FSx mempertahankan nilai metadata file saat ini, daripada menggunakan izin default.

catatan

Pengaturan impor tersedia FSx untuk sistem file Lustre yang dibuat setelah pukul 15:00EDT, 23 Juli 2020.

Anda dapat mengatur preferensi impor saat membuat sistem file baru, dan Anda dapat memperbarui pengaturan pada sistem file yang ada menggunakan konsol FSx manajemen, konsol AWS CLI, dan file AWS API. Ketika Anda membuat sistem file Anda, objek S3 yang ada muncul sebagai daftar file dan direktori. Setelah Anda membuat sistem file Anda, bagaimana Anda ingin memperbaruinya ketika isi dari bucket S3 diperbarui? Sistem file dapat memiliki salah satu preferensi Impor berikut:

catatan

Sistem file FSx for Lustre dan bucket S3 yang ditautkan harus ditempatkan di AWS Wilayah yang sama untuk mengimpor pembaruan secara otomatis.

• Perbarui daftar file dan direktori saya saat objek ditambahkan ke bucket S3 saya: (Default) Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke bucket S3 tertaut yang saat ini tidak ada di sistem FSx file. Amazon FSx tidak memperbarui daftar untuk objek yang telah berubah di bucket S3. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.

  catatan

  Pengaturan preferensi impor default untuk mengimpor data dari bucket S3 tertaut menggunakan CLI dan API is. NONE Pengaturan preferensi impor default saat menggunakan konsol adalah memperbarui Lustre saat objek baru ditambahkan ke bucket S3.

• Perbarui daftar file dan direktori saya saat objek ditambahkan atau diubah di ember S3 saya: Amazon FSx secara otomatis memperbarui daftar file dan direktori dari objek baru apa pun yang ditambahkan ke ember S3 dan objek apa pun yang ada yang diubah di ember S3 setelah Anda memilih opsi ini. Amazon FSx tidak menghapus daftar objek yang dihapus di bucket S3.

• Perbarui daftar file dan direktori saya saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya: Amazon FSx secara otomatis memperbarui daftar file dan direktori objek baru apa pun yang ditambahkan ke bucket S3, objek apa pun yang ada yang diubah di bucket S3, dan objek apa pun yang ada yang dihapus di bucket S3 setelah Anda memilih opsi ini.

• Jangan perbarui file saya dan cantumkan langsung saat objek ditambahkan, diubah, atau dihapus dari bucket S3 saya - Amazon FSx hanya memperbarui daftar file dan direktori dari bucket S3 yang ditautkan saat sistem file dibuat. FSxtidak memperbarui daftar file dan direktori untuk objek baru, diubah, atau dihapus setelah memilih opsi ini.

Saat Anda menyetel preferensi impor untuk memperbarui file sistem file dan daftar direktori berdasarkan perubahan dalam bucket S3 yang ditautkan, Amazon akan FSx membuat konfigurasi notifikasi peristiwa pada bucket S3 tertaut bernama. FSx Jangan memodifikasi atau menghapus konfigurasi pemberitahuan FSx peristiwa pada ember S3 — hal itu mencegah impor otomatis daftar file dan direktori baru atau yang diubah ke sistem file Anda.

Saat Amazon FSx memperbarui daftar file yang telah berubah pada bucket S3 yang ditautkan, Amazon akan menimpa file lokal dengan versi yang diperbarui, meskipun file tersebut dikunci tulis. Demikian pula, ketika Amazon FSx memperbarui daftar file ketika objek yang sesuai telah dihapus pada bucket S3 yang ditautkan, itu akan menghapus file lokal, bahkan jika file tersebut dikunci tulis.

Amazon FSx melakukan upaya terbaik untuk memperbarui sistem file Anda. Amazon FSx tidak dapat memperbarui sistem file dengan perubahan dalam situasi berikut:

• Ketika Amazon FSx tidak memiliki izin untuk membuka objek S3 yang diubah atau baru.

• Saat konfigurasi pemberitahuan FSx acara pada bucket S3 yang ditautkan dihapus atau diubah.

Salah satu dari kondisi ini menyebabkan status siklus hidup repositori data menjadi Salah konfigurasi. Untuk informasi selengkapnya, lihat Kondisi siklus hidup repositori data.

Prasyarat

Ketentuan berikut diperlukan Amazon untuk secara otomatis FSx mengimpor file baru, diubah, atau dihapus dari bucket S3 yang ditautkan:

• Sistem file dan bucket S3 yang ditautkan harus berada di AWS Wilayah yang sama.

• Bucket S3 tidak memiliki Kondisi siklus hidup yang konfigurasinya salah. Untuk informasi selengkapnya, lihat Kondisi siklus hidup repositori data.

• Akun Anda harus memiliki izin yang diperlukan untuk mengonfigurasi dan menerima pemberitahuan acara di bucket S3 yang ditautkan.

Jenis perubahan file yang didukung

Amazon FSx mendukung pengimporan perubahan berikut ke file dan folder yang terjadi di bucket S3 yang ditautkan:

• Perubahan isi file

• Perubahan metadata file atau folder

• Perubahan target symlink atau metadata

Memperbarui preferensi impor

Anda dapat mengatur preferensi impor sistem file saat membuat sistem file baru. Untuk informasi selengkapnya, lihat Menautkan sistem file Anda ke bucket Amazon S3.

Anda juga dapat memperbarui preferensi impor sistem file setelah dibuat menggunakan Konsol AWS Manajemen, Amazon AWS CLI, dan Amazon FSxAPI, seperti yang ditunjukkan dalam prosedur berikut.

Console

1. Buka FSx konsol Amazon di https://console.aws.amazon.com/fsx/.

2. Dari dasbor, pilih Sistem file.

3. Pilih sistem file yang ingin Anda kelola untuk menampilkan detail sistem file.

4. Pilih Repositori data untuk melihat pengaturan repositori data. Anda dapat mengubah preferensi impor jika status siklus hidup adalah AVAILABLEatau. MISCONFIGURED Untuk informasi selengkapnya, lihat Kondisi siklus hidup repositori data.

5. Pilih Tindakan, lalu pilih Perbarui preferensi impor untuk menampilkan kotak dialog Perbarui preferensi impor.

6. Pilih pengaturan baru, lalu pilih Perbarui untuk membuat perubahan.

CLI

Untuk memperbarui preferensi impor, gunakan update-file-systemCLIperintah. APIOperasi yang sesuai adalah UpdateFileSystem.

Setelah Anda berhasil memperbarui sistem fileAutoImportPolicy, Amazon FSx mengembalikan deskripsi sistem file yang diperbarui seperti JSON yang ditunjukkan di sini:

{
    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "Lifecycle": "UPDATING",
            "StorageCapacity": 2400,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "SCRATCH_1",
                "DataRepositoryConfiguration": {
                    "AutoImportPolicy": "NEW_CHANGED_DELETED",
                    "Lifecycle": "UPDATING",
                    "ImportPath": "s3://amzn-s3-demo-bucket/",
                    "ExportPath": "s3://amzn-s3-demo-bucket/export",
                    "ImportedFileChunkSize": 1024
                }
                "PerUnitStorageThroughput": 50,
                "WeeklyMaintenanceStartTime": "2:04:30"
            }
        }
    ]
}