Amazon FSx for Lustre の使用開始 - FSx for Lustre
前提条件ステップ 1: FSx for Lustre ファイルシステムの作成Lustre クライアントのインストールステップ 3: ファイルシステムをマウントするステップ 4: ワークフローを実行するステップ 5: のリソースをクリーンアップする

Amazon FSx for Lustre の使用開始

次に、Amazon FSx for Lustre の使用方法を学びます。ステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスするステップを説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Simple Storage Service (Amazon S3) バケット内のデータを処理する方法を説明します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムおよび Amazon EC2 インスタンスを作成するために必要なアクセス許可を持つ AWS アカウント。詳細については、「Amazon FSx for Lustre を設定する」を参照してください。

  • FSx for Lustre ファイルシステムに関連付ける Amazon VPC セキュリティグループを作成します。これは、ファイルシステムの作成後は変更しないでください。詳細については、「Amazon FSx ファイルシステムのセキュリティグループを作成するには」を参照してください。

  • Amazon VPC サービスに基づいて、仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行する Amazon EC2 インスタンス。この入門演習では、Amazon Linux 2023 を使用することをお勧めします。この EC2 インスタンスに Lustre クライアントをインストールし、EC2 インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、「Amazon EC2 ユーザーガイド」の「開始方法: インスタンスを起動する」または「インスタンスを起動する」を参照してください。

    Lustre クライアントは、Amazon Linux、Amazon Linux 2、Amazon Linux 2023、Red Hat Enterprise Linux 7.7～7.9、8.2～8.10、および 9.0、9.3、および 9.4、CentOS 7.7～7.9、および 8.2～8.10、Rocky Linux 8.4～8.10、9.0、9.3、および 9.4、SUSE Linux Enterprise Server 12 SP3, SP4、および SP5、Ubuntu 18.04、20.04、および 22.04 をサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

    この入門演習用に Amazon EC2 インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの VPC でインスタンスを作成することをお勧めします。

    • EC2 インスタンスを作成する場合は、デフォルトのセキュリティグループを使用することをお勧めします。

  • 各 FSx for Lustre ファイルシステムには、各メタデータサーバー (MDS) 用に 1 つの IP アドレスと、各ストレージサーバー (OSS) 用に 1 つの IP アドレスが必要です。

    • メタデータ設定を持つ Persistent_2 ファイルシステムの場合、各 12000 メタデータ IOPS 値には、ファイルシステムが存在するサブネット内に 1 つの IP アドレスも必要です。

    • 永続的な SSD ファイルシステムは、OSS あたり 2.4 TiB のストレージでプロビジョニングされます。

    • スループットキャパシティが 12 MB/秒/TiB の永続的な HDD ファイルシステムは、OSS あたり 6 TiB のストレージでプロビジョニングされます。

    • スループットキャパシティが 40 MB/秒/TiB の永続的な HDD ファイルシステムは、OSS あたり 1.8 TiB のストレージでプロビジョニングされます。

    • Scratch_2 ファイルシステムは、OSS あたり 2.4 TiB のストレージでプロビジョニングされます。

    • Scratch_1 ファイルシステムは、OSS あたり 3.6 TiB のストレージでプロビジョニングされます。

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、FSx for Lustre ファイルシステムがリンクされた耐久性のあるデータリポジトリになります。

  • スクラッチ または 永続的、どちらの Amazon FSx for Lustre ファイルシステムタイプを作成するか決定します 。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

ステップ 1: FSx for Lustre ファイルシステムの作成

Amazon FSx コンソールでファイルシステムを作成します。

ファイルシステムを作成するには

  1. https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. FSx for Lustre を選択し、[次へ] を選択して、[ファイルシステムの作成] ページを表示します。

  4. [File·system·details] (ファイルシステムの詳細) セクションに情報を入力します。

    • ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

    • デプロイとストレージのタイプ で、いずれかのオプションを選択します。

      SSD ストレージは、通常、小規模でランダムなファイルオペレーションを行う、低レイテンシー、IOPS 集約型のワークロードを提供します。HDD ストレージは、通常、大規模でシーケンシャルなファイル操作を行うスループット集約型のワークロードを提供します。

      ストレージタイプの詳細については、「複数のストレージオプション」を参照してください。

      デプロイタイプの詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

      転送中のデータの暗号化が可能な AWS リージョン の詳細については、「Encrypting data in transit」を参照してください。

      • 長期ストレージ、および最高レベルの IOPS/ スループットを必要とするレイテンシーの影響を受けやすいワークロードには、[Persistent, SSD] (永続的、SSD) デプロイタイプを選択します。ファイルサーバーは高可用性であり、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケーションされ、転送中のデータの暗号化をサポートします。永続的、SSD は、最新世代の永続的ファイルシステムである Persistent 2 を使用します。

      • 長期ストレージと、レイテンシーの影響を受けないスループット重視のワークロードには、永続的、HDD デプロイタイプを選択してください。ファイルサーバーは高可用性であり、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケーションされ、このタイプは転送中のデータの暗号化をサポートします。永続的、HDD は Persistent 1 デプロイタイプを使用します。

        [with SSD cache] (SSD キャッシュ) を選択して、HDD ストレージ容量の 20％ のサイズの SSD キャッシュを作成し、頻繁にアクセスされるファイルに 1 ミリ秒未満の遅延とより高い IOPS を提供します。

      • テンポラリストレージとデータの短期間の処理のために、スクラッチ、SSD デプロイタイプを選択します。スクラッチ、SSD は Scratch 2 ファイルシステムを使用し、データの転送中の暗号化を提供します。

    • ファイルシステムに欲しい ストレージ単位あたりのスループット 量を選択します。このオプションは、永続的 なデプロイタイプにのみ有効です。

      ストレージ単位あたりのスループットは、プロビジョニングされた 1 テビバイト (TiB) のストレージごとの読み取り、および書き込みスループットの量 (MB / TiB) です。プロビジョニングしたスループットに対して支払いが発生します。

      • 永続 SSD ストレージの場合は、125、250、500、または 1,000 MB / 秒 / TiB のいずれかの値を選択します。

      • 永続 HDD ストレージの場合、12 または 40 MB / 秒 / TiB の値を選択します。

      ファイルシステムを作成した後、必要に応じてストレージ単位あたりのスループットの量を増減できます。詳細については、「スループット容量の管理」を参照してください。

    • ストレージ容量 については、ファイルシステムのストレージ容量を TiB で設定します。

      • 永続、SSD デプロイタイプの場合、これを 1.2 TiB、2.4 TiB、または 2.4 TiB の増分の値に設定します。

      • 永続、HDD デプロイタイプで、この値は、12 MB / 秒 / TiB ファイルシステムの場合に 6.0 TiB の増分、40 MB / 秒 / TiB ファイルシステムの場合に 1.8 TiB の増分が可能です。

      ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

    • メタデータ設定には、ファイルシステムのメタデータ IOPS の数をプロビジョニングするための 2 つのオプションがあります。

      • Amazon FSx でファイルシステムのストレージ容量に基づいてファイルシステムのメタデータ IOPS を自動的にプロビジョニングおよびスケーリングする場合は、[自動] (デフォルト) を選択します。

      • メタデータ IOPS の数を指定してファイルシステムのプロビジョニングする場合は、[ユーザープロビジョニング] を選択します。有効な値は、1500、3000、6000、12000、および 12000 の倍数で、最大 192000 です。

      メタデータ IOPS の詳細については、「Lustre メタデータパフォーマンス設定」を参照してください。

    • データ圧縮タイプ で、[NONE] (なし) を選択してデータ圧縮をオフにするか、LZ4 を選択して LZ4 アルゴリズムでデータ圧縮をオンにします。詳細については、「Lustre データ圧縮」を参照してください。

    Amazon FSx コンソールを使用して作成されるすべての FSx for Lustre ファイルシステムが、Lustre バージョン 2.15 で構築されるようになりました。

  5. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • [Virtual Private Cloud (VPC)] (仮想プライベートクラウド (VPC)) で、ファイルシステムに関連付ける VPC を選択します。この入門演習では、Amazon EC2 インスタンスと同じ VPC を選択します。

    • VPC セキュリティグループ の場合は、VPC のデフォルトのセキュリティグループの ID がすでに追加されている必要があります。デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべての TCP TCP 0〜65535 カスタム the_ID_of_this_security_group インバウンド Lustre トラフィックルール

      次の画面キャプチャは、インバウンドルールの編集の例を示しています。

      FSx for Lustre ファイルシステムに割り当てられたデフォルトのセキュリティグループのインバウンドトラフィックルール。
      重要

      使用しているセキュリティグループが、「Amazon VPC を使用したファイルシステムアクセスコントロール」に記載の設定手順に従っていることを確認します。セキュリティグループを設定して、ポート 988 および 1018～1023 で、セキュリティグループ自体またはフルサブネット CIDR からのインバウンドトラフィックを許可する必要があります。これは、ファイルシステムホストが相互に通信できるようにするために必要です。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  6. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続ファイルシステムの場合、AWS Key Management Service (AWS KMS) 暗号化キーを選択して、保存中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは AWS によって管理されるキーを使用して暗号化されます。

    • スクラッチ 2 および永続的ファイルシステムでは、サポートされている Amazon EC2 インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「Encrypting data in transit」を参照してください。

  7. データリポジトリの Import/Export - オプション のセクションでは、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要

    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) バケットにリンクする場合は、リンクされているすべてのファイルシステムが削除されるまで Simple Storage Service (Amazon S3) バケットを削除しないでください。

  8. [Logging - optional] (ログ記録 - オプション) では、デフォルトでログ記録が有効化されています。有効にすると、ファイルシステムのデータリポジトリアクティビティの障害と警告が Amazon CloudWatch Logs にログ記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  9. バックアップとメンテナンス - オプション では、以下を実行できます。

    毎日の自動バックアップの場合:

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリの Import/Export を有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1～35 日に設定します。

    詳細については、「バックアップの使用」を参照してください。

  10. 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

  11. [ルートスカッシュ - オプション] では、デフォルトでルートスカッシュが無効化されています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  12. ファイルシステムに適用するタグを作成します。

  13. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  14. Amazon FSx for Lustreファイルシステムの設定を確認し、[Create file system] (ファイルシステムの作成) を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を見つけるには、[Caches] (キャッシュ) のダッシュボードでファイルシステム名を選択し、[Attach] (添付) を選択します。

ステップ 2: Lustre クライアントをインストールおよび設定する

Amazon EC2 インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、以下を実行する必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • Lustre クライアントのダウンロードとインストール

カーネルバージョンを確認して Lustre クライアントをダウンロードするには

  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r

  3. 次のいずれかを実行します。

    • x86 ベースの EC2 インスタンスにコマンドが 6.1.79-99.167.amzn2023.x86_64 を返した場合、または Graviton2 ベースの EC2 インスタンスに 6.1.79-99.167.amzn2023.aarch64 またはそれ以上を返した場合は、次のコマンドを使用して Lustre クライアントをダウンロードしてインストールします。

      sudo dnf install -y lustre-client

    • コマンドが x86 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.x86_64 未満、Graviton2 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.aarch64 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2 インスタンスを再起動します。

      sudo dnf -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、上記の説明に従って Lustre クライアントをダウンロードしてインストールします。

    他の Linux ディストリビューションに Lustre クライアントをインストールする方法については、「Lustre クライアントのインストール」を参照してください。

ステップ 3: ファイルシステムをマウントする

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、ファイルシステムをクライアントにマウントし、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには

  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx

  2. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • 実際のファイルシステムのドメインネームシステム (DNS) 名で file_system_dns_name を置き換えます。

    • mountname を、describe-file-systems AWS CLI コマンドまたは DescribeFileSystems API オペレーションを実行して取得できるファイルシステムのマウント名に置き換えます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatime と flock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx
import-path  lustre
$

    以下の df コマンドを使用することもできます。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    結果は、/mnt/fsx にマウントされている Amazon FSx ファイルシステムを示しています。

ステップ 4: ワークフローを実行する

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「Amazon S3 バケットにファイルシステムにリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

ステップ 5: のリソースをクリーンアップする

この演習が完了したら、以下のステップに従ってリソースをクリーンアップし、AWS アカウントを保護します。

リソースをクリーンアップするには

  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Amazon EC2 コンソールで、インスタンスを終了します。詳細については、「Amazon EC2 ユーザーガイド」の「インスタンスの終了」を参照してください。

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。