Amazon FSx for Lustre の使用開始 - FSx for Lustre
前提条件ステップ 1: FSx for Lustre ファイルシステムの作成Lustre クライアントのインストールステップ 3: ファイルシステムをマウントするステップ 4: ワークフローを実行するステップ 5: のリソースをクリーンアップする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre の使用開始

次に、Amazon FSx for Lustre の使用方法を学びます。ステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスするステップを説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Simple Storage Service (Amazon S3) バケット内のデータを処理する方法を説明します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムと Amazon EC2 インスタンスを作成するために必要なアクセス許可を持つ AWS アカウント。詳細については、「セットアップ Amazon FSx for Lustre」を参照してください。

  • FSx for Lustre ファイルシステムに関連付ける Amazon VPC セキュリティグループを作成し、ファイルシステムの作成後は変更しないでください。詳細については、「Amazon FSx ファイルシステムのセキュリティグループを作成するには」を参照してください。

  • Amazon VPC サービスに基づいて、仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行する Amazon EC2 インスタンス。この入門演習では、Amazon Linux 2023 を使用することをお勧めします。この EC2 インスタンスに Lustre クライアントをインストールし、EC2 インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、Amazon EC2 ユーザーガイド」の「開始方法: インスタンスの起動」または「インスタンスの起動」を参照してください。

    Amazon Linux 2023 に加えて、 Lustreクライアントは Amazon Linux 2、Red Hat Enterprise Linux (RHEL)、CentOS、Rocky Linux、SUSE Linux Enterprise Server、Ubuntu オペレーティングシステムをサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

  • この入門演習用に Amazon EC2 インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの VPC でインスタンスを作成することをお勧めします。

    • EC2 インスタンスを作成する場合は、デフォルトのセキュリティグループを使用することをお勧めします。

  • スクラッチ または 永続的、どちらの Amazon FSx for Lustre ファイルシステムタイプを作成するか決定します 。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

  • 各 FSx for Lustre ファイルシステムには、各メタデータサーバー (MDS) 用に 1 つの IP アドレスと、各ストレージサーバー (OSS) 用に 1 つの IP アドレスが必要です。

    ファイルシステムタイプ スループット、MBps/TiB OSS あたりのストレージ
    永続 2 EFA 125 OSS あたり 38.4 TiB
    250 OSS あたり 19.2 TiB
    500 OSS あたり 8.6 TiB
    1,000 OSS あたり 4.8 TiB
    永続 2 非 EFA 125、250、500、1000 OSS あたり 2.4 TiB
    永続 1 SSD 50、100、200 OSS あたり 2.4 TiB
    永続 HDD 12 OSS あたり 6 TiB
    40 OSS あたり 1.8 TiB
    スクラッチ 2 200 OSS あたり 2.4 TiB
    Scratch 1 200 OSS あたり 3.6 TiB

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、FSx for Lustre ファイルシステムがリンクされた耐久性のあるデータリポジトリになります。

ステップ 1: FSx for Lustre ファイルシステムの作成

Amazon FSx コンソールでファイルシステムを作成します。

ファイルシステムを作成するには

  1. https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. FSx for Lustre を選択し、[次へ] を選択して、[ファイルシステムの作成] ページを表示します。

  4. [File·system·details] (ファイルシステムの詳細) セクションに情報を入力します。

    • ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

    • デプロイとストレージクラスで、次のいずれかのオプションを選択します。

      • 長期ストレージ、および最高レベルの IOPS/ スループットを必要とするレイテンシーの影響を受けやすいワークロードには、[Persistent, SSD] (永続的、SSD) デプロイタイプを選択します。永続的、SSD は、最新世代の永続的ファイルシステムである Persistent 2 を使用します。

        必要に応じて、EFA サポートで を選択し、ファイルシステムの Elastic Fabric Adapter (EFA) サポートを有効にします。EFA の詳細については、「」を参照してくださいEFA 対応ファイルシステムの使用。

      • 長期ストレージと、レイテンシーの影響を受けないスループット重視のワークロードには、永続的、HDD デプロイタイプを選択してください。永続的、HDD は Persistent 1 デプロイタイプを使用します。

        オプションで、SSD キャッシュで を選択すると、HDD ストレージ容量の 20% のサイズに設定された SSD キャッシュが作成され、頻繁にアクセスされるファイルにミリ秒未満のレイテンシーと高い IOPS が提供されます。

      • テンポラリストレージとデータの短期間の処理のために、スクラッチ、SSD デプロイタイプを選択します。スクラッチ、SSD はスクラッチ 2 ファイルシステムを使用します。

    • ファイルシステムのストレージ単位あたりのスループットの量を選択します。このオプションは、永続的 なデプロイタイプにのみ有効です。

      ストレージ単位あたりのスループットは、プロビジョニングされたストレージの 1 テビバイト (TiB) あたりの読み取りおよび書き込みスループットのMBps/TiB単位です。プロビジョニングしたスループットに対して支払いが発生します。

      • 永続 SSD ストレージでは、125、250、500、または 1,000 MBps/TiB の値を選択します。

      • 永続 HDD ストレージでは、12 または 40 MBps/TiB の値を選択します。

    • ストレージ容量 については、ファイルシステムのストレージ容量を TiB で設定します。

      • 永続、SSD デプロイタイプの場合、これを 1.2 TiB、2.4 TiB、または 2.4 TiB の増分の値に設定します。

      • EFA 対応、永続、SSD デプロイタイプの場合、この値は、1000、500、250、125 MBps/TiB のスループット階層でそれぞれ 4.8 TiB TiB 、8.6 TiB、19.2 TiB、38.4 TiB の増分で設定します。

      • 永続的な HDD デプロイタイプの場合、この値は 12 MBps/TiB ファイルシステムの場合は 6.0 TiB、40 MBps/TiB ファイルシステム TiB の場合は 1.8 TiB です。

      ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

    • メタデータ設定には、ファイルシステムのメタデータ IOPS の数をプロビジョニングするための 2 つのオプションがあります。

      • Amazon FSx でファイルシステムのストレージ容量に基づいてファイルシステムのメタデータ IOPS を自動的にプロビジョニングおよびスケーリングする場合は、[自動] (デフォルト) を選択します。

      • メタデータ IOPS の数を指定してファイルシステムのプロビジョニングする場合は、[ユーザープロビジョニング] を選択します。有効な値は、1500、3000、6000、12000、および 12000 の倍数で、最大 192000 です。

      メタデータ IOPS の詳細については、「Lustre メタデータパフォーマンス設定」を参照してください。

    • データ圧縮タイプ で、[NONE] (なし) を選択してデータ圧縮をオフにするか、LZ4 を選択して LZ4 アルゴリズムでデータ圧縮をオンにします。詳細については、「Lustre データ圧縮」を参照してください。

    Amazon FSx コンソールを使用して作成されるすべての FSx for Lustre ファイルシステムが、Lustre バージョン 2.15 で構築されるようになりました。

  5. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • [Virtual Private Cloud (VPC)] (仮想プライベートクラウド (VPC)) で、ファイルシステムに関連付ける VPC を選択します。この入門演習では、Amazon EC2 インスタンスと同じ VPC を選択します。

    • VPC セキュリティグループ の場合は、VPC のデフォルトのセキュリティグループの ID がすでに追加されている必要があります。

      デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべての TCP TCP 0〜65535 カスタム the_ID_of_this_security_group インバウンド Lustre トラフィックルール
      重要

      • 使用しているセキュリティグループが、「Amazon VPC を使用したファイルシステムアクセスコントロール」に記載の設定手順に従っていることを確認します。セキュリティグループを設定して、ポート 988 および 1018～1023 で、セキュリティグループ自体またはフルサブネット CIDR からのインバウンドトラフィックを許可する必要があります。これは、ファイルシステムホストが相互に通信できるようにするために必要です。

      • EFA 対応のファイルシステムを作成する場合は、EFA 対応のセキュリティグループを指定してください。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  6. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続的なファイルシステムの場合は、 AWS Key Management Service （AWS KMS) 暗号化キーを選択して、保管中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは が管理するキーを使用して暗号化されます AWS。

    • スクラッチ 2 および永続的ファイルシステムでは、サポートされている Amazon EC2 インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「Encrypting data in transit」を参照してください。

  7. データリポジトリの Import/Export - オプション のセクションでは、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要

    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) バケットにリンクする場合は、リンクされているすべてのファイルシステムが削除されるまで Simple Storage Service (Amazon S3) バケットを削除しないでください。

  8. [Logging - optional] (ログ記録 - オプション) では、デフォルトでログ記録が有効化されています。有効にすると、ファイルシステムのデータリポジトリアクティビティの障害と警告が Amazon CloudWatch Logs にログ記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  9. バックアップとメンテナンス - オプション では、以下を実行できます。

    毎日の自動バックアップの場合:

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリの Import/Export を有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1～35 日に設定します。

    詳細については、「バックアップの使用」を参照してください。

  10. 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

  11. [ルートスカッシュ - オプション] では、デフォルトでルートスカッシュが無効化されています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  12. ファイルシステムに適用するタグを作成します。

  13. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  14. Amazon FSx for Lustreファイルシステムの設定を確認し、[Create file system] (ファイルシステムの作成) を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を見つけるには、[Caches] (キャッシュ) のダッシュボードでファイルシステム名を選択し、[Attach] (添付) を選択します。

ステップ 2: Lustre クライアントをインストールおよび設定する

Amazon EC2 インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、以下を実行する必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • Lustre クライアントのダウンロードとインストール

カーネルバージョンを確認して Lustre クライアントをダウンロードするには

  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r

  3. 次のいずれかを実行します。

    • x86 ベースの EC2 インスタンスにコマンドが 6.1.79-99.167.amzn2023.x86_64 を返した場合、または Graviton2 ベースの EC2 インスタンスに 6.1.79-99.167.amzn2023.aarch64 またはそれ以上を返した場合は、次のコマンドを使用して Lustre クライアントをダウンロードしてインストールします。

      sudo dnf install -y lustre-client

    • コマンドが x86 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.x86_64 未満、Graviton2 ベースの EC2 インスタンスの場合は 6.1.79-99.167.amzn2023.aarch64 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2 インスタンスを再起動します。

      sudo dnf -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、上記の説明に従って Lustre クライアントをダウンロードしてインストールします。

    他の Linux ディストリビューションに Lustre クライアントをインストールする方法については、「 のインストール Lustre クライアント」を参照してください。

ステップ 3: ファイルシステムをマウントする

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、ファイルシステムをクライアントにマウントし、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには

  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx

  2. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • 実際のファイルシステムのドメインネームシステム (DNS) 名で file_system_dns_name を置き換えます。

    • をファイルシステムのマウント名mountnameに置き換えます。これは、 describe-file-systems AWS CLI コマンドまたは DescribeFileSystems API オペレーションを実行することで取得できます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatime と flock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx
import-path  lustre
$

    以下の df コマンドを使用することもできます。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    結果は、/mnt/fsx にマウントされている Amazon FSx ファイルシステムを示しています。

ステップ 4: ワークフローを実行する

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「Amazon S3 バケットにファイルシステムにリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

ステップ 5: のリソースをクリーンアップする

この演習を完了したら、以下の手順に従ってリソースをクリーンアップし、 AWS アカウントを保護する必要があります。

リソースをクリーンアップするには

  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Amazon EC2 コンソールで、インスタンスを終了します。詳細については、「Amazon EC2 ユーザーガイド」の「インスタンスの終了」を参照してください。

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。