Amazon FSx for Lustre の開始方法 - FSx Lustre 用
前提条件ステップ 1: FSx for Lustre ファイルシステムを作成するLustre クライアントをインストールするステップ 3: ファイルシステムをマウントするステップ 4: ワークフローを実行するステップ 5: のリソースをクリーンアップする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre の開始方法

ここでは、Amazon FSx for Lustre の使用を開始する方法について説明します。これらのステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスする手順を説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Amazon S3 バケット内のデータを処理する方法を示します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムと Amazon EC2インスタンスの作成に必要なアクセス許可を持つ AWS アカウント。詳細については、「Amazon FSx for Lustre のセットアップ」を参照してください。

  • FSx for Lustre ファイルシステムに関連付ける Amazon VPC セキュリティグループを作成し、ファイルシステムの作成後に変更しないでください。詳細については、「Amazon FSx ファイルシステム のセキュリティグループを作成するには」を参照してください。

  • Amazon VPCサービスに基づいて仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行している Amazon EC2インスタンス。この入門演習では、Amazon Linux 2023 を使用することをお勧めします。このEC2インスタンスに Lustre クライアントをインストールし、EC2インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、「Amazon ユーザーガイド」の「開始方法: インスタンスの起動」または「インスタンスの起動EC2」を参照してください。

    Lustre クライアントは、Amazon Linux、Amazon Linux 2、Amazon Linux 2023、Red Hat Enterprise Linux 7.7 から 7.9、8.2 から 8.10、9.0、9.3、および 9.4、CentOS 7.7 から 7.9、および 8.2 から 8.10、Rocky Linux 8.4 から 8.10、9.0、9.3、および 9.4SP3、SUSELinux Enterprise Server 12SP4、、および SP5および Ubuntu 18.04、20.04、および 22.04 をサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

    この入門演習用に Amazon EC2インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの でインスタンスを作成することをお勧めしますVPC。

    • EC2 インスタンスを作成するときは、デフォルトのセキュリティグループを使用することをお勧めします。

  • FSx Lustre ファイルシステムの各 には、メタデータサーバー (MDS) ごとに 1 つの IP アドレスと、ストレージサーバー () ごとに 1 つの IP アドレスが必要ですOSS。

    • メタデータ設定を持つ Persistent_2 ファイルシステムの場合、各 12000 メタデータIOPS値には、ファイルシステムが存在するサブネット内に 1 つの IP アドレスも必要です。

    • 永続的SSDなファイルシステムは、 あたり 2.4 TiB のストレージでプロビジョニングされますOSS。

    • スループットキャパシティが 12 MB/秒/TiB の永続的HDDファイルシステムは、 あたり 6 TiB のストレージでプロビジョニングされますOSS。

    • 40 MB/秒/TiB のスループット容量を持つ永続的なHDDファイルシステムは、 あたり 1.8 TiB のストレージでプロビジョニングされますOSS。

    • Scratch_2 ファイルシステムは、 ごとに 2.4 TiB のストレージでプロビジョニングされますOSS。

    • Scratch_1 ファイルシステムは、 あたり 3.6 TiB のストレージでプロビジョニングされますOSS。

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、 FSx for Lustre ファイルシステムのリンクされた耐久性のあるデータリポジトリになります。

  • を作成する Amazon FSx for Lustre ファイルシステムのタイプ、スクラッチ、または永続 を決定します。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

ステップ 1: FSx for Lustre ファイルシステムを作成する

Amazon FSxコンソールでファイルシステムを作成します。

ファイルシステムを作成するには

  1. で Amazon FSxコンソールを開きますhttps://console.aws.amazon.com/fsx/。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. FSx Lustre に を選択し、次へ を選択してファイルシステムの作成ページを表示します。

  4. [File·system·details] (ファイルシステムの詳細) セクションに情報を入力します。

    • ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

    • デプロイとストレージのタイプ で、いずれかのオプションを選択します。

      SSD ストレージは、低レイテンシーで負荷IOPSの高いワークロードを提供します。通常、小さくランダムなファイルオペレーションがあります。HDD ストレージは、通常、大規模でシーケンシャルなファイルオペレーションを持つスループット集約型のワークロードを提供します。

      ストレージタイプの詳細については、「複数のストレージオプション」を参照してください。

      デプロイタイプの詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

      転送中のデータの暗号化 AWS リージョン が利用可能な の詳細については、「」を参照してくださいEncrypting data in transit。

      • 長期ストレージと、最高レベルの IOPS/ スループットを必要とするレイテンシーの影響を受けやすいワークロードには、永続的SSDなデプロイタイプを選択します。ファイルサーバーは可用性が高く、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケートされ、転送中のデータの暗号化をサポートします。永続、 SSD は永続ファイルシステムの最新世代である永続 2 を使用します。

      • 長期ストレージとレイテンシーの影響を受けないスループット重視のワークロードには、永続的HDDなデプロイタイプを選択します。ファイルサーバーは高可用性であり、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケーションされ、このタイプは転送中のデータの暗号化をサポートします。Persistent、 HDD は Persistent 1 デプロイタイプを使用します。

        SSD キャッシュで を選択すると、頻繁にアクセスされるファイルに対してミリ秒未満のレイテンシーとそれ以上を提供するために、HDDストレージ容量の 20% IOPSのサイズのSSDキャッシュが作成されます。

      • 一時ストレージとデータの短期処理には、スクラッチSSD、デプロイタイプを選択します。スクラッチ、SSDスクラッチ 2 ファイルシステムを使用し、転送中のデータの暗号化を提供します。

    • ファイルシステムに欲しい ストレージ単位あたりのスループット 量を選択します。このオプションは、永続的 なデプロイタイプにのみ有効です。

      ストレージ単位あたりのスループットは、プロビジョニングされた 1 テビバイト (TiB) のストレージごとの読み取り、および書き込みスループットの量 (MB / TiB) です。プロビジョニングしたスループットに対して支払いが発生します。

      • 永続SSDストレージの場合は、125、250、500、または 1,000 MB/s/TiB の値を選択します。

      • 永続HDDストレージの場合は、12 または 40 MB/秒/TiB の値を選択します。

      ファイルシステムを作成した後、必要に応じてストレージ単位あたりのスループットの量を増減できます。詳細については、「スループット容量の管理」を参照してください。

    • ストレージ容量 については、ファイルシステムのストレージ容量を TiB で設定します。

      • 永続的SSDなデプロイタイプの場合、これを 1.2 TiB 、2.4 TiB 、または 2.4 TiB 刻みの値に設定します。

      • 永続的HDDなデプロイタイプの場合、この値は 12 MB/s/TiB ファイルシステムの場合は 6.0 TiB 刻み、40 MB/s/TiB ファイルシステムの場合は 1.8 TiB 刻みです。

      ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

    • メタデータ設定 には、ファイルシステムのメタデータ数をプロビジョニングするための 2 つのオプションIOPSがあります。

      • Amazon がファイルシステムのストレージ容量に基づいてファイルシステムIOPS上のメタデータを自動的にプロビジョニングおよびスケーリングする場合はFSx、自動 (デフォルト) を選択します。

      • ファイルシステムにプロビジョニングするメタデータの数を指定する場合は、ユーザーIOPSプロビジョニングを選択します。有効な値は、1500、、12000、、および 3000 6000の倍数で12000、最大 です192000。

      メタデータ の詳細については、IOPS「」を参照してくださいLustre メタデータのパフォーマンス設定。

    • データ圧縮タイプ では、データ圧縮NONEをオフにするかLZ4、LZ4アルゴリズムでデータ圧縮をオンにするかを選択します。詳細については、「Lustre データ圧縮」を参照してください。

    Amazon FSxコンソールを使用して作成された場合、すべての FSx for Lustre ファイルシステムは Lustre バージョン 2.15 で構築されます。

  5. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • Virtual Private Cloud (VPC） VPCで、ファイルシステムに関連付ける を選択します。この入門演習では、Amazon EC2インスタンスで選択したVPCものと同じ を選択します。

    • VPC セキュリティグループ の場合、 のデフォルトのセキュリティグループの ID がすでに追加されているVPC必要があります。デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべて TCP TCP 0-65535 カスタム the_ID_of_this_security_group インバウンドの Lustre トラフィックルール

      次の画面キャプチャは、インバウンドルールの編集の例を示しています。

      FSx for Lustre ファイルシステムに割り当てられたデフォルトのセキュリティグループのインバウンドトラフィックルール。
      重要

      使用しているセキュリティグループが、「」に記載されている設定手順に従っていることを確認してくださいAmazon VPC を使用したファイルシステムアクセスコントロール。セキュリティグループ自体または完全なサブネット からのポート 988 および 1018-1023 でのインバウンドトラフィックを許可するようにセキュリティグループを設定する必要があります。これはCIDR、ファイルシステムホストが相互に通信できるようにするために必要です。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  6. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続的なファイルシステムの場合は、 AWS Key Management Service （AWS KMS) 暗号化キーを選択して、保管中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは によって管理されるキーを使用して暗号化されます AWS。

    • スクラッチ 2 および永続ファイルシステムでは、サポートされている Amazon EC2インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「Encrypting data in transit」を参照してください。

  7. データリポジトリの Import/Export - オプション のセクションでは、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要

    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Amazon S3 バケットにリンクする場合は、リンクされたすべてのファイルシステムが削除されるまで Amazon S3 バケットを削除しないでください。

  8. [Logging - optional] (ログ記録 - オプション) では、デフォルトでログ記録が有効化されています。有効にすると、ファイルシステム上のデータリポジトリアクティビティの失敗と警告が Amazon CloudWatch Logs に記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  9. バックアップとメンテナンス - オプション では、以下を実行できます。

    毎日の自動バックアップの場合:

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリの Import/Export を有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1～35 日に設定します。

    詳細については、「バックアップの使用」を参照してください。

  10. 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

  11. [ルートスカッシュ - オプション] では、デフォルトでルートスカッシュが無効化されています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  12. ファイルシステムに適用するタグを作成します。

  13. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  14. Amazon FSx for Lustre ファイルシステムの設定を確認し、ファイルシステムの作成 を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を見つけるには、[Caches] (キャッシュ) のダッシュボードでファイルシステム名を選択し、[Attach] (添付) を選択します。

ステップ 2: Lustre クライアントをインストールして設定する

Amazon EC2インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、次の操作を行う必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • Lustre クライアントをダウンロードしてインストールします。

カーネルバージョンを確認して Lustre クライアントをダウンロードするには

  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r

  3. 次のいずれかを実行します。

    • コマンドが x86 ベースのEC2インスタンス6.1.79-99.167.amzn2023.x86_64の場合は 、Graviton2-basedEC2インスタンスの場合は 6.1.79-99.167.amzn2023.aarch64以上を返す場合は、次のコマンドを使用して Lustre クライアントをダウンロードしてインストールします。

      sudo dnf install -y lustre-client

    • コマンドが x86 ベースのEC2インスタンス6.1.79-99.167.amzn2023.x86_64の場合は 未満、Graviton2-basedEC2インスタンス6.1.79-99.167.amzn2023.aarch64の場合は 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2インスタンスを再起動します。

      sudo dnf -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、上記の説明に従って Lustre クライアントをダウンロードしてインストールします。

    他の Linux ディストリビューションに Lustre クライアントをインストールする方法については、「Lustre クライアントのインストール」を参照してください。

ステップ 3: ファイルシステムをマウントする

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、そのファイルシステムをクライアントにマウントして、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには

  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx

  2. Amazon FSx for Lustre ファイルシステムを、作成したディレクトリにマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • を実際のファイルシステムのドメインネームシステム (DNS) 名file_system_dns_nameに置き換えます。

    • をファイルシステムのマウント名mountnameに置き換えます。これは、 describe-file-systems AWS CLI コマンドまたは DescribeFileSystemsAPIオペレーションを実行することで取得できます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatime と flock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx
import-path  lustre
$

    以下の df コマンドを使用することもできます。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    結果は、/mnt/fsx にマウントされた Amazon FSx ファイルシステムを示しています。

ステップ 4: ワークフローを実行する

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「ファイルシステムを Amazon S3 バケットにリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

ステップ 5: のリソースをクリーンアップする

この演習を完了したら、以下の手順に従ってリソースをクリーンアップし、 AWS アカウントを保護する必要があります。

リソースをクリーンアップするには

  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Amazon EC2コンソールで、インスタンスを終了します。詳細については、「Amazon ユーザーガイド」の「インスタンスの終了」を参照してください。 EC2

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。