Amazon FSx for Lustre の開始方法 - FSx Lustre 用の
前提条件ステップ 1: FSx for Lustre ファイルシステムを作成する  のインストール Lustre クライアントステップ 3: ファイルシステムをマウントするステップ 4: ワークフローを実行するステップ 5: のリソースをクリーンアップする

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre の開始方法

以下では、Amazon FSx for Lustre の使用を開始する方法について説明します。これらのステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスする手順を説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Amazon S3 バケット内のデータを処理する方法を示します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムと Amazon EC2インスタンスを作成するために必要なアクセス許可を持つ AWS アカウント。詳細については、「セットアップ Amazon FSx for Lustre」を参照してください。

  • FSx for Lustre ファイルシステムに関連付ける Amazon VPC セキュリティグループを作成し、ファイルシステムの作成後は変更しないでください。詳細については、「Amazon FSx ファイルシステムのセキュリティグループを作成するには」を参照してください。

  • Amazon VPCサービスに基づいて仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行する Amazon EC2インスタンス。この入門演習では、Amazon Linux 2023 を使用することをお勧めします。をインストールします。Lustre このEC2インスタンスの クライアントで、EC2インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、「Amazon EC2ユーザーガイド」の「開始方法: インスタンスの起動」または「インスタンスの起動」を参照してください。

    Amazon Linux 2023 に加えて、Lustre クライアントは、Amazon Linux 2、Red Hat Enterprise Linux (RHEL）、CentOS、Rocky Linux、SUSELinux Enterprise Server、Ubuntu オペレーティングシステムをサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

  • この入門演習用に Amazon EC2インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの でインスタンスを作成することをお勧めしますVPC。

    • EC2 インスタンスを作成するときは、デフォルトのセキュリティグループを使用することをお勧めします。

  • 作成する Amazon FSx for Lustre ファイルシステムのタイプ、スクラッチまたは永続化を決定します。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

  • FSx for Lustre ファイルシステムごとに、メタデータサーバー (MDS) ごとに 1 つの IP アドレスとストレージサーバー () ごとに 1 つの IP アドレスが必要ですOSS。

    ファイルシステムタイプ スループット、MBps/TiB あたりのストレージ OSS
    永続 2 EFA 125 あたり 38.4 TiB OSS
    250 あたり 19.2 TiB OSS
    500 あたり 8.6 TiB OSS
    1,000 あたり 4.8 TiB OSS
    永続 2 非EFA 125、250、500、1000 あたり 2.4 TiB OSS
    永続 1 SSD 50、100、200 あたり 2.4 TiB OSS
    永続 HDD 12 あたり 6 TiB OSS
    40 あたり 1.8 TiB OSS
    スクラッチ 2 200 あたり 2.4 TiB OSS
    Scratch 1 200 あたり 3.6 TiB OSS

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、 FSx for Lustre ファイルシステムのリンクされた耐久性のあるデータリポジトリになります。

ステップ 1: FSx for Lustre ファイルシステムを作成する

Amazon FSxコンソールでファイルシステムを作成します。

ファイルシステムを作成するには

  1. で Amazon FSxコンソールを開きますhttps://console.aws.amazon.com/fsx/。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. 選択 FSx for Lustre 次に、次へ を選択してファイルシステムの作成ページを表示します。

  4. [File·system·details] (ファイルシステムの詳細) セクションに情報を入力します。

    • ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

    • デプロイとストレージクラスで、次のいずれかのオプションを選択します。

      • 長期ストレージと、最高レベルの IOPS/スループットを必要とするレイテンシーの影響を受けやすいワークロードには、永続的なSSDデプロイタイプを選択します。Persistent、 SSD は永続ファイルシステムの最新世代である永続 2 を使用します。

        オプションで、 EFA をサポートする を選択して、ファイルシステムの Elastic Fabric Adapter (EFA) サポートを有効にします。EFA の詳細については、「EFA対応ファイルシステムの使用」を参照してください。

      • 長期ストレージとレイテンシーの影響を受けないスループット重視のワークロードには、永続的HDDなデプロイタイプを選択します。Persistent、 HDD は Persistent 1 デプロイタイプを使用します。

        オプションで、SSDキャッシュで を選択すると、HDDストレージ容量の 20% にサイズ設定された SSDキャッシュが作成され、頻繁にアクセスされるファイルIOPSに対してミリ秒未満のレイテンシー以上が提供されます。

      • 一時ストレージとデータの短期処理には、スクラッチSSD、デプロイタイプを選択します。スクラッチ、 SSD はスクラッチ 2 ファイルシステムを使用します。

    • ファイルシステムのストレージ単位あたりのスループットの量を選択します。このオプションは、永続的 なデプロイタイプにのみ有効です。

      ストレージ単位あたりのスループットは、プロビジョニングされた 1 テビバイト (TiB) のストレージごとの読み取り、および書き込みスループットの量 (MB / TiB) です。プロビジョニングしたスループットに対して支払いが発生します。

      • 永続的SSDストレージの場合は、125、250、500、または 1,000 MB/秒/TiB の値を選択します。

      • 永続的HDDストレージの場合は、12 または 40 MB/秒/TiB の値を選択します。

    • ストレージ容量 については、ファイルシステムのストレージ容量を TiB で設定します。

      • 永続的SSDなデプロイタイプの場合、これを 1.2 TiB、2.4 TiB、または 2.4 TiB の増分の値に設定します。

      • EFA対応、永続、SSDデプロイタイプの場合、この値を 1000、500、250、125 MB/秒/TiB のスループット階層ごとに 4.8 TiB TiB 、8.6 TiB、19.2 TiB、38.4 TiB の増分で設定します。

      • 永続的HDDなデプロイタイプの場合、この値は 12 のMB/s/TiB file systems and increments of 1.8 TiB for 40 MB/s/TiBファイルシステムに対して 6.0 TiB の増分になります。

      ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

    • メタデータ設定には、IOPSファイルシステムのメタデータ数をプロビジョニングするための 2 つのオプションがあります。

      • Amazon がIOPSファイルシステムのストレージ容量に基づいてファイルシステムのメタデータを自動的にプロビジョニングおよびスケーリングする場合はFSx、自動 (デフォルト) を選択します。

      • ファイルシステムにプロビジョニングするメタデータの数を指定する場合は、ユーザープロビジョニングを選択します。 IOPS有効な値は、1500、3000、6000、12000、および 12000 の倍数で、最大 192000 です。

      メタデータ の詳細についてはIOPS、「」を参照してくださいLustre メタデータパフォーマンス設定。

    • データ圧縮タイプでは、データ圧縮NONEをオフにするかLZ4、LZ4アルゴリズムでデータ圧縮をオンにするかを選択します。詳細については、「Lustre データ圧縮」を参照してください。

    すべての FSx for Lustre ファイルシステムは 上に構築されています Lustre Amazon FSxコンソールを使用して作成された場合のバージョン 2.15。

  5. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • Virtual Private Cloud (VPC） VPCで、ファイルシステムに関連付ける を選択します。この入門演習では、Amazon EC2インスタンスで選択したVPCものと同じ を選択します。

    • VPC セキュリティグループの場合、 のデフォルトのセキュリティグループの ID がすでに追加されているVPC必要があります。

      デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべての TCP TCP 0〜65535 カスタム the_ID_of_this_security_group インバウンド Lustre トラフィックルール
      重要

      • 使用しているセキュリティグループが、「Amazon によるファイルシステムのアクセスコントロール VPC」に記載の設定手順に従っていることを確認します。セキュリティグループ自体または完全なサブネット からのポート 988 および 1018-1023 でのインバウンドトラフィックを許可するようにセキュリティグループを設定する必要があります。これはCIDR、ファイルシステムホストが相互に通信できるようにするために必要です。

      • EFA対応のファイルシステムを作成する場合は、 EFA対応のセキュリティグループを必ず指定してください。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  6. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続的なファイルシステムの場合は、 AWS Key Management Service （AWS KMS) 暗号化キーを選択して、保管中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは が管理するキーを使用して暗号化されます AWS。

    • スクラッチ 2 および永続ファイルシステムでは、サポートされている Amazon EC2インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「Encrypting data in transit」を参照してください。

  7. データリポジトリの Import/Export - オプション のセクションでは、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要

    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Amazon S3 バケットにリンクする場合は、リンクされたすべてのファイルシステムが削除されるまで Amazon S3 バケットを削除しないでください。

  8. [Logging - optional] (ログ記録 - オプション) では、デフォルトでログ記録が有効化されています。有効にすると、ファイルシステム上のデータリポジトリアクティビティの失敗と警告が Amazon CloudWatch Logs に記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  9. バックアップとメンテナンス - オプション では、以下を実行できます。

    毎日の自動バックアップの場合:

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリの Import/Export を有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1～35 日に設定します。

    詳細については、「バックアップの使用」を参照してください。

  10. 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

  11. [ルートスカッシュ - オプション] では、デフォルトでルートスカッシュが無効化されています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  12. ファイルシステムに適用するタグを作成します。

  13. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  14. Amazon FSx for Lustre ファイルシステムの設定を確認し、ファイルシステムの作成を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を見つけるには、[Caches] (キャッシュ) のダッシュボードでファイルシステム名を選択し、[Attach] (添付) を選択します。

ステップ 2: をインストールして設定する Lustre クライアント

Amazon EC2インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、以下を実行する必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • をダウンロードしてインストールする Lustre クライアント。

カーネルのバージョンを確認し、 をダウンロードするには Lustre クライアント

  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r

  3. 次のいずれかを実行します。

    • コマンドが x86 ベースのEC2インスタンス6.1.79-99.167.amzn2023.x86_64の場合は を返し、Graviton2-basedEC2インスタンスの場合は 6.1.79-99.167.amzn2023.aarch64以降を返す場合は、Lustre 次のコマンドを使用する クライアント。

      sudo dnf install -y lustre-client

    • コマンドが x86 ベースのEC2インスタンス6.1.79-99.167.amzn2023.x86_64の場合は 未満、Graviton2-basedEC2インスタンス6.1.79-99.167.amzn2023.aarch64の場合は 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2インスタンスを再起動します。

      sudo dnf -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、 をダウンロードしてインストールします。Lustre 上記の クライアント。

    のインストールについては、Lustre 他の Linux ディストリビューションの クライアントについては、「」を参照してください のインストール Lustre クライアント。

ステップ 3: ファイルシステムをマウントする

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、ファイルシステムをクライアントにマウントし、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには

  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx

  2. Amazon FSx for Lustre ファイルシステムを、作成したディレクトリにマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • を実際のファイルシステムのドメインネームシステム (DNS) 名file_system_dns_nameに置き換えます。

    • をファイルシステムのマウント名mountnameに置き換えます。これは、 describe-file-systems AWS CLI コマンドまたは DescribeFileSystemsAPIオペレーションを実行することで取得できます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatime と flock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx
import-path  lustre
$

    以下の df コマンドを使用することもできます。

    df
Filesystem                      1K-blocks    Used  Available Use% Mounted on
devtmpf                          1001808       0    1001808   0% /dev
tmpfs                            1019760       0    1019760   0% /dev/shm
tmpfs                            1019760     392    1019368   1% /run
tmpfs                            1019760       0    1019760   0% /sys/fs/cgroup
/dev/xvda1                       8376300 1263180    7113120  16% /
123.456.789.0@tcp:/mountname  3547698816   13824 3547678848   1% /mnt/fsx
tmpfs                             203956       0     203956   0% /run/user/1000

    結果は、 にマウントされた Amazon FSx ファイルシステムを示していますon /mnt/fsx。

ステップ 4: ワークフローを実行する

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「Amazon S3 バケットにファイルシステムにリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

ステップ 5: のリソースをクリーンアップする

この演習を完了したら、以下の手順に従ってリソースをクリーンアップし、 AWS アカウントを保護する必要があります。

リソースをクリーンアップするには

  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

  2. Amazon EC2コンソールで、インスタンスを終了します。詳細については、「Amazon ユーザーガイド」の「インスタンスの終了」を参照してください。 EC2

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。