Amazon FSx for Lustre の使用開始 - FSx for Lustre

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon FSx for Lustre の使用開始

次に、Amazon FSx for Lustre の使用方法を学びます。ステップでは、Amazon FSx for Lustre ファイルシステムを作成し、コンピューティングインスタンスからアクセスするステップを説明します。オプションで、Amazon FSx for Lustre ファイルシステムを使用して、ファイルベースのアプリケーションで Simple Storage Service (Amazon S3) バケット内のデータを処理する方法を説明します。

この入門演習では、次のステップが含まれます。

前提条件

この入門演習を実行するには、次のものが必要です。

  • Amazon FSx for Lustre ファイルシステムと Amazon EC2 インスタンスを作成するために必要なアクセス許可を持つ AWS アカウント。詳細については、「Amazon FSx for Lustre のセットアップ」を参照してください。

  • Amazon VPC サービスに基づいて、仮想プライベートクラウド (VPC) でサポートされている Linux リリースを実行する Amazon EC2 インスタンス。この入門演習では、Amazon Linux 2 を使用することをお勧めします。この EC2 インスタンスに Lustre クライアントをインストールし、EC2 インスタンスに FSx for Lustre ファイルシステムをマウントします。EC2 インスタンスの作成の詳細については、Linux インスタンス用 Amazon EC2 ユーザーガイドの「開始方法: インスタンスの起動」または「インスタンスの起動」を参照してください。

    Lustre クライアントは、Amazon Linux、Amazon Linux 2、CentOS、Red Hat Enterprise Linux 7.7 から 7.9、8.2 から 8.9、9.0、9.3、Rocky Linux 8.4 から 8.9、SUSE Linux Enterprise Server 12 SP3, SP4、SP5、Ubuntu 18.04、20.04、および 22.04 をサポートしています。詳細については、「Lustre ファイルシステムとクライアントカーネルの互換性」を参照してください。

    この入門演習用に Amazon EC2 インスタンスを作成するときは、次の点に注意してください。

    • デフォルトの VPC でインスタンスを作成することをお勧めします。

    • EC2 インスタンスを作成する場合は、デフォルトのセキュリティグループを使用することをお勧めします。

  • 各 FSx for Lustre ファイルシステムには、メタデータサーバー (MDS) 用に 1 つの IP アドレスと、各ストレージサーバー (OSS) 用に 1 つの IP アドレスが必要です。

    • 永続的な SSD ファイルシステムは、OSS あたり 2.4 TiB のストレージでプロビジョニングされます。

    • スループットキャパシティが 12 MB/秒/TiB の永続的な HDD ファイルシステムは、OSS あたり 6 TiB のストレージでプロビジョニングされます。

    • スループットキャパシティが 40 MB/秒/TiB の永続的な HDD ファイルシステムは、OSS あたり 1.8 TiB のストレージでプロビジョニングされます。

    • Scratch_2 ファイルシステムは、OSS あたり 2.4 TiB のストレージでプロビジョニングされます。

    • Scratch_1 ファイルシステムは、OSS あたり 3.6 TiB のストレージでプロビジョニングされます。

  • ワークロードが処理するデータを格納する Simple Storage Service (Amazon S3) バケット。S3 バケットは、FSx for Lustre ファイルシステムがリンクされた耐久性のあるデータリポジトリになります。

  • スクラッチ または 永続的、どちらの Amazon FSx for Lustre ファイルシステムタイプを作成するか決定します 。詳細については、「FSx for Lustre のファイルシステムデプロイオプション 」を参照してください。

FSx for Lustre ファイルシステムを作成する

次に、コンソールでファイルシステムを作成します。

ファイルシステムを作成するには
  1. https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。

  2. ダッシュボードで [Create file system] (ファイルシステムの作成) を選択して、ファイルシステム作成ウィザードをスタートします。

  3. FSx for Lustre を選択し、[Next] (次へ) を選択して、[Create File System] (ファイルシステムの作成) ページを表示します。

  4. [File·system·details] (ファイルシステムの詳細) セクションに情報を入力します。

    • ファイルシステム名-オプション で、ファイルシステム名を入力します。最大 256 文字の Unicode 文字、空白、数字、特殊文字 + - = . _ : / を使用できます。

    • デプロイとストレージのタイプ で、いずれかのオプションを選択します。

      SSD ストレージは、通常、小規模でランダムなファイルオペレーションを行う、低レイテンシー、IOPS 集約型のワークロードを提供します。HDD ストレージは、通常、大規模でシーケンシャルなファイル操作を行うスループット集約型のワークロードを提供します。

      ストレージタイプの詳細については、「複数のストレージオプション」を参照してください。

      デプロイタイプの詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

      転送中のデータの暗号化 AWS リージョン が利用可能な の詳細については、「」を参照してください転送中のデータの暗号化

      • 長期ストレージ、および最高レベルの IOPS/ スループットを必要とするレイテンシーの影響を受けやすいワークロードには、[Persistent, SSD] (永続的、SSD) デプロイタイプを選択します。ファイルサーバーは可用性が高く、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケートされ、転送中のデータの暗号化をサポートします。永続的、SSD は、最新世代の永続的ファイルシステムである Persistent 2 を使用します。

      • 長期ストレージと、レイテンシーの影響を受けないスループット重視のワークロードには、永続的、HDD デプロイタイプを選択してください。ファイルサーバーは高可用性であり、データはファイルシステムのアベイラビリティーゾーン内で自動的にレプリケーションされ、このタイプは転送中のデータの暗号化をサポートします。永続的、HDD は Persistent 1 デプロイタイプを使用します。

        [with SSD cache] (SSD キャッシュ) を選択して、HDD ストレージ容量の 20% のサイズの SSD キャッシュを作成し、頻繁にアクセスされるファイルに 1 ミリ秒未満の遅延とより高い IOPS を提供します。

      • テンポラリストレージとデータの短期間の処理のために、スクラッチ、SSD デプロイタイプを選択します。スクラッチ、SSD は Scratch 2 ファイルシステムを使用し、データの転送中の暗号化を提供します。

    • ファイルシステムに欲しい ストレージ単位あたりのスループット 量を選択します。このオプションは、永続的 なデプロイタイプにのみ有効です。

      ストレージ単位あたりのスループットは、プロビジョニングされた 1 テビバイト (TiB) のストレージごとの読み取り、および書き込みスループットの量 (MB / TiB) です。プロビジョニングしたスループットに対して支払いが発生します。

      • 永続 SSD ストレージの場合は、125、250、500、または 1,000 MB / 秒 / TiB のいずれかの値を選択します。

      • 永続 HDD ストレージの場合、12 または 40 MB / 秒 / TiB の値を選択します。

      ファイルシステムを作成した後、必要に応じてストレージ単位あたりのスループットの量を増減できます。詳細については、「スループット容量の管理」を参照してください。

    • ストレージ容量 については、ファイルシステムのストレージ容量を TiB で設定します。

      • 永続、SSD デプロイタイプの場合、これを 1.2 TiB、2.4 TiB、または 2.4 TiB の増分の値に設定します。

      • 永続、HDD デプロイタイプで、この値は、12 MB / 秒 / TiB ファイルシステムの場合に 6.0 TiB の増分、40 MB / 秒 / TiB ファイルシステムの場合に 1.8 TiB の増分が可能です。

      ファイルシステムを作成した後、必要に応じてストレージ容量を増やすことができます。詳細については、「ストレージ容量の管理」を参照してください。

    • データ圧縮タイプ で、[NONE] (なし) を選択してデータ圧縮をオフにするか、LZ4 を選択して LZ4 アルゴリズムでデータ圧縮をオンにします。詳細については、「Lustre データ圧縮」を参照してください。

    Amazon FSx コンソールを使用して作成されるすべての FSx for Lustre ファイルシステムが、Lustre バージョン 2.15 で構築されるようになりました。

    
            FSx for Lustre ファイルシステムの作成コンソールページのファイルシステムの詳細セクション。
  5. [Network & security] (ネットワークとセキュリティ) セクションで、次のネットワークおよびセキュリティグループ情報を入力します。

    • [Virtual Private Cloud (VPC)] (仮想プライベートクラウド (VPC)) で、ファイルシステムに関連付ける VPC を選択します。この入門演習では、Amazon EC2 インスタンスと同じ VPC を選択します。

    • VPC セキュリティグループ の場合は、VPC のデフォルトのセキュリティグループの ID がすでに追加されている必要があります。デフォルトのセキュリティグループを使用していない場合は、この入門演習で使用するセキュリティグループに次のインバウンドルールが追加されていることを確認してください。

      タイプ プロトコル ポート範囲 ソース 説明
      すべての TCP TCP 0-65535 カスタム the_ID_of_this_security_group インバウンドの Lustre トラフィックルール

      次の画面キャプチャは、インバウンドルールの編集の例を示しています。

      
                FSx for Lustre ファイルシステムに割り当てられたデフォルトのセキュリティグループのインバウンドトラフィックルール。
      重要

      使用しているセキュリティグループが、「」に記載されている設定手順に従っていることを確認してくださいAmazon VPC を使用したファイルシステムアクセスコントロール。セキュリティグループを設定して、ポート 988 および 1018~1023 で、セキュリティグループ自体またはフルサブネット CIDR からのインバウンドトラフィックを許可する必要があります。これは、ファイルシステムホストが相互に通信できるようにするために必要です。

    • [Subnet] (サブネット) に関して、使用可能なサブネットのリストから任意の値を選択します。

  6. [Encryption] (暗号化) セクションで使用できるオプションは、作成するファイルシステムの種類によって異なります。

    • 永続的なファイルシステムの場合は、 AWS Key Management Service (AWS KMS) 暗号化キーを選択して、保管中のファイルシステム上のデータを暗号化できます。

    • スクラッチファイルシステムの場合、保管中のデータは によって管理されるキーを使用して暗号化されます AWS。

    • スクラッチ 2 および永続的ファイルシステムでは、サポートされている Amazon EC2 インスタンスタイプからファイルシステムにアクセスすると、転送中のデータが自動的に暗号化されます。詳細については、「転送中のデータの暗号化」を参照してください。

  7. データリポジトリの Import/Export - オプション のセクションでは、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクすることはデフォルトで無効になっています。このオプションを有効にして、既存の S3 バケットへのデータリポジトリアソシエーションを作成する方法については、「ファイルシステムの作成中に S3 バケットをリンクするには (コンソール)」を参照してください。

    重要
    • このオプションを選択すると、バックアップが無効になり、ファイルシステムの作成中にバックアップを有効にできなくなります。

    • 1 つ以上の Amazon FSx for Lustre ファイルシステムを Simple Storage Service (Amazon S3) バケットにリンクする場合は、リンクされているすべてのファイルシステムが削除されるまで Simple Storage Service (Amazon S3) バケットを削除しないでください。

  8. [Logging - optional] (ログ記録 - オプション) では、デフォルトでログ記録が有効化されています。有効にすると、ファイルシステム上のデータリポジトリアクティビティの障害と警告が Amazon CloudWatch Logs に記録されます。ログの設定の詳細については、「ロギングを管理する」を参照してください。

  9. バックアップとメンテナンス - オプション では、以下を実行できます。

    毎日の自動バックアップの場合:

    • 毎日の自動バックアップ を無効にします。このオプションは、データリポジトリの Import/Export を有効にしていない限り、デフォルトで有効になっています。

    • 毎日の自動バックアップウィンドウ の開始時刻を設定します。

    • 自動バックアップ保持期間 を 1~35 日に設定します。

    詳細については、「バックアップの使用」を参照してください。

  10. 毎週のメンテナンス期間 のスタート時刻を設定するか、デフォルトの [No preference] (設定なし) に設定したままにします。

  11. [ルートスカッシュ - オプション] では、デフォルトでルートスカッシュが無効化されています。ルートスカッシュの有効化と設定の詳細については、「ファイルシステムの作成時にルートスカッシュを有効にするには (コンソール)」を参照してください。

  12. ファイルシステムに適用するタグを作成します。

  13. [Next] (次へ) を選択して、ファイルシステムの概要を作成する ページを表示します。

  14. Amazon FSx for Lustreファイルシステムの設定を確認し、[Create file system] (ファイルシステムの作成) を選択します。

ファイルシステムが作成されたので、後のステップのために完全修飾ドメイン名とマウント名をメモします。ファイルシステムの完全修飾ドメイン名とマウント名を見つけるには、[Caches] (キャッシュ) のダッシュボードでファイルシステム名を選択し、[Attach] (添付) を選択します。

Lustre クライアントをインストールして設定する

Amazon EC2 インスタンスから Amazon FSx for Lustre ファイルシステムにアクセスする前に、以下を実行する必要があります。

  • EC2 インスタンスが最小カーネル要件を満たしていることを確認します。

  • 必要に応じてカーネルを更新します。

  • Lustre クライアントをダウンロードしてインストールします。

カーネルバージョンを確認して Lustre クライアントをダウンロードするには
  1. EC2 インスタンスでターミナルウィンドウを開きます。

  2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行されているカーネルを特定します。

    uname -r
  3. 以下のいずれかを実行します。

    • x86 ベースの EC2 インスタンスにコマンドが 4.14.104-95.84.amzn2.x86_64 を返した場合、または Graviton2 ベースの EC2 インスタンスに 4.14.181-142.260.amzn2.aarch64 またはそれ以上を返した場合は、次のコマンドを使用して Lustre クライアントをダウンロードしてインストールします。

      sudo amazon-linux-extras install -y lustre
    • コマンドが x86 ベースの EC2 インスタンスの場合は 4.14.104-95.84.amzn2.x86_64 未満、Graviton2 ベースの EC2 インスタンスの場合は 4.14.181-142.260.amzn2.aarch64 未満の結果を返す場合は、次のコマンドを実行してカーネルを更新し、Amazon EC2 インスタンスを再起動します。

      sudo yum -y update kernel && sudo reboot

      uname -r コマンドを使用して、カーネルが更新されていることを確認します。次に、上記の説明に従って Lustre クライアントをダウンロードしてインストールします。

    他の Linux ディストリビューションに Lustre クライアントをインストールする方法については、「Lustre クライアントのインストール」を参照してください。

ファイルシステムをマウントします。

ファイルシステムをマウントするには、マウントディレクトリまたはマウントポイントを作成し、そのファイルシステムをクライアントにマウントして、クライアントがファイルシステムにアクセスできることを確認します。

ファイルシステムをマウントするには
  1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

    sudo mkdir -p /mnt/fsx
  2. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用して、次のアイテムを置き換えます。

    • 実際のファイルシステムのドメインネームシステム (DNS) 名で file_system_dns_name を置き換えます。

    • をファイルシステムのマウント名mountnameに置き換えます。これは、 describe-file-systems AWS CLI コマンドまたは DescribeFileSystems API オペレーションを実行することで取得できます。

    sudo mount -t lustre -o relatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

    このコマンドは、-o relatimeflock の 2 つのオプションでファイルシステムをマウントします。

    • relatime — atime オプションでは、ファイルがアクセスされるたびに atime (inode アクセス時間) のデータが保持されるのに対し、relatime オプションでも atime のデータが保持されますが、ファイルがアクセスされるたびに保持されるわけではありません。relatime オプションを有効にすると、atime のデータが最後に更新されてからファイルが変更された場合 (mtime)、またはファイルが一定時間以上 (デフォルトでは 6 時間) 前に最後にアクセスされた場合にのみ、atime のデータがディスクに書き込まれます。relatime または atime のオプションを使用すると、ファイルのリリース プロセスが最適化されます。

      注記

      ワークロードに正確なアクセス時間の精度が必要な場合は、atime マウントオプションを使用してマウントできます。ただし、これを行うと、正確なアクセス時間値を維持するために必要なネットワークトラフィックが増加し、ワークロードのパフォーマンスに影響する可能性があります。

      ワークロードにメタデータのアクセス時間が必要ない場合は、noatime マウントオプションを使用してアクセス時間の更新を無効にすると、パフォーマンスが向上する可能性があります。ファイルのリリースやデータの有効性のリリースなど、atime に焦点を絞ったプロセスでは、リリース時に不正確さが生じることに注意してください。

    • flock - ファイルシステムのファイルロックを有効にします。ファイルロックを有効にしたくない場合は、flock なしで mount コマンドを使用します。

  3. 次のコマンドを使用して、ファイルシステム /mnt/fsx をマウントしたディレクトリの内容を一覧表示し、マウントコマンドが成功したことを確認します。

    ls /mnt/fsx import-path lustre $

    以下の df コマンドを使用することもできます。

    df Filesystem 1K-blocks Used Available Use% Mounted on devtmpf 1001808 0 1001808 0% /dev tmpfs 1019760 0 1019760 0% /dev/shm tmpfs 1019760 392 1019368 1% /run tmpfs 1019760 0 1019760 0% /sys/fs/cgroup /dev/xvda1 8376300 1263180 7113120 16% / 123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsx tmpfs 203956 0 203956 0% /run/user/1000

    結果は、/mnt/fsx にマウントされている Amazon FSx ファイルシステムを示しています。

ワークフローを実行

ファイルシステムが作成され、コンピューティングインスタンスにマウントされたので、それを使用して高パフォーマンスのコンピューティングワークロードを実行できます。

データリポジトリの関連付けを作成して、ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクできます。詳細については、「S3 バケットにファイルシステムをリンクする」を参照してください。

ファイルシステムを Simple Storage Service (Amazon S3) データリポジトリにリンクしたら、ファイルシステムに書き込んだデータを Simple Storage Service (Amazon S3) バケットにいつでもエクスポートできます。コンピューティングインスタンスのいずれかのターミナルから、次のコマンドを実行して Simple Storage Service (Amazon S3) バケットにファイルをエクスポートします。

sudo lfs hsm_archive file_name

フォルダまたはファイルの大規模なコレクションでこのコマンドをすばやく実行する方法の詳細については、「HSM コマンドを使用したファイルのエクスポート」を参照してください。

(オプション) Amazon FSx ファイルシステムのステータスを確認する

Amazon FSx ファイルシステムのステータスを表示するには、Amazon FSx コンソール、 AWS CLI コマンド describe-file-systems、または API オペレーション を使用しますDescribeFileSystems

ファイルシステムのステータス 説明

AVAILABLE (利用可能)

ファイルシステムは正常な状態にあり、到達可能であり、使用可能です。

CREATING (作成)

Amazon FSx は新しいファイルシステムを作成しています。

[DELETING] (削除中)

Amazon FSx は既存のファイルシステムを削除しています。

UPDATING (更新)

ファイルシステムは、お客様によって開始される更新を受けています。

MISCONFIGURED (設定ミス)

ファイルシステムに障害が発生していますが、リカバリ可能な状態です。

FAILED (失敗)

このステータスは、次のいずれかを意味します。

  • ファイルシステムに障害が発生したため、Amazon FSx では復旧できません。

  • 新しいファイルシステムを作成するとき、Amazon FSx はファイルシステムを作成できませんでした。

リソースをクリーンアップする

この演習が完了したら、以下の手順に従ってリソースをクリーンアップし、 AWS アカウントを保護する必要があります。

リソースをクリーンアップするには
  1. 最終的なエクスポートを行うには、次のコマンドを実行します。

    nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &
  2. Amazon EC2 コンソールで、インスタンスを終了します。詳細については、「Linux インスタンス用 Amazon EC2 ユーザーガイド」の「インスタンスの終了」を参照してください。

  3. Amazon FSx for Lustre コンソールで、次の手順でファイルシステムを削除します。

    1. ナビゲーションペインで、[File systems] (ファイルシステム) を選択します。

    2. ダッシュボードのファイルシステムのリストから削除するファイルシステムを選択します。

    3. [Actions] (アクション) で、[Delete file system] (ファイルシステムの削除) を選択します。

    4. 表示されるダイアログボックスで、ファイルシステムの最終バックアップを作成するかどうかを選択します。次に、削除を確定するために、ファイルシステム ID を入力します。[Delete file system] (ファイルシステムの削除) を選択します。

  4. この演習用に Simple Storage Service (Amazon S3) バケットを作成して、エクスポートしたデータを保持したくない場合は、これで削除できます。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「バケットの削除」を参照してください。