Amazon FSx for Lustre とは

FSx for Lustre を使用すると、人気のある高性能 Lustre ファイルシステムの起動と実行を簡単かつ費用対効果の高い方法で行うことができます。Lustre は、機械学習、ハイパフォーマンスコンピューティング (HPC）、ビデオ処理、財務モデリングなど、スピードが重要なワークロードに使用します。

オープンソースの Lustre ファイルシステムは、高速ストレージを必要とするアプリケーション向けに設計されており、ストレージがコンピューティングに対応できるように設計されています。Lustre は、増え続ける世界のデータセットを迅速かつ安価に処理するという問題を解決するために構築されました。Lustre は、世界最速のコンピュータ向けに設計された、広く使用されているファイルシステムです。ミリ秒未満のレイテンシー、最大数百GBpsのスループット、最大数百万の を提供しますIOPS。Lustre の詳細については、Lustre ウェブサイト を参照してください。

フルマネージドサービスである Amazon FSxでは、ストレージ速度が重要なワークロードに Lustre を簡単に使用できます。FSx for Lustre は、Lustre ファイルシステムのセットアップと管理の従来の複雑さを排除し、戦いでテストされた高性能ファイルシステムを数分でスピンアップして実行できるようにします。また、複数のデプロイオプションが用意されているため、ニーズに合わせてコストを最適化できます。

FSx for Lustre は POSIXに準拠しているため、変更を加えることなく、現在の Linux ベースのアプリケーションを使用できます。FSx for Lustre はネイティブファイルシステムインターフェイスを提供し、Linux オペレーティングシステムで使用しているファイルシステムと同様に動作します。また、 read-after-write整合性を提供し、ファイルロックもサポートします。

複数のデプロイオプション

Amazon FSx for Lustre では、さまざまなデータ処理ニーズに対応するために、スクラッチファイルシステムと永続ファイルシステムを選択できます。スクラッチファイルシステムは、テンポラリストレージと短期間のデータ処理に最適です。データはレプリケーションされず、ファイルサーバに障害が発生しても保持されません。整合性のあるファイルシステムは、長期的なストレージとスループット重視のワークロードに最適です。永続ファイルシステムでは、データがレプリケーションされ、障害が発生した場合はファイルサーバーが置き換えられます。詳細については、「FSx for Lustre ファイルシステムのデプロイオプション」を参照してください。

複数のストレージオプション

Amazon FSx for Lustre には、さまざまなデータ処理要件に合わせて最適化されたソリッドステートドライブ (SSD) とハードディスクドライブ (HDD) のストレージタイプが用意されています。

• SSD ストレージオプション — 通常、小規模でランダムなファイルオペレーションを行う、低レイテンシーでIOPS負荷の高いワークロードの場合は、SSDストレージオプションのいずれかを選択します。

• HDD ストレージオプション – 通常、大規模なシーケンシャルファイルオペレーションを行うスループット集約型のワークロードの場合は、HDDストレージオプションのいずれかを選択します。

HDD ストレージオプションを使用してファイルシステムをプロビジョニングする場合は、オプションでHDDストレージ容量の 20% のサイズに設定された読み取り専用SSDキャッシュをプロビジョニングできます。これにより、頻繁にアクセスされるファイルIOPSに対してミリ秒未満のレイテンシー以上が提供されます。SSDベースのファイルシステムと HDDベースのファイルシステムの両方が、 SSDベースのメタデータサーバーでプロビジョニングされます。その結果、ファイルシステムオペレーションの大部分を表すすべてのメタデータオペレーションは、ミリ秒未満のレイテンシーで配信されます。

ストレージオプションのパフォーマンスについては、「Amazon FSx for Lustre のパフォーマンス」を参照してください。

FSx for Lustre とデータリポジトリ

FSx for Lustre ファイルシステムを Amazon S3 のデータリポジトリまたはオンプレミスのデータストアにリンクできます。

FSx for Lustre S3 データリポジトリ統合

FSx for Lustre は Amazon S3 と統合されているため、Lustre の高性能ファイルシステムを使用してクラウドデータセットを簡単に処理できます。Amazon S3 バケットにリンクされると、 FSx for Lustre ファイルシステムは S3 オブジェクトをファイルとして透過的に表示します。Amazon は、ファイルシステムの作成時に S3 バケット内のすべての既存のファイルのリストFSxをインポートします。Amazon FSx は、ファイルシステムの作成後にデータリポジトリに追加されたファイルのリストをインポートすることもできます。ワークフローのニーズに合わせてインポートプリファレンスを設定できます。ファイルシステムによって、ファイルシステムデータを S3 に書き戻すこともできます。データリポジトリタスクは、 FSx for Lustre ファイルシステムと Amazon S3 上の耐久性のあるデータリポジトリ間のデータとメタデータの転送を簡素化します。詳細については、「Amazon FSx for Lustre でのデータリポジトリの使用」および「データリポジトリタスク」を参照してください。

FSx for Lustre とオンプレミスのデータリポジトリ

Amazon FSx for Lustre では、 AWS Direct Connect または を使用してデータをインポート AWS クラウド することで、データ処理ワークロードをオンプレミスから にバーストできます AWS VPN。詳細については、「オンプレミスデータFSxでの Amazon の使用」を参照してください。

FSx for Lustre ファイルシステムへのアクセス

Lustre ファイルシステムFSx用の 1 つの に接続されているコンピューティングインスタンスタイプと Linux Amazon マシンイメージ (AMIs) を混在させて一致させることができます。

Amazon FSx for Lustre ファイルシステムは、Amazon Elastic Compute Cloud (Amazon EC2) インスタンス、Amazon Elastic Container Service (Amazon ) Docker コンテナ、および Amazon Elastic Kubernetes Service (Amazon ECS) で実行されているコンテナで実行されているコンピューティングワークロードからアクセスできますEKS。

• Amazon EC2 – オープンソースの Lustre クライアントを使用して、Amazon EC2コンピューティングインスタンスからファイルシステムにアクセスします。Amazon EC2インスタンスは、ネットワーク設定で 内のサブネット間のアクセスが許可されている場合に限り、同じ Amazon Virtual Private Cloud (Amazon VPC) 内の他のアベイラビリティーゾーンからファイルシステムにアクセスできますVPC。Amazon FSx for Lustre ファイルシステムがマウントされたら、ローカルファイルシステムを使用するのと同じように、そのファイルとディレクトリを操作できます。

• Amazon EKS – Amazon ユーザーガイド で説明されているように、FSxLustre ドライバー のオープンソースEKSを使用して、Amazon で実行されているコンテナから Amazon for Lustre にアクセスします。 FSx CSI EKS Amazon で実行されているコンテナEKSは、Amazon FSx for Lustre によってバックアップされた高性能の永続ボリューム (PVs) を使用できます。

• Amazon ECS – Amazon EC2インスタンスの Amazon Docker ECS コンテナから Amazon FSx for Lustre にアクセスします。詳細については、「Amazon Elastic Container Service からのマウント」を参照してください。

Amazon FSx for Lustre はAMIs、Amazon Linux 2023 および Amazon Linux 2、Red Hat Enterprise Linux (RHEL）、CentOS 、Ubuntu、SUSELinux など、最も一般的な Linux ベースの と互換性があります。Lustre クライアントは、Amazon Linux 2023 および Amazon Linux 2 に含まれています。RHEL、CentOS 、および Ubuntu の場合、 AWS Lustre クライアントリポジトリは、これらのオペレーティングシステムと互換性のあるクライアントを提供します。

FSx for Lustre を使用すると、 AWS Direct Connect または 経由でデータをインポート AWS クラウド することで、コンピューティング負荷の高いワークロードをオンプレミスから にバーストできます AWS Virtual Private Network。オンプレミスから Amazon FSx ファイルシステムにアクセスし、必要に応じてデータをファイルシステムにコピーし、クラウド内インスタンスでコンピューティング集約型のワークロードを実行できます。

Lustre ファイルシステムの にアクセスできるクライアント、コンピューティングインスタンス、および環境の詳細については、FSx「」を参照してくださいファイルシステムへのアクセス。

AWS サービスとの統合

Amazon FSx for Lustre は、入力データソース SageMaker として Amazon と統合されます。FSx for Lustre SageMaker で を使用すると、Amazon S3 からの最初のダウンロードステップがなくなるため、機械学習トレーニングジョブが高速化されます。さらに、S3 リクエストのコストを節約するのと同じデータセットで反復ジョブ用の共通オブジェクトが繰り返しダウンロードされないため、総所有コスト (TCO) が削減されます。詳細については、「Amazon SageMaker デベロッパーガイド」の SageMaker「 とは」を参照してください。Amazon FSx for Lustre を のデータソースとして使用する方法のチュートリアルについては SageMaker、 AWS Machine Learning Blog の「Amazon FSx for Lustre と Amazon EFS ファイルシステム SageMaker を使用した Amazon でのトレーニングの高速化」を参照してください。

FSx for Lustre はEC2、Launch Templates AWS Batch を使用して と統合します。 AWS Batch では、ハイパフォーマンスコンピューティング (HPC） AWS クラウド、機械学習 (ML)、その他の非同期ワークロードなど、バッチコンピューティングワークロードを で実行できます。 は、ジョブリソースの要件に基づいてインスタンスを AWS Batch 自動的かつ動的にサイズ設定します。詳細については、「 ユーザーガイド」の AWS Batch「 とはAWS Batch 」を参照してください。

FSx for Lustre は と統合されています AWS ParallelCluster。 AWS ParallelCluster は、クラスターのデプロイと管理に使用される が AWSサポートするオープンソースのHPCクラスター管理ツールです。クラスターの作成プロセス中に、Lustre ファイルシステムFSx用の を自動的に作成したり、既存のファイルシステムを使用したりできます。

セキュリティとコンプライアンス

FSx for Lustre ファイルシステムは、保管中および転送中の暗号化をサポートします。Amazon は、 AWS Key Management Service () で管理されるキーを使用して、保管中のファイルシステムデータFSxを自動的に暗号化しますAWS KMS。また、転送中のデータは、サポートされている Amazon EC2インスタンスからアクセスされると、特定の AWS リージョン のファイルシステムで自動的に暗号化されます。for Lustre で転送中のデータの暗号化がサポートされている AWS リージョン 場所など、データ暗号化の詳細については、FSx「」を参照してくださいAmazon FSx for Lustre でのデータ暗号化。Amazon FSxは、ISO、、PCIDSSおよび のSOC認定に準拠していると評価されており、 HIPAA の対象となります。詳細については、「Amazon FSx for Lustre のセキュリティ」を参照してください。

前提

このガイドでは、以下の仮定を行います。

• Amazon Elastic Compute Cloud (Amazon EC2) を使用する場合は、そのサービスに精通していることを前提としています。Amazon の使用方法の詳細についてはEC2、「Amazon EC2ドキュメント」を参照してください。

• Amazon Virtual Private Cloud (Amazon ) の使用に精通していることを前提としていますVPC。Amazon の使用方法の詳細についてはVPC、「Amazon VPCユーザーガイド」を参照してください。

• Amazon VPCサービスVPCに基づいて のデフォルトのセキュリティグループのルールを変更していないことを前提としています。存在する場合は、Amazon EC2インスタンスから Amazon FSx for Lustre ファイルシステムへのネットワークトラフィックを許可するために必要なルールを追加してください。詳細については、「Amazon VPC を使用したファイルシステムアクセスコントロール」を参照してください。

Amazon FSx for Lustre の料金

Amazon FSx for Lustre では、ハードウェアやソフトウェアの前払いコストは発生しません。最低コミットメント、セットアップコスト、追加料金なしで、使用したリソースに対してのみ、お支払いいただきます。サービスに関連する料金と料金については、「Amazon FSx for Lustre の料金」を参照してください。

Amazon FSx for Lustre フォーラム

Amazon FSx for Lustre の使用中に問題が発生した場合は、 フォーラムを確認してください。

Amazon FSx for Lustre を初めてお使いですか？

Amazon FSx for Lustre を初めて使用する場合は、次のセクションを順番に読むことをお勧めします。

1. 最初の Amazon FSx for Lustre ファイルシステムを作成する準備ができたら、 を試してくださいAmazon FSx for Lustre の開始方法。

2. パフォーマンスの詳細については、「Amazon FSx for Lustre のパフォーマンス」を参照してください。

3. ファイルシステムを Simple Storage Service (Amazon S3) バケットデータリポジトリにリンクする方法については、「Amazon FSx for Lustre でのデータリポジトリの使用」を参照してください。

4. Amazon FSx for Lustre のセキュリティの詳細については、「」を参照してくださいAmazon FSx for Lustre のセキュリティ。

5. スループットやファイルシステムサイズなど、Amazon FSx for Lustre のスケーラビリティ制限については、「」を参照してくださいAmazon FSx for Lustre のクォータ。

6. Amazon FSx for Lustre の詳細についてはAPI、「Amazon FSx for Lustre APIリファレンス」を参照してください。