データ圧縮を管理する以前に書き込まれたファイルの圧縮ファイルサイズの表示 CloudWatch メトリクスの使用

Lustre データ圧縮

Lustre データ圧縮機能を使用すると、高性能な Amazon FSx for Lustre ファイルシステムおよびバックアップストレージのコスト削減を実現できます。データ圧縮を有効にすると、Amazon FSx for Lustre は新しく書き込まれたファイルをディスクに書き込む前に自動的に圧縮し、読み取り時に自動的に解凍します。

データ圧縮は LZ4 アルゴリズムを使用します。LZ4 アルゴリズムは、ファイルシステムのパフォーマンスに悪影響を及ぼすことなく、高レベルの圧縮を実現するように最適化されています。LZ4 は、圧縮速度と圧縮ファイルサイズのバランスをとり、Lustre コミュニティに信頼されているパフォーマンス指向のアルゴリズムです。通常、データ圧縮を有効にしても、レイテンシーに対して測定可能な影響は生じません。

データ圧縮は、Amazon FSx for Lustre ファイルサーバーとストレージ間で転送されるデータの量を減らします。圧縮ファイル形式をまだ使用していない場合は、データ圧縮を使用するときにファイルシステム全体のスループット容量が増加します。データ圧縮に関連するスループット容量の増加は、フロントエンドネットワークのインターフェイスカードを飽和させた後に制限されます。

例えば、ファイルシステムが PERSISTENT-50 SSD デプロイタイプの場合、ネットワークスループットのベースラインはストレージの TiB あたり 250 MB / 秒です。ディスクスループットのベースラインは、TiB あたり 50 MB / 秒です。データ圧縮を使用すると、ディスクスループットが TiB あたり50 MB / 秒から、ベースラインネットワークスループット制限である TiB あたり最大 250 MB / 秒に増加する可能性があります。ネットワークおよびディスクのスループット制限の詳細については、「ファイルシステムのパフォーマンスの集計」の「ファイルシステムのパフォーマンス表」を参照してください。データ圧縮パフォーマンスの詳細については、AWS ストレージブログの「Spend less while increasing performance with Amazon FSx for Lustre data compression」(Amazon FSx for Lustreデータ圧縮を使用してパフォーマンスを向上させながらコストを削減する) を参照してください。

データ圧縮を管理する

新しい Amazon FSx for Lustre ファイルシステムを作成するときに、データ圧縮を有効または無効にすることができます。コンソール、または API から Amazon FSx for Lustre ファイルシステムを作成すると AWS CLI、データ圧縮はデフォルトでオフになります。

https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。
開始方法 セクションの「ステップ 1: FSx for Lustre ファイルシステムを作成する」で説明されている新しいファイルシステムを作成する手順に従います。
[File·system·details] (ファイルシステムの詳細) セクションの [Data compression type] (データ圧縮タイプ) で、LZ4 を選択します。
新しいファイルシステムを作成する場合と同様に、ウィザードを完了します。
レビューと作成 を選択します。
Amazon FSx for Lustre ファイルシステム用に選択した設定を確認し、ファイルシステムの作成 を選択します。

ファイルシステムが 使用可能 の場合は、データ圧縮が有効になっています。

データ圧縮を有効にして FSx for Lustre ファイルシステムを作成するには、次のような DataCompressionType パラメータを指定して Amazon FSx CLI コマンド create-file-system を使用します。対応する API オペレーションは CreateFileSystem です。


$ aws fsx create-file-system \
      --client-request-token CRT1234 \
      --file-system-type LUSTRE \
      --file-system-type-version 2.12 \
      --lustre-configuration DeploymentType=PERSISTENT_1,PerUnitStorageThroughput=50,DataCompressionType=LZ4 \
      --storage-capacity 3600 \
      --subnet-ids subnet-123456 \
      --tags Key=Name,Value=Lustre-TEST-1 \
      --region us-east-2

次の例に示すように、ファイルシステムを正常に作成すると、Amazon FSx はファイルシステムの説明を JSON として返します。


{

    "FileSystems": [
        {
            "OwnerId": "111122223333",
            "CreationTime": 1549310341.483,
            "FileSystemId": "fs-0123456789abcdef0",
            "FileSystemType": "LUSTRE",
            "FileSystemTypeVersion": "2.12",
            "Lifecycle": "CREATING",
            "StorageCapacity": 3600,
            "VpcId": "vpc-123456",
            "SubnetIds": [
                "subnet-123456"
            ],
            "NetworkInterfaceIds": [
                "eni-039fcf55123456789"
            ],
            "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com",
            "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0",
            "Tags": [
                {
                    "Key": "Name",
                    "Value": "Lustre-TEST-1"
                }
            ],
            "LustreConfiguration": {
                "DeploymentType": "PERSISTENT_1",
                "DataCompressionType": "LZ4",
                "PerUnitStorageThroughput": 50
            }
        }
    ]
}

既存のファイルシステムのデータ圧縮設定を変更することもできます。既存のファイルシステムに対してデータ圧縮をオンにすると、新しく書き込まれたファイルのみが圧縮され、既存のファイルは圧縮されません。詳細については、「以前に書き込まれたファイルの圧縮」を参照してください。

https://console.aws.amazon.com/fsx/ で Amazon FSx コンソールを開きます。
[File systems] (ファイルシステム) に移動し、データ圧縮を管理する Lustre ファイルシステムを選択します。
アクション で データ圧縮タイプの更新 を選択します。
データ圧縮タイプの更新 ダイアログボックスで、LZ4 を選択してデータ圧縮をオンにするか、[NONE] (なし) を選択してオフにします。
[Update] (更新) を選択します。
[Updates] (更新) タブのファイルシステムの詳細ページで更新の進行状況をモニタリングできます。

既存の FSx for Lustre ファイルシステムのデータ圧縮設定を更新するには、 AWS CLI コマンドを使用しますupdate-file-system。以下のパラメータを設定します。

--file-system-id を更新するファイルシステムの ID に設定します。
データ圧縮をオフにするには --lustre-configuration DataCompressionType を NONE に設定し、LZ4 アルゴリズムでデータ圧縮をオンにするには LZ4 を設定します。

このコマンドは、LZ4 アルゴリズムでデータ圧縮がオンになっていることを指定します。


$ aws fsx update-file-system \
    --file-system-id fs-0123456789abcdef0 \
    --lustre-configuration DataCompressionType=LZ4

バックアップからファイルシステムを作成するときのデータ圧縮設定

使用可能なバックアップを使用して、新しい Amazon FSx for Lustre ファイルシステムを作成できます。バックアップから新しいファイルシステムを作成する場合、DataCompressionType を指定する必要はありません。設定は、バックアップの DataCompressionType 設定を使用して適用されます。バックアップから作成するときに DataCompressionType を指定する場合、値はバックアップの DataCompressionType 設定と一致する必要があります。

バックアップの設定を表示するには、Amazon FSx コンソールの [Backups] (バックアップ) タブを選択します。バックアップの詳細は、バックアップの [Summary] (概要) ページに表示されます。describe-backups AWS CLI コマンドを実行することもできます (同等の API アクションはですDescribeBackups）。

以前に書き込まれたファイルの圧縮

Amazon FSx for Lustre ファイルシステムでデータ圧縮が無効になったときに作成されたファイルは、圧縮解除されます。データ圧縮を有効にしても、既存の非圧縮データは自動的に圧縮されません。

Lustre クライアントインストールの一部としてインストールされる lfs_migrate コマンドを使用して、既存のファイルを圧縮することができます。例については、「で利用可能な FSxL -Compression」を参照してください GitHub。

ファイルサイズの表示

次のコマンドを使用して、ファイルとディレクトリの非圧縮サイズと圧縮サイズを表示できます。

du 圧縮サイズを表示します。
du --apparent-size 非圧縮サイズを表示します。
ls -l 非圧縮サイズを表示します。

次の例では、同じファイルでの各コマンドの出力を示します。


$ du -sh samplefile
272M	samplefile
$ du -sh --apparent-size samplefile
1.0G	samplefile
$ ls -lh samplefile
-rw-r--r-- 1 root root 1.0G May 10 21:16 samplefile

-h オプションは、人間が読める形式でサイズを出力するため、コマンドに役立ちます。

CloudWatch メトリクスの使用

Amazon CloudWatch Logs メトリクスを使用して、ファイルシステムの使用状況を表示できます。LogicalDiskUsage メトリクスは、論理的なディスクの総使用量 (圧縮なし) を示し、PhysicalDiskUsage メトリクスは、物理ディスクの総使用量 (圧縮あり) を示します。これら 2 つのメトリクスは、ファイルシステムでデータ圧縮が有効になっているか、以前に有効にしていた場合にのみ使用できます。

LogicalDiskUsage 統計の Sum を PhysicalDiskUsage 統計の Sum で割ることにより、ファイルシステムの圧縮率を決定できます。メトリクス演算を使用してこの比率を計算する方法については、「メトリクス数学: データ圧縮率」を参照してください。

ファイルシステムのパフォーマンスのモニタリングの詳細については、「Amazon FSx for Lustre のモニタリング」を参照してください。

ブラウザで JavaScript が無効になっているか、使用できません。

AWS ドキュメントを使用するには、JavaScript を有効にする必要があります。手順については、使用するブラウザのヘルプページを参照してください。

ドキュメントの表記規則

スループット容量の変更のモニタリング

ルートスカッシュ