データ重複排除のトラブルシューティング

次のセクションで説明するように、データ重複排除の問題にはいくつかの潜在的な原因があります。

データ重複排除が機能していない

「データ重複排除ドキュメント」の手順を使用して、Get-FSxDedupStatus コマンドを実行し、最新の重複排除ジョブの完了ステータスを表示します。1 つ以上のジョブが失敗している場合、ファイルシステム上で空きストレージ容量の増加が見られない場合があります。

重複排除ジョブが失敗する最も一般的な理由は、メモリ不足です。

• Microsoft は、1 TB の論理的なデータあたり 1 GB のメモリが最適にあることを推奨します (または、1 TB の論理的なデータあたり少なくとも 300 MB + 50 MB)。Amazon FSx パフォーマンステーブル を使用して、ファイルシステムのスループットキャパシティに関連付けられているメモリを特定し、メモリリソースがデータのサイズに対して十分であることを確認します。

• 重複排除ジョブは、Windows が推奨するデフォルトの 25％ のメモリ割り当てで設定されます。つまり、32 GB のメモリを備えたファイルシステムの場合、8 GB が重複排除に使用できます。メモリ割り当ては設定可能ですが (パラメータ Set-FSxDedupSchedule を指定した –Memory コマンドを使用)、追加のメモリーを消費すると、ファイルシステムのパフォーマンスに影響を与える可能性があります。

• 重複排除ジョブの設定を変更して、メモリ要件をさらに削減できます。例えば、特定のファイルタイプまたはフォルダーで実行するように最適化を制限したり、最適化のための最小ファイルサイズと経過時間を設定したりできます。また、ファイルシステムのロードが最小限であるアイドル期間中に重複排除ジョブが実行されるように設定することをお勧めします。

重複排除ジョブを完了するのに十分な時間がない場合にも、エラーが表示されることがあります。データ重複除外スケジュールの変更 で説明されているように、ジョブの最大期間を変更する必要がある場合があります。

重複排除ジョブが長期間失敗していて、この期間中にファイルシステム上のデータに変更があった場合、後続の重複排除ジョブを初めて正常に完了するには、より多くのリソースが必要になる場合があります。

重複排除の値が予期せず 0 に設定されている

データ重複排除を設定したファイルシステムでは、SavedSpace と OptimizedFilesSavingsRate の値が予期せず 0 になります。

これは、ファイルシステムのストレージ容量を増やす際、ストレージ最適化プロセス中に発生する可能性があります。ファイルシステムのストレージ容量を増やすと、Amazon FSx は、ストレージ最適化プロセス中に既存のデータ重複排除ジョブをキャンセルします。これにより、以前のディスクから新しくより大きなディスクにデータが移行されます。ストレージ最適化ジョブが完了すると、Amazon FSx はファイルシステムでのデータ重複排除を再開します。ストレージ容量の増加とストレージの最適化の詳細については、「ストレージ容量の管理」を参照してください。

ファイルを削除した後、ファイルシステムのスペースが解放されません

データ重複排除の予想される動作は、重複排除がスペースを節約したデータが削除されたデータであった場合、ガベージコレクションのジョブが実行されるまでファイルシステムでスペースは解放されません。

役立つと思われるプラクティスとして、多数のファイルを削除した直後にガベージコレクションのジョブを実行するようにスケジュールを設定することができます。ガベージコレクションのジョブが終了したら、ガベージコレクションのスケジュールを元の設定に戻すことができます。これにより、削除により解放された容量をすぐに確認できます。

次の手順を使用して、ガベージコレクションジョブを 5 分で実行するように設定します。

1. データ重複排除が有効になっていることを確認するには、Get-FSxDedupStatus コマンドを使用します。コマンドとその期待される出力の詳細については、「保存スペースの量の表示」を参照してください。

2. 以下を使用して、5 分後にガベージコレクションのジョブを実行するスケジュールを設定します。

   $date=get-date
   $DayOfWeek = $date.DayOfWeek
   $date = $date.AddMinutes(5)
   $Time = $date.ToShortTimeString().Split(' ')[0]
   Invoke-Command -ComputerName ${RPS_ENDPOINT} -ConfigurationName FSxRemoteAdmin -ScriptBlock {   
       Set-FSxDedupSchedule -Name "WeeklyGarbageCollection" -Days $Using:DayOfWeek -Start $Using:Time -DurationHours 9
   }

3. ガベージコレクションのジョブが実行され、スペースが解放されたら、スケジュールを元の設定に戻します。