File Transfer のベストプラクティス

Nimble Studio File Transfer を最大限に利用するために、このページのベストプラクティスを実践することをお勧めします。

目次

• Amazon Simple Storage Service(Amazon S3)
• AWS Key Management Service (AWS KMS)
• ハードウェア
• 構成
• パフォーマンスの最適化

Amazon Simple Storage Service(Amazon S3)

• 「オブジェクトキー名の作成」のチュートリアルで説明されている、Amazon Simple Storage Service (Amazon S3) バケットの命名方法に従います。

• 世界中から Amazon S3 バケットへの転送速度を最適化するために、「Amazon S3 Transfer Acceleration を使用した高速かつ安全なファイル転送の設定」のチュートリアルの指示に従います。

• ストレージコストを最小限に抑えるために、「不完全なマルチパートアップロードを削除するためのバケットライフサイクル設定の設定」のチュートリアルの指示に従ってライフサイクルルールを設定します。コスト削減の詳細については、ブログ記事の「Discovering and Deleting Incomplete Multipart Uploads to Lower Amazon S3 Costs」を参照してください。

AWS Key Management Service (AWS KMS)

• 「S3 バケットを作成する」で S3 バケットを作成するときは、[AWS Key Management Service キー (SSE-KMS)] を選択することをお勧めします。KMS キーの詳細については、「カスタマーキーと AWS キー」を参照してください。

ハードウェア

File Transfer を使用するには、コンピュータが以下の要件を満たしていることをお勧めします。

• 8 つの論理 CPU コア

• 8 GB RAM

これより少ない仕様のマシンでも File Transfer を実行できますが、パフォーマンスが低下する可能性があります。

構成

ファイル転送のユースケースに合わせて、自動チューニングを使用するか、パラメータを手動でチューニングするかを選択できます。設定を手動でチューニングすることを選択した場合、不適切にチューニングすると、パフォーマンスが低下する可能性があります。ほとんどのユーザーの場合、自動チューニングは有効のままにしておくことをお勧めします。

自動チューニング設定

ほとんどのユーザーの場合、[転送の自動チューニング] 設定を有効のままにしておくことをお勧めします。[転送の自動チューニング] 設定を有効にすると、File Transfer は、[スレッド数] と [チャンクサイズ] の値を自動的に設定します。File Transfer は、転送するデータの種類に応じて、最も効果的な設定を決定します。

[転送の自動チューニング] 設定は、ファイルごとにパフォーマンス設定を調整します。[スレッド数] と [チャンクサイズ] の値を手動で設定した場合、それらの設定は転送のバッチ全体に適用されます。このため、通常、[転送の自動チューニング] ではサイズの異なるファイルを転送するときのパフォーマンスが向上します。[転送の自動チューニング] 設定のパフォーマンスは、同様のサイズのファイルを転送する場合の手動設定の調整と同程度です。ハードウェアと転送データに関する高度な知識がある場合は、[転送の自動チューニング] で選択される値よりも手動設定の方がパフォーマンスが向上する場合があります。

スレッド

File Transfer では、各転送は複数の個別のスレッドに分割され、このスレッドを使用して各ファイルが転送されます。スレッドは、サイズの大きいファイル (1 GB 超) をアップロードする場合に最も効果的です。小さなファイルの場合にもスレッドは役立ちますが、転送速度の違いは目立ちません。

デフォルトでは、スレッド数は 10 です。帯域幅のリソースを十分に使用できるまで、この値を 5 ずつ増やすことをお勧めします。転送のダウンロード速度とアップロード速度を確認することで、グラフィカルユーザーインターフェイス (GUI) から帯域幅のリソースをモニタリングできます。

チャンクサイズ

チャンクサイズは、各スレッドによって提供されるサイズ (MB 単位) です。チャンクサイズは、アップロードされているファイルセット内で同じファイルサイズが繰り返される場合に役立ちます。

チャンクサイズは、転送する平均ファイルサイズの 5～10 倍に設定することをお勧めします。例えば、データセットの平均ファイルサイズが 50 MB の場合、チャンクサイズは 55～60 に設定します。ファイルサイズが 1 GB より大きい場合は、それほどメリットはありません。

最大アクティブ転送数

最大アクティブ転送数によって、File Transfer で同時に処理される個々のファイルの数が決まります。最大アクティブ転送数の調整は、1 GB 未満の小さなファイルを複数転送する場合に最も効果的です。ファイルサイズが小さいほど、最大アクティブ転送数の値を増やすことをお勧めします。

最大アクティブ転送数について推奨される開始点と増分を以下の表に示します。最大アクティブ転送数の列の値から開始して、希望するパフォーマンスに達するまで増分の数で増やします。

ファイルサイズ	最大アクティブ転送数	増分
1 MB 未満	100	20
1 MB～100 MB	50	10
100 MB～1 GB	25	5
1 GB 超	10	2

チェックサム

File Transfer チェックサムは、File Transfer が一度に処理する個々のチェックサムの数です。チェックサムアルゴリズムは、File Transfer がファイルの転送時にファイルの整合性を保つために使用するアルゴリズムです。

MD5、XXHash、XXHash64、XXH3 の 4 つのチェックサムアルゴリズムから選択できます。これは、必要なセキュリティと速度のレベルに基づいて設定されます。最も高速で最も標準的な、安全なチェックサム方法は MD5 です。

推奨される最大アクティブチェックサム数の値は、CPU コアの総数から 1 を引いた値です。