DataSync タスクに関する問題のトラブルシューティング

以下の情報は、 AWS DataSync タスクとタスク実行に関する問題のトラブルシューティングに役立ちます。これらの問題には、タスクセットアップの問題、タスク実行のスタック、データが正常に転送されないなどがあります。

エラー: Invalid SyncOption value. Option: TransferMode,PreserveDeletedFiles, Value: ALL,REMOVE.

このエラーは、DataSync タスクを作成または編集しているときに、[すべてのデータを転送する] オプションを選択し、[削除されたファイルを保持する] オプションを選択解除したときに発生します。

すべてのデータを転送すると、DataSync は送信先の場所をスキャンしないため、何を削除すればよいかわかりません。

タスクの実行が EniNotFound エラーで失敗する

このエラーは、仮想プライベートクラウド (VPC) のタスクのネットワークインターフェイスのいずれかを削除した場合に発生します。タスクがスケジュールされているかキューに入っている場合、データの転送に必要なネットワークインターフェイスがないと、タスクは失敗します。

実行するアクション

この問題に対処するには、次のオプションがあります。

• タスクを手動で再起動します。これを行うと、DataSync はタスクの実行に必要な、不足しているネットワークインターフェイスをすべて作成します。

• VPC のリソースをクリーンアップする必要がある場合は、まだ使用している DataSync タスクに関連するネットワークインターフェイスを削除しないようにしてください。

  タスクに割り当てられたネットワークインターフェイスを表示するには、次のいずれかを実行します。

  • DescribeTask オペレーションを使用します。ネットワークインターフェイスは、SourceNetworkInterfaceArns および DestinationNetworkInterfaceArns レスポンス要素で表示できます。

  • Amazon EC2 コンソールで、タスク ID (task-f012345678abcdef0 など) を検索してネットワークインターフェイスを見つけます。

• タスクを自動実行しないことを検討してください。これには、タスクのキューイングまたはスケジューリング (DataSync またはカスタムオートメーションによる) の無効化が含まれる場合があります。

タスク実行が失敗し、メモリを割り当てることができないエラーが表示される

DataSync タスクが Cannot allocate memory というエラーで失敗した場合、いくつかの原因が考えられます。

実行するアクション

問題が解消されるまで、次のことを試してください。

• 転送にエージェントが関連している場合は、そのエージェントが仮想マシン (VM) または Amazon EC2 インスタンスの要件を満たしていることを確認します。

• フィルターを使用して転送を複数のタスクに分割します。1 つの DataSync タスクで処理できる数よりも多くのファイルまたはオブジェクトを転送しようとしている可能性があります。

• それでも問題が解決しない場合は、サポートにお問い合わせください。

Input/Output error for Amazon FSx for NetApp ONTAP ファイルシステムでタスクが失敗する

Amazon FSx for NetApp ONTAP ファイルシステムでデータを転送するInput/Output errorときにDataSync タスクが で失敗した場合、次のいずれかの問題が原因である可能性があります。

• FSx for ONTAP ボリュームが最大ファイル容量に達しました。これは、ボリュームで使用可能な inode またはファイルポインタの数を使い果たした場合に発生します。

• FSx for ONTAP ボリュームの使用可能なストレージ容量が不足しています。

• DataSync タスクの実行により、読み取り書き込みの同時実行が多すぎて、ファイルシステムのスループットキャパシティーの割合が非常に高くなりました。

実行するアクション

この問題を解決するには、FSx for ONTAP ボリュームのステータスを確認して根本的な原因を特定します。

ボリュームが最大ファイル容量に達したかどうかを判断し、問題を解決するには：

• ボリュームの最大ファイル容量を表示する – 詳細については、「Amazon FSx for NetApp ONTAP ユーザーガイド」の「ボリュームのファイル容量のモニタリング」を参照してください。

• inode の数を増やすか、ストレージ容量を増やすことで、ボリュームのファイル容量を増やします。詳細については、「Amazon FSx for NetApp ONTAP ユーザーガイド」の「ボリュームの最大ファイル容量を増やす」を参照してください。

ボリュームの使用可能なストレージ容量が不足しているかどうかを判断し、問題を解決するには：

• ボリュームの使用可能なストレージ容量を決定する – 詳細については、FSx for ONTAP ユーザーガイド」の「ボリュームストレージ容量のモニタリング」を参照してください。

  ボリュームに使用可能なストレージ容量がほとんどないか、まったくない場合は、ボリュームのストレージ容量を増やす必要があります。詳細については、「FSx for ONTAP ユーザーガイド」の「ボリュームのストレージ容量を増やす」を参照してください。 FSx

• 使用可能なストレージ容量が不足しているボリュームが再び発生しないようにするには、ボリュームの自動サイズ設定機能を使用して、必要に応じてボリュームのストレージ容量を自動的に増やします。詳細については、FSx for ONTAP ユーザーガイド」の「Using volume autosizing」を参照してください。

タスク実行がファイルシステムの使用可能なスループット容量を消費しすぎているかどうかを判断するには：

• 使用可能な CloudWatch メトリクスを使用して、ファイルシステムのパフォーマンスをモニタリングします。詳細については、FSx for ONTAP ユーザーガイド」の「ファイルシステムメトリクスのモニタリング」を参照してください。

• Amazon FSx コンソールでファイルサーバーのパフォーマンス警告がないかファイルシステムをモニタリングします。詳細については、「FSx for ONTAP ユーザーガイド」の「パフォーマンスの警告と推奨事項」を参照してください。 FSx

この問題を解決するには、タスクがファイルシステムの使用可能なスループット容量の一部を使用しないようにする必要があります。以下の操作を実行します。

• タスク実行の帯域幅制限を、FSx for ONTAP ファイルシステムのプロビジョニングされたスループットキャパシティよりも小さい量に設定します。詳細については、「AWS DataSync タスクへの帯域幅制限の設定」を参照してください。

• または、ファイルシステムのプロビジョニングされたスループット容量を増やすこともできます。詳細については、「FSx for ONTAP ユーザーガイド」の「スループットキャパシティの更新」を参照してください。 FSx

FSx for ONTAP ファイルシステムの Connection Reset by peerまたは Host is down メッセージでタスクが失敗する

FSx for ONTAP ファイルシステムでデータを転送するときに DataSync タスクが Connection Reset by peerまたは Host is down メッセージで失敗した場合、次のいずれかの問題が原因である可能性があります。

• ファイルシステムの SMB サーバーは、タスクの実行中に再起動または切断されました。

• ファイルシステムは、タスクの実行中にプライマリサーバーからセカンダリサーバー (および IP アドレス) にフェイルオーバーしました。DataSync は、タスク実行中のセカンダリ IP アドレスへのフェイルオーバーをサポートしていません。

  FSx for ONTAP ファイルシステムは、次のイベント中にセカンダリサーバーと IP アドレスにフェイルオーバーします。

  • プライマリサーバーが使用できなくなります。

  • プライマリサーバーのアベイラビリティーゾーンが使用できなくなります (マルチ AZ ファイルシステムの場合）。

  • ユーザーが開始したスループット容量の変更中。

  • ファイルシステムの定期的なメンテナンスウィンドウ中。

  詳細については、FSx for ONTAP ユーザーガイド」の「FSx for ONTAP フェイルオーバープロセス」を参照してください。 FSx

実行するアクション

タスクを再起動します。

タスクの実行には起動ステータスがありますが、何も発生していないようです

DataSync タスクは [起動中] のステータスで停止することがあります。これは通常、エージェントの電源がオフになっているか、ネットワーク接続が切断されているためです。

実行するアクション

エージェントのステータスがオンラインであることを確認します。エージェントが オフライン の場合は、エージェントの電源が入っていることを確認します。

エージェントの電源がオンでもタスクが引き続き 起動中のステータスのままである場合は、エージェントと AWSの間でネットワーク接続の問題が発生している可能性が高いです。ネットワーク接続をテストする方法については、「エージェントと DataSync サービスとの接続の検証」を参照してください。

それでもこの問題が解決しない場合は、「エージェントがどのような状況なのかがわかりません。サポートを受けることはできますか?」を参照してください。

タスクの実行が準備ステータスでスタックしているように見える

DataSync 転送タスクが [準備中] のステータスである時間は、転送元と転送先のデータ量、およびそれらのストレージシステムのパフォーマンスによって異なります。

タスクを開始すると、DataSync は再帰的なディレクトリのリストアップを実行して、送信元と送信先あるすべてのファイル、オブジェクト、ディレクトリ、メタデータを検出します。DataSync はこれらのリストを使用してストレージシステム間の違いを識別し、何をコピーするかを決定します。このプロセスには数分または数時間かかることがあります。

実行するアクション

必要な操作はありません。タスクのステータスが [転送中] に変わるまで待機してください。それでもステータスが変わらない場合は、AWS サポート センターにお問い合わせください。

転送が終了する前にタスク実行が停止する

DataSync タスクの実行が早期に停止する場合は、タスクの設定に、 AWS アカウントで無効になっている AWS リージョン が含まれている可能性があります。

実行するアクション

タスクを再度実行するには、次の手順を実行します。

1. タスクのリージョンのオプトインステータスをチェックし、有効になっていることを確認します。

2. 再度タスクを開始します。

Google Cloud Storage バケットからの転送時にタスクの実行が失敗する

DataSync は Amazon S3 API を使用して Google Cloud Storage と通信するため、オブジェクトタグをコピーしようとすると DataSync 転送が失敗する可能性がある制限があります。問題に関連する次のメッセージが CloudWatch ログに表示されます。

[WARN] Failed to read metadata for file /your-bucket/your-object: S3 Get Object Tagging Failed: proceeding without tagging

これを防ぐには、転送タスクの設定時に [オブジェクトのタグをコピーする] オプションの選択を解除します。

タスク実行のタイムスタンプに不一致がある

DataSync コンソールまたは Amazon CloudWatch logsを見ると、DataSync タスク実行の開始時刻と終了時刻が、他のモニタリングツールに表示されるタイムスタンプと一致しないことがあります。これは、コンソールと CloudWatch ログでは、タスク実行が起動状態またはキューイング状態で費やされる時間が考慮されますが、他のツールでは考慮されないためです。

DataSync コンソールまたは CloudWatch ログと以下の場所の間で実行タイムスタンプを比較すると、この不一致に気付くことがあります。

• 転送に関連するファイルシステムのログ

• DataSync が書き込みを行った Amazon S3 オブジェクトの最終更新日

• DataSync エージェントからのネットワークトラフィック

• Amazon EventBridge イベント

タスクの実行がNoMemエラーで失敗する

転送しようとしているデータセットは、DataSync には大きすぎる可能性があります。このエラーが表示された場合は、AWS サポート センターにお問い合わせください。

オブジェクトが Azure Blob Storage への転送に失敗し、user metadata key エラーが表示された

S3 バケットから Azure Blob Storage に転送を行うと、次のエラーが表示される場合があります。

[ERROR] Failed to transfer file /user-metadata/file1: Azure Blob user metadata key must be a CSharp identifier

これは、/user-metadata/file1 に、有効な C# 識別子を使用していないユーザーメタデータが含まれていることを示します。詳細については、Microsoft のドキュメントを参照してください。

コピー先の場所に /.aws-datasyncフォルダがある

DataSync は、データ転送を容易にするために、送信先のロケーションに /.aws-datasync というフォルダを作成します。

DataSync は通常、転送後にこのフォルダを削除しますが、削除されていない可能性もあります。

実行するアクション

実行中のタスク実行がそのロケーションにコピーされていない限り、このフォルダをいつでも削除することができます。

SMB を使用してロケーション間でシンボリックリンクを転送できない

タスクの実行が完了すると、次のエラーが表示されます。

Transfer and verification completed. Selected files transferred except for files skipped due to errors. If no skipped files are listed in Cloud Watch Logs, please contact AWS Support for further assistance.

SMB ストレージシステム (SMB ファイルサーバーや Amazon FSx for Windows File Server ファイルシステムなど) 間で転送する場合、CloudWatch ログに次の警告とエラーが表示されることがあります。

[WARN] Failed to read metadata for file /appraiser/symlink: No data available
[ERROR] Failed to read metadata for directory /appraiser/symlink: No data available

実行するアクション

DataSync は、これらのロケーションタイプ間で転送する場合、シンボリックリンク (またはハードリンク) の転送をサポートしていません。詳細については、「AWS DataSyncによってコピーされたリンクとディレクトリ」を参照してください。

タスクレポートエラー

タスクレポートで DataSync 転送を監視しようとすると、次のいずれかのエラーが発生する可能性があります。

エラーメッセージ	回避方法
ファイルパスが最大長の 4,096 文字を超えています。タスクレポートには書き込みができません	N/A (DataSync は 4,096 バイトを超えるパスが含まれるファイルを転送できません) 詳細については、「ストレージシステム、ファイル、オブジェクトの制限事項」を参照してください。
バケットまたは IAMロールが無効であるため、タスクレポートを S3 にアップロードできませんでした	DataSync IAM ロールに、S3 バケットにタスクレポートをアップロードするための適切な許可があることを確認します。
タスクレポートの生成前に実行エラーが発生しました	CloudWatch のログをチェックして、タスク実行が失敗した理由を特定します。