トラブルシューティングAWS DataSync 課題 - AWS DataSync

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

トラブルシューティングAWS DataSync 課題

トラブルシューティングには、次の情報を使用します。AWS DataSync 問題。

必要なの DataSync 共有をマウントするために特定の NFS または SMB バージョンを使用するには

DataSync は、ロケーションへのアクセスに使用されるネットワークファイルシステム (NFS) またはサーバーメッセージブロック (SMB) バージョンを自動的に選択します。必要な場合 DataSync 特定のバージョンを使用するには、 DataSync API、コンソール、またはAWS CLI。

実行するアクション

API で次の操作を行います。

  • NFS の場合は、CreateLocationNfs API オペレーションにオプションの Version パラメータを使用します。

  • SMB の場合は、CreateLocationSmb API オペレーションにオプションの Version パラメータを使用します。

以下のようになりますAWS CLIコマンドは、NFS 送信元の場所を作成し、原因 DataSync に、NFS バージョン 4.0 を使用するようにします。subdirectory オプションはスラッシュを使用して指定します (例: /path/to/folder)。

$ aws datasync create-location-nfs --server-hostname your-server-address --on-prem-config AgentArns=your-agent-arns --subdirectory nfs-export-path --mount-options Version=NFS4_0

以下のようになりますAWS CLIコマンドは、SMB 送信元の場所を作成し、原因を設定します。 DataSync SMB バージョン 3 を使用します。subdirectory オプションはスラッシュを使用して指定します (例: /path/to/folder)。

$ aws datasync create-location-smb --server-hostname your-server-address --on-prem-config AgentArns=your-agent-arns --subdirectory smb-export-path --mount-options Version=SMB3

「エージェントアクティベーションキーの取得に失敗しました」というエラーとはどういう意味ですか?

アクティブ化しているとき DataSync エージェントの場合、エージェントは指定されたエンドポイントに接続してアクティベーションキーをリクエストします。このエラーは、非 VPC エンドポイントのユースケースで発生することがあります。たとえば、エージェントがオンプレミスでデプロイされ、ファイアウォールの設定によって接続がブロックされます。このエラーは、エージェントが Amazon EC2 インスタンスとしてデプロイされ、セキュリティグループがロックされている場合にも発生します。

実行するアクション

エージェントが VPC エンドポイントに接続できるようにセキュリティグループが設定されており、必要なポートを許可していることを確認します。必要なポートの詳細については、「ネットワークの要件」を参照してください。

また、ファイアウォールとルーターの設定を確認し、AWS のエンドポイントとの通信が許可されていることを確認します。エンドポイント通信の詳細については、「パブリックサービスエンドポイントまたは FIPS エンドポイントを使用する場合のネットワーク要件」を参照してください。

VPC エンドポイントを使用して作成したエージェントをアクティブ化できない

VPC エンドポイントを使用して作成されたエージェントをアクティブ化するときに問題が発生する場合は、VPC エンドポイント ENI に対してサポートチャネルを開きます。Supportチャネルの詳細については、「実行中のエージェントのトラブルシューティングに役立つAWS Supportの有効化」を参照してください。

タスクのステータスが使用不可であり、マウントエラーを示す

タスクを作成するとき、選択したエージェントが設定時に指定した場所をマウントできない場合、タスクのステータスは [作成中] から [使用不可] に移行する可能性があります。

実行するアクション

まず、指定した NFS サーバーとエクスポートの両方が有効であることを確認します。そうでない場合は、タスクを削除し、正しい NFS サーバーを使用した新しいタスクを作成して、エクスポートします。詳細については、「NFS の場所の作成」を参照してください。

NFS サーバーとエクスポートが両方有効である場合、通常 2 つのうちのいずれかです。エージェントが NFS サーバーをマウントするのをファイアウォールが妨げているか、エージェントがマウントできるように NFS サーバーが設定されていません。

エージェントと NFS サーバー間にファイアウォールがないことを確認します。次に、NFS サーバーが、タスクで指定されたエクスポートのマウントをエージェントに許可するよう設定されていることを確認します。ネットワークおよびファイアウォールの要件については、ネットワークの要件を参照してください。

これらのアクションを実行してもエージェントが NFS サーバーとエクスポートをまだマウントできない場合は、Supportチャネルを開いて AWS サポートまでご連絡ください。サポートチャネルを開く方法の詳細については、「実行中のエージェントのトラブルシューティングに役立つAWS Supportの有効化」を参照してください。

タスクが入力/出力エラーメッセージで失敗しました

ストレージシステムがからのI/O要求に失敗した場合、入出力エラー・メッセージが表示される DataSync エージェント。一般的な原因としては、サーバディスクの障害、ファイアウォール設定の変更、ネットワークルータの障害などがあります。

エラーに NFS サーバーまたは Hadoop 分散ファイルシステム (HDFS) クラスターが含まれる場合は、次の手順を使用してエラーを解決します。

実行するアクション (NFS)

まず、NFS サーバーのログとメトリクスを確認して、NFS サーバーに起因する問題かどうかを判断します。そうである場合は、問題を解決します。

次に、ネットワーク設定が変更されていないことを確認します。NFS サーバーが正しく設定されているかどうか、またそうであるかどうかを確認するには DataSync にアクセスできる場合は、次の手順を実行します。

  1. エージェントと同じネットワークサブネットに別の NFS クライアントをセットアップします。

  2. そのクライアントに共有をマウントします。

  3. クライアントが共有に正常に読み書きできることを確認します。

実行するアクション (HDFS)

HDFS クラスターでエージェントがクラスターの通信を許可していることを確認します。 NameNode そして DataNode ポート。ほとんどのクラスタでは、クラスタが使用するポート番号は、次の設定ファイルで確認できます。

  1. を検索するには NameNode ポート、見てみてcore-site.xmlの下にあるファイルfs.defaultまたはfs.default.nameプロパティ (Hadoop ディストリビューションによって異なります)。

  2. を検索するには DataNode ポート、見てみてhdfs-site.xmlの下にあるファイルdfs.datanode.addressプロパティ。

タスクが起動ステータスのままになる

タスクの実行が立ち往生する可能性がある打ち上げステータスがいつ DataSync 指定されたソースエージェントにタスクを開始するよう指示することはできません。この問題は通常、エージェントの電源がオフになっているか、またはネットワーク接続が切断されたことで発生します。

実行するアクション

エージェントが接続され、ステータスが [ONLINE (オンライン)] であることを確認します。ステータスが [OFFLINE (オフライン)] の場合、エージェントは接続されていません。ネットワーク接続をテストする方法については、「へのエージェント接続のテスト DataSync エンドポイント」を参照してください。

次に、エージェントの電源がオンになっていることを確認します。そうでない場合は、電源を入れます。

エージェントの電源がオンでもタスクが引き続き、まだスタックしている場合打ち上げstatus、次にエージェント間のネットワーク接続に問題がある DataSync が最も一般的な問題です。ネットワークおよびファイアウォールの設定を確認して、同期エージェントが DataSync. に接続できることを確認します。

これらのアクションを実行しても問題が解決しない場合は、Supportチャネルを開いて AWS サポートまでご連絡ください。サポートチャネルを開く方法の詳細については、「実行中のエージェントのトラブルシューティングに役立つAWS Supportの有効化」を参照してください。

アクセス許可の拒否エラーでタスクが失敗しました。

root_squash または all_squash を有効にして NFS サーバーを設定しており、ファイルにすべての読み込みアクセスがない場合、「アクセス許可拒否」のエラーメッセージが表示されます。

実行するアクション

この問題を修正するために、no_root_squash を使用して NFS エクスポートを設定できます。または、転送するすべてのファイルのアクセス許可で、すべてのユーザーに読み取りアクセスが許可されていることを確認できます。いずれかを行うことで、エージェントはファイルを読み取ることができます。エージェントがディレクトリにアクセスするため、さらにすべての実行アクセスを有効にする必要があります。

ディレクトリをマウントできることを確認するには、まずエージェントと同じネットワーク構成がある任意のコンピュータに接続します。次に以下の CLI コマンドを実行します。

mount -t nfs -o nfsvers=<your nfs server version> <your nfs server name>:<the nfs export path you specified> <a new test folder on your computer>

これらのアクションを実行しても問題が解決しない場合は、AWS Supportまでお問い合わせください。

私のタスクは長い間準備状態になっていました

その時間 DataSync で過ごす準備ステータスは、ソースと共有先両方のファイルシステムにあるファイルの数、またこれらのファイルシステムのパフォーマンスによって異なります。タスクが開始されると、 DataSync は、再帰的なディレクトリのリストアップを実行して、ソースと共有先のファイルシステムにあるすべてのファイルとメタデータを検出します。これらのリストは、差異を識別し、コピーする対象を決定するために使用されます。このプロセスは通常数分から数時間かかります。詳細については、「の開始 DataSync 仕事」を参照してください。

実行するアクション

何もする必要はありません。待って続けて準備変更するステータス転送する。それでもステータスが変わらない場合は、AWS.suSupport

実行したタスクの検証にはどれくらいの時間がかかりますか?

その時間 DataSync で過ごす確認していますステータスは、さまざまな要因によって異なります。要因には、送信元と送信先両方のファイルシステムにあるファイルの数、すべてのファイルの合計サイズ、またこれらのファイルシステムのパフォーマンスがあります。デフォルトでは、オプション設定で [Verification mode (検証モード)] が有効になっています。検証方法 DataSync 実行では、すべてのファイルコンテンツの SHA256 チェックサムと、すべてのファイルメタデータの完全な比較が含まれます。

実行するアクション

何もする必要はありません。待って続けて確認していますステータスが完了します。それでもステータスが変わらない場合は、AWS.suSupport

ストレージコストが予想よりも大きい

ストレージコストが予想よりも高い場合は、以下の 1 つまたは複数の理由が原因である可能性があります。

  • DataSync は、Amazon S3 マルチパートアップロード機能を使用して Amazon S3 にオブジェクトをアップロードします。このアプローチは、完了が成功しなかったアップロードに対して、予測しないストレージ料金の発生につながります。

  • オブジェクトのバージョニングが S3 バケットで有効化されている可能性があります。オブジェクトのバージョニングは、Amazon S3 によって同じ名前を持つオブジェクトが複数のコピーに保存されるという結果になります。

実行するアクション

このような場合は、以下の手順を実行できます。

これらのアクションを実行しても問題が解決しない場合は、AWS Supportまでお問い合わせください。AWS Supportに問い合わせる方法については、「AWS Supportの開始方法」を参照してください。

エージェントがどうなってるかわからない 誰か助けてくれますか?

デプロイ中に問題が発生している場合 DataSync 解決できない捜査官AWSSupport はあなたを助ける。

サポートチャネルを開く方法の手順については、「実行中のエージェントのトラブルシューティングに役立つAWS Supportの有効化」を参照してください。

Amazon EC2 エージェントのローカルコンソールに接続するにはどうすればよいですか?

Amazon EC2 インスタンスのセキュリティグループが SSH(TCP ポート 22)によるアクセスを許可していることを確認し、次のコマンドでログインします。

ssh -i PRIVATE-KEY admin@AGENT-PUBLIC-DNS-NAME

  • ユーザー名は admin です。

  • -PRIVATE-KEY値は、.pemインスタンスの起動に使用した Amazon EC2 key pair プライベート証明書を含むファイル。詳細については、次を参照してください。プライベートキーからパブリックキーを取得するLinux インスタンス用 Amazon EC2 ユーザーガイド。

  • AGENT-PUBLIC-DNS-NAME 値は、エージェントのパブリック DNS 名です。このパブリック DNS 名を確認するには、Amazon EC2 コンソールでインスタンスを選択し、説明タブ。

Amazon EC2 インスタンスへの接続の詳細については、「」を参照してください。インスタンスへの接続Linux インスタンス用 Amazon EC2 ユーザーガイド。

別のバケットの S3 バケットに転送するとタスクが失敗するAWS アカウント。

と違って DataSync 同じリソース間で転送するAWS アカウントで、データを別のの S3 バケットにコピーします。AWS アカウント追加の手順が必要です。

  • もし、 DataSync S3 バケットのアクセス許可に関連するエラーでタスクが失敗する: タスクを作成するときは、にログインしていることを確認します。AWS Management Consoleデスティネーション S3 バケットのポリシーで指定したのと同じ IAM ユーザー名(またはロール)を使用する。(注:これは IAM ロールではありません DataSync S3 バケットに書き込むアクセス許可。)

  • 別のバケットにデータをコピーする場合AWS リージョンS3 エンドポイント接続エラーが発生する: の作成 DataSync 送信先の S3 バケットと同じリージョンにあるタスク。

Amazon S3 でのクロスアカウント転送の詳細については、次のチュートリアルを参照してください。