サードパーティーのクラウドストレージシステムとの間の転送を計画する

クラウド間のデータ転送を計画するときは、次の点を考慮してください。

• エージェントの使用： エージェントは、ベーシックモードタスクを使用する場合にのみ、他のクラウドのストレージにアクセスする必要があります。拡張モードタスクにはエージェントは必要ありません。エージェントを使用する場合は、クラウドプロバイダーの S3-compatibleオブジェクトストレージから転送するときに Amazon EC2 インスタンスとしてデプロイするか、それらの特定のストレージサービスからの転送用に Google コンピューティングエンジンまたは Azure 仮想マシンとしてデプロイできます。Google および Azure のファイルシステムから転送する場合は、エージェントを Google または Azure VM としてデプロイし、エージェントが可能な限りファイルシステムに近づくようにすることをお勧めします。さらに、DataSync はエージェントから にデータを圧縮するため AWS、エグレスコストを削減できます。DataSync は、必要な Amazon S3 API の互換性を提供する検証済みのクラウドロケーションのリストを提供します。

• もう 1 つのクラウドのオブジェクトストレージエンドポイント： サードパーティーのクラウドプロバイダーのストレージエンドポイントは通常、リージョンまたはアカウント固有です。リージョンエンドポイントは、DataSync オブジェクトストレージの場所のサーバーとして、指定されたバケット名とともに使用されます。

• ソースオブジェクトのストレージクラス： Amazon S3 と同様に、一部のクラウドプロバイダーは、アーカイブされたオブジェクトにアクセスする前に復元を必要とするアーカイブ層をサポートしています。たとえば、Azure Blob アーカイブ階層のオブジェクトは、データ転送前に標準アクセス用に取得する必要があります。Google Cloud Storage アーカイブ階層のオブジェクトにはすぐにアクセスでき、復元は必要ありませんが、直接アーカイブ階層アクセスには取得コストがかかります。データ転送を開始する前に、クロスクラウドストレージクラスのドキュメントを確認して、アクセス要件と取得料金を確認してください。Amazon S3 でアーカイブされたオブジェクトの復元の詳細については、「Amazon Simple Storage Service ユーザーガイド」の「アーカイブされたオブジェクトの復元」を参照してください。

• オブジェクトストレージアクセス： サードパーティーのクラウドプロバイダー間でデータを転送するには、認証キーの形式で他のクラウドのオブジェクトストレージにアクセスする必要があります。たとえば、Google Cloud Storage へのアクセスを提供するには、Google Cloud Storage XML API に接続し、サービスアカウントのハッシュベースのメッセージ認証コード (HMAC) キーを使用して認証する DataSync オブジェクトストレージの場所を設定します。Azure Blob ストレージでは、SAS トークンを使用して認証する専用の Azure Blob DataSync ロケーションを設定します。DataSync は AWS Secrets Manager を使用してオブジェクトストレージ認証情報を安全に保存します。詳細については、「ストレージロケーション認証情報の保護」を参照してください。

• オブジェクトタグのサポート：

  • Amazon S3 とは異なり、すべてのクラウドプロバイダーがオブジェクトタグをサポートしているわけではありません。DataSync タスクは、クラウドプロバイダーが Amazon S3 API を介してオブジェクトタグをサポートしていない場合、または指定した認証情報がタグの取得に不十分な場合、ソースの場所からのタグの読み取り中に失敗する可能性があります。DataSync には、オブジェクトタグがサポートされていない場合、またはタグを保持しない場合は、転送中にオブジェクトタグの読み取りとコピーをオフにするタスクオプションが用意されています。クラウドプロバイダーのドキュメントを確認して、オブジェクトタグがサポートされているかどうかを確認し、転送を開始する前に転送タスクのオブジェクトタグ設定を確認します。

  • Amazon S3 API を使用して、クラウドプロバイダーがget-object-taggingリクエストを返すかどうかを確認できます。詳細については、AWS CLI 「 コマンドリファレンス」のget-object-tagging」を参照してください。

    オブジェクトタグをサポートするクラウドプロバイダーは、次の例のようなレスポンスを返します。

    aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
                                        
    {
    
        "TagSet": []
    
    }

    をサポートしていないクラウドプロバイダーget-object-taggingは、次のメッセージを返します。

    aws s3api get-object-tagging --bucket BUCKET_NAME --endpoint- url=https://BUCKET_ENDPOINT --key prefix/file1
    
    An error occurred (OperationNotSupported) when calling the GetObjectTagging operation: The operation is not supported for this resource

• リクエストとデータ出力の関連コスト： クラウドオブジェクトストレージからのデータ転送には、データの読み取りとデータ転送に関連するリクエストとエグレスのコストがあります。リクエスト料金は、クラウドプロバイダーおよび該当する場合はストレージクラスによって異なります。読み取り元のストレージクラスに関連するリクエストの特定のコストについては、クラウドプロバイダーのドキュメントを参照してください。DataSync がデータ転送に対して行うリクエスト料金の概要については、DataSync と料金表を使用する際の S3 リクエストコストの評価」を参照してください。 AWS DataSync特定のクラウドプロバイダーからデータを転送すると、送信料金が発生します。データ転送コストはクラウドプロバイダーによって異なり、データが保存されているリージョンにも依存します。

• オブジェクトストレージのリクエストレート： クラウドプロバイダーには、オブジェクトストレージプラットフォームのさまざまなパフォーマンスとリクエストレートの特性があります。他のクラウドプロバイダーのリクエストレートを確認し、リクエスト制限が適用される場所を特定します。複数のエージェントで構成される高度に並列化された転送を事前に計画し、特定のパーティショニングやパフォーマンスの向上が必要になる場合があります。

  Amazon S3 には、ソリューションを構築できる文書化されたリクエストレートがあります。Amazon S3 リクエストレートはパーティションプレフィックスごとであり、複数のプレフィックスにまたがってスケーラブルです。詳細については、「Amazon Simple Storage Service ユーザーガイド」の「ベストプラクティスの設計パターン: Amazon S3 のパフォーマンスの最適化」を参照してください。