AWS Database Migration Service での移行タスクのトラブルシューティング - AWS Database Migration Service

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Database Migration Service での移行タスクのトラブルシューティング

以下では、AWS Database Migration Service (AWS DMS) を使用した問題のトラブルシューティングについてのトピックを見つけることができます。これらのトピックは、AWS DMS と選択したエンドポイントデータベースの両方を使用して一般的な問題を解決するのに役立ちます。

AWS Support のケースをオープンした場合、サポートエンジニアは、エンドポイントデータベース設定の 1 つで潜在的な問題を特定することがあります。エンジニアは、サポートスクリプトを実行してデータベースに関する診断情報を返すように依頼することもできます。このタイプのサポートスクリプトからの診断情報のダウンロード、実行、およびアップロードの詳細については、AWS DMS での診断サポートスクリプトの操作

移行タスクの実行が遅くなる

移行タスクの実行が遅くなる、または後続のタスクの実行が初期タスクより遅くなる原因として、いくつかの問題が考えられます。

移行タスクの実行が遅くなる最も一般的な原因は、AWS DMS のレプリケーションのインスタンスに割り当てられているリソースが不十分であることです。インスタンスで実行中のタスクのために十分なリソースがあることを確認するには、レプリケーションインスタンスの CPU、メモリ、スワップファイル、および IOPS の使用率をチェックします。たとえば、エンドポイントとして Amazon Redshift の複数のタスクは I/O 集約型です。レプリケーションのインスタンスに対して IOPS を増やすか、より効率的に移行するためにレプリケーションの複数のインスタンス間で作業を分割できます。

レプリケーションのインスタンスサイズの決定に関する詳細については、「」を参照してください。レプリケーションインスタンス用に最適なサイズを選択する

以下を実行すると、初期の移行のロードがスピードアップします。

  • ターゲットが Amazon RDS DB インスタンスの場合、Multi-AZ がターゲット DB インスタンスに対して有効にされていないことを確認します。

  • ロード中にターゲットデータベースで自動バックアップまたはログ作成をオフにし、移行が完了したらこれらの機能をオンに戻します。

  • ターゲットでこの機能が使用可能な場合は、プロビジョンド IOPS を使用します。

  • 移行データに LOB が含まれる場合は、タスクが LOB 移行のために最適化されていることを確認します。LOB 用の最適化の詳細については、」ターゲットメタデータのタスク設定

タスクのステータスバーが動かない

タスクのステータスバーで、タスクの進捗状況を予測できます。この予測の正確さはソースデータベースのテーブル統計の正確さによって異なります。テーブル統計が正確であればあるほど、正確に予測できます。

予測された列統計がないテーブルが 1 つだけのタスクでは、AWS DMS はどのような種類であっても完了率の予測を提供できません。この場合、タスクのステータスと、ロードされた列の表示を使用して、タスクが実行されて進行していることを確認します。

タスクは完了しましたが、何も移行されませんでした

タスクの完了後に何も移行されなかった場合は、次の操作を行います。

  • エンドポイントを作成したユーザーに、移行するテーブルへの読み取りアクセス権があるかどうかを確認します。

  • 移行するオブジェクトがテーブルであるかどうかを確認します。ビューの場合は、テーブルマッピングを更新し、オブジェクトロケータを「view」または「all」として指定します。詳細については、「 コンソールからのテーブル選択ルールおよび変換ルールを指定する」を参照してください。

外部キーとセカンダリインデックスが見つからない

AWS DMS は、テーブル、プライマリキー、場合によっては一意のインデックスを作成しますが、効率的にソースからデータを移行するために必要ではない他のオブジェクトは作成されません。たとえば、セカンダリインデックス、非プライマリキーの制約、データデフォルトは作成されません。

データベースからセカンダリオブジェクトを移行するには、ソースデータベースと同じデータベースエンジンに移行中の場合、データベースのネイティブツールを使用します。ソースデータベースで使用したものとは異なるデータベースエンジンに移行中の場合、AWS Schema Conversion Tool (AWS SCT) は、セカンダリオブジェクトを移行するためにソースデータベースで使用されるデータベースエンジンとは異なるデータベースエンジンに移行する場合に使用します。

Amazon RDS への接続で問題が発生する

ソースまたはターゲットとして設定した Amazon RDS DB インスタンスに接続できない理由は複数考えられます。以下をチェックするいくつかの項目:

  • ユーザー名とパスワードの組み合わせが正しいことを確認します。

  • インスタンス用に Amazon RDS コンソールに表示されるエンドポイント値が AWS DMS エンドポイントを作成するのに使用したエンドポイント識別子と同じであることを確認します。

  • インスタンス用に Amazon RDS コンソールで表示されるポート値が AWS DMS エンドポイントに割り当てられたポートと同じであることを確認します。

  • Amazon RDS DB インスタンスに割り当てられたセキュリティグループが、AWS DMS レプリケーションインスタンスからの接続を許可することを確認します。

  • AWS DMS レプリケーションインスタンスと Amazon RDS DB インスタンスが同じ仮想プライベートクラウド (VPC) にない場合は、DB インスタンスがパブリックにアクセス可能であることを確認します。

エラーメッセージ: スレッドの接続文字列が正しくない: ねじ値 0 が正しくありません

エンドポイントへの接続をテストしているとき、このエラーが頻繁に発生します。このエラーは、接続文字列にエラーがあることを示します。たとえば、ホスト IP アドレスの後ろのスペースがあります。もう 1 つは、接続文字列にコピーされた不正な文字です。

ネットワーキングの問題が発生

最も一般的なネットワーキング問題には、AWS DMS のレプリケーションのインスタンスで使用される VPC のセキュリティグループが含まれます。デフォルトでは、このセキュリティグループではすべてのポートの 0.0.0.0/0 からの送信を許可するルールがあります。多くの場合、このセキュリティグループを変更するか、独自のセキュリティグループを使用します。その場合、少なくとも、対応するデータベースポートでソースおよびターゲットエンドポイントへの送信を必ず送信してください。

その他の構成関連の問題には、次のようなものがあります。

  • レプリケーションインスタンスと、同じ VPC 内のソースとターゲットの両方のエンドポイントエンドポイントで使用されるセキュリティグループは、データベースポートでレプリケーションインスタンスからの進入を許可する必要があります。レプリケーションインスタンスによって使用されるセキュリティグループにエンドポイントへの送信があることを確認します。または、エンドポイントで使用されるセキュリティグループで、レプリケーションインスタンスのプライベート IP アドレスにアクセスを許可するルールを作成できます。

  • ソースエンドポイントは、レプリケーションインスタンスによって使用される VPC 外にある(インターネットゲートウェイを使用)— VPC セキュリティグループには、VPC に向かわないトラフィックをインターネットゲートウェイに送信するルーティングルールが含まれている必要があります。この設定では、エンドポイントへの接続がレプリケーションインスタンス上のパブリック IP アドレスから行われているように見えます。

  • ソースエンドポイントは、レプリケーションインスタンスによって使用される VPC 外にある(NAT ゲートウェイを使用)— 単一の Elastic network interface にバインドされた単一の Elastic IP アドレスを使用して、ネットワークアドレス変換 (NAT) ゲートウェイを設定できます。この NAT ゲートウェイは NAT 識別子 (nat-#####) を受け取ります。

    インターネットゲートウェイではなくその NAT ゲートウェイへのデフォルトルートが VPC に含まれている場合があります。このような場合、レプリケーションインスタンスはインターネットゲートウェイのパブリック IP アドレスを使用してデータベースエンドポイントに接続しているように見えます。ここでは、VPC 外のデータベースエンドポイントへの進入は、レプリケーションインスタンスのパブリック IP アドレスではなく NAT アドレスからの進入を許可する必要があります。

独自のオンプレミスネームサーバーの使用方法については、」 独自のオンプレミスネームサーバーの使用

全ロード後、CDC が停止する

複数の AWS DMS 設定が互いに競合すると、全ロード移行後に、レプリケーション変更が遅くなるか停止することがあります。

たとえば、ターゲットテーブル作成モードパラメータは、何もしないまたは切り詰め。この場合、プライマリキーと一意なインデックスの作成を含め、ターゲットテーブル上でのセットアップを行わないように AWS DMS は指示されています。ターゲットテーブルにプライマリキーまたは固有なキーを作成していない場合、AWS DMS は更新ごとにテーブル全体のスキャンを行います。このアプローチは、パフォーマンスに大きな影響を与える可能性があります。

タスクを再開時にプライマリキー違反エラーが発生する

このエラーは、以前の移行タスクからのターゲットデータベースにデータが残っている場合に発生することがあります。そのファイルにターゲットテーブル作成モードオプションが何もしないでは、AWS DMS は以前のタスクから挿入されたデータの削除を含め、ターゲットテーブルで一切の準備を行いません。

タスクを再開してこれらのエラーを回避するには、タスクの以前の実行からターゲットテーブルに挿入された行を削除します。

スキーマの初回ロードが失敗する

場合によっては、スキーマの初期ロードが失敗し、Operation:getSchemaListDetails:errType=, status=0, errMessage=, errDetails=

このような場合、AWS DMS がソースエンドポイントに接続するのに使用するユーザーアカウントには必要なアクセス許可がありません。

タスクが不明なエラーで失敗する

不明な種類のエラーの原因はさまざまです。ただし、AWS DMS のレプリケーションのインスタンスに割り当てられたリソースが不十分なことに関連した問題である場合がよくあります。

レプリケーションインスタンスに移行を実行するのに十分なリソースがあることを確認するには、インスタンスの CPU、メモリ、スワップファイル、および IOPS の使用率をチェックします。モニタリングの詳細については、「AWS Database Migration Service」を参照してください。

タスクを再開するとテーブルが最初からロードされる

テーブルの初回ロードが完了しなかった場合、AWS DMS はテーブルのロードを最初から再開します。タスクが再開されると、AWS DMS は初回ロードが完了していない場合、最初からテーブルをリロードします。

タスクあたりのテーブル数が問題が発生

レプリケーションのタスクあたりのテーブル数に制限は設定されていません。ただし、経験則として、1 つのタスクのテーブル数を 60,000 個未満に制限することをお勧めします。1 つのタスクが 60,000 個超のテーブルを使用すると、多くの場合リソース使用がボトルネックになることがあります。

LOB 列に主キーが作成されると、タスクが失敗する

FULL LOB モードまたは LIMITED LOB モードでは、AWS DMS は LOB データ型であるプライマリキーのレプリケーションをサポートしません。

DMS は、最初に LOB 列が NULL である行を移行し、後で LOB 列を更新します。したがって、LOB 列にプライマリキーが作成されると、プライマリキーを NULL にできないため、最初の挿入は失敗します。回避方法として、別の列をプライマリキーとして追加し、LOB 列からプライマリキーを削除します。

プライマリキーがないターゲットテーブルで重複レコードが発生する

全ロードと CDC タスクを実行すると、ターゲットテーブルに主キーまたは固有なインデックスがない重複レコードが作成される可能性があります。全ロードタスクと CDC タスク中にターゲットテーブルでレコードが重複しないようにするには、ターゲットテーブルに主キーまたは固有なインデックスがあることを確認してください。

送信元エンドポイントが予約済み IP 範囲に収まる

AWS DMS ソースデータベースが 192.168.0.0/24 の予約済み IP 範囲内の IP アドレスを使用している場合、ソースエンドポイント接続テストは失敗します。次のステップは、考えられる回避方法を提供します。

  1. 192.168.0.0/24 のソースデータベースと通信できる予約済み範囲外の Amazon EC2 インスタンスを 1 つ見つけます。

  2. socat プロキシをインストールして実行します。例を以下に示します。

    yum install socat socat -d -d -lmlocal2 tcp4-listen:database port,bind=0.0.0.0,reuseaddr,fork tcp4:source_database_ip_address:database_port &

EC2 インスタンスの IP アドレスと、上記の AWS DMS エンドポイント用のデータベースポートを使用します。エンドポイントに、AWS DMS がデータベースポートで通信できるようにするセキュリティグループがあることを確認します。

Oracle に関する問題のトラブルシューティング

以下では、Oracle データベースで AWS DMS を使用することに固有の問題のトラブルシューティングについて説明します。

ビューからデータを取得する

ビューからデータを 1 回プルできます。これを継続的なレプリケーションに使用することはできません。ビューからデータを抽出可能にするため、以下のコードを追加の接続属性()アドバンストOracle ソースエンドポイントページの「」セクションを表示します。ビューからデータを抽出すると、そのビューはターゲットスキーマのテーブルとして表示されます。

exposeViews=true

Oracle 12c から LOB を移行する

Oracle データベースへの変更をキャプチャするために AWS DMS が使用できる方法は、Binary Reader と Oracle LogMiner の 2 つです。AWS DMS は、デフォルトでは Oracle LogMiner を使用して変更をキャプチャします。ただし、Oracle 12c では、Oracle LogMiner により LOB 列がサポートされません。Oracle 12c での LOB 列の変更をキャプチャするには、Binary Reader を使用します。

Oracle LogMiner と Binary Reader の切り替え

AWS DMS では、ソース Oracle データベースへの変更をキャプチャするために、Binary Reader と Oracle LogMiner の 2 つの方法を使用できます。Oracle LogMiner がデフォルトです。Binary Reader を使用して変更をキャプチャするように切り替えるには、次を実行します。

Binary Reader を使用して変更をキャプチャするには

  1. AWS マネジメントコンソールにサインインし、AWS DMS コンソール () を開きます。https://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. Binary Reader を使用したい Oracle ソースエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト次に、次のコードを追加します。追加の接続属性

    useLogminerReader=N
  6. SQL-Plus などの Oracle 開発者用ツールを使用して、Oracle エンドポイントに接続するのに使用される AWS DMS ユーザーアカウントに、以下の追加の特権を付与します。

    SELECT ON V_$TRANSPORTABLE_PLATFORM

エラー: Oracle CDC は停止しました。122301 Oracle CDC の最大再試行カウンタを超えました。

このエラーは、AWS DMS が変更をキャプチャするために使用できるようになる前に、必要な Oracle アーカイブログがサーバーから削除されると発生します。データベースサーバーのログリテンションポリシーを増やします。Amazon RDS データベースでは、ログの保持を延長するために、以下の手順を実行します。たとえば、以下のコードを使うと Amazon RDS DB インスタンスでのログの保持が 24 時間に延長されます。

exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',24);

Oracle ソースエンドポイントにサプリメンタルロギングを自動的に追加する

AWS DMS のデフォルトでは、サプリメンタルロギングはオフになっています。Oracle ソースエンドポイントのサプリメンタルロギングを自動的にオンにするには、以下の手順を実行します。

Oracle ソースエンドポイントにサプリメンタルロギングを追加するには

  1. AWS マネジメントコンソールにサインインし、AWS DMS コンソール () を開きます。https://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. サプリメンタルロギングを追加する Oracle ソースエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト次に、次のコードを [] に追加します。追加の接続属性[テキストボックス]:

    addSupplementalLogging=Y
  6. [Modify] を選択します。

LOB の変更がキャプチャされない

現在、LOB の変更をキャプチャするために AWS DMS のテーブルに、プライマリキーがあることが必要です。LOB を含むテーブルにプライマリキーがない場合、LOB の変更をキャプチャするにはいくつかのアクションを行うことができます。

  • テーブルにプライマリキーを追加します。この手順は、ID 列を追加し、トリガーを使用してシーケンスを入力するだけです。

  • プライマリキーとしてシステム生成 ID を含むテーブルのマテリアライズドビューを作成し、テーブルではなくマテリアライズドビューを移行します。

  • ロジカルスタンバイを作成し、テーブルにプライマリキーを追加して、ロジカルスタンバイから移行します。

エラー: ORA-12899: 列の値が大きすぎますcolumn-name

エラー「ORA-12899: 列の値が大きすぎるcolumn-name「は、多くの場合、いくつかの問題によって引き起こされます。

これらの問題の 1 つで、ソースデータベースとターゲットデータベースで使用される文字セットに不一致があります。

これらの問題の別の問題では、2 つのデータベース間で各国語サポート (NLS) の設定が異なります。このエラーの一般的な原因は、ソースデータベースの NLS_LENGTH_SEMANTICS パラメータが CHAR に設定されており、ターゲットデータベースの NLS_LENGTH_SEMANTICS パラメータが BYTE に設定されていることです。

NUMBER のデータ型が誤って解釈される

Oracle NUMBER データ型は、NUMBER の精度とスケールに応じてさまざまな AWS DMS データ型に変換されます。このような変換は「Oracle のソースデータ型」に記載されています。NUMBER 型の変換方法によっては、Oracle のソースエンドポイントの追加の接続属性の使用に影響を及ぼす場合があります。これらの追加の接続属性については、「AWS DMS のソースとして Oracle を使用する場合の追加の接続属性」に記載されています。

フルロード中にレコードが欠落しています

フルロードを実行すると、AWS DMS はデータベースレベルで開いているトランザクションを検索し、トランザクションがコミットされるまで待機します。たとえば、タスク設定TransactionConsistencyTimeout=600に設定すると、開いているトランザクションがテーブルマッピングに含まれていないテーブルにある場合でも、AWS DMS は 10 分間待機します。しかし、開いているトランザクションがテーブルマッピングに含まれるテーブルにあり、トランザクションが時間内にコミットされていない場合、ターゲットテーブルにレコードが欠落します。

あなたは、変更することができますTransactionConsistencyTimeoutタスク設定を有効にし、開いているトランザクションがコミットに時間がかかることがわかっている場合は、待機時間を増やします。

また、デフォルト値に注意してくださいFailOnTransactionConsistencyBreachedタスク設定はfalse。つまり、AWS DMS は他のトランザクションを引き続き適用しますが、未処理のトランザクションは失われます。開いているトランザクションが時間内に閉じられていないときにタスクが失敗する場合は、FailOnTransactionConsistencyBreachedtrue

MySQL に関する問題のトラブルシューティング

以下では、MySQL データベースでの AWS DMS の使用に固有の問題のトラブルシューティングについて説明します。

バイナリログ作成が無効化されるため、Amazon RDS DB インスタンスのエンドポイントの CDC タスクが失敗する

自動バックアップが無効化されているためにこの問題が Amazon RDS DB インスタンスに発生します。バックアップ保持期間を 0 以外の値に設定することで自動バックアップを有効にすることができます。

ターゲット MySQL のインスタンスへの接続は、タスクの実行中に接続が切断されます

MySQL ターゲットから切断されている LOB を持つタスクがある場合、タスクログに次のようなエラーが表示されることがあります。

[TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: 08S01 NativeError: 2013 Message: [MySQL][ODBC 5.3(w) Driver][mysqld-5.7.16-log]Lost connection to MySQL server during query [122502] ODBC general error.
[TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 2006 Message: [MySQL][ODBC 5.3(w) Driver]MySQL server has gone away [122502] ODBC general error.

この場合、タスクの設定の一部を調整する必要があります。

タスクが MySQL ターゲットから切断される問題を解決するには、以下を実行します。

  • 最大の LOB を保持するために、十分に大きい値に設定された データベース変数 max_allowed_packetがあることを確認します。

  • 以下の変数が大きいタイムアウト値に設定されていることを確認します。これらの変数ごとに、少なくとも 5 分の値を使用することをお勧めします。

    • net_read_timeout

    • net_write_timeout

    • wait_timeout

    • interactive_timeout

MySQL 互換エンドポイントへの自動コミットを追加する

MySQL 互換ターゲットエンドポイントに自動コミットを追加するには

  1. AWS マネジメントコンソールにサインインし、AWS DMS コンソール () を開きます。https://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. 自動コミットを追加する MySQL 互換ターゲットエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト次に、次のコードを [] に追加します。追加の接続属性[テキストボックス]:

    Initstmt= SET AUTOCOMMIT=1
  6. [Modify] を選択します。

MySQL 互換ターゲットエンドポイントで外部キーを無効化する

MySQL の外部キーのチェックを無効化するには、以下を追加の接続属性()アドバンストセクション、Amazon Aurora MySQL 互換エディション、または MariaDB エンドポイント。

MySQL 互換ターゲットエンドポイントで外部キーを無効化するには

  1. AWS マネジメントコンソールにサインインし、AWS DMS コンソール () を開きます。https://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. 外部キーを無効にする MySQL、Aurora MySQL、または MariaDB ターゲットエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト次に、次のコードを [] に追加します。追加の接続属性[テキストボックス]:

    Initstmt=SET FOREIGN_KEY_CHECKS=0
  6. [Modify] を選択します。

文字が疑問符に置き換えられる

この問題を引き起こす最も一般的な状況は、AWS DMS がサポートしていない文字セットでソースエンドポイントの文字がエンコードされている場合です。たとえば、バージョン 3.1.1 より以前の AWS DMS エンジンでは UTF8MB4 文字セットがサポートされていません。

[Bad event] ログのエントリ

移行ログの [Bad event] のエントリは通常、ソースデータベースエンドポイントで、サポートされていないデータ定義言語 (DDL) オペレーションが試行されたことを指します。サポートされていない DDL オペレーションは、レプリケーションインスタンスがスキップできないイベントを発生させ、bad event が記録されます。

この問題を修正するには、タスクを最初から再起動します。この操作を行うと、テーブルがリロードされ、サポートされていない DDL オペレーションが発行された後の時点で変更のキャプチャが開始されます。

MySQL 5.5 の変更データキャプチャ

Amazon RDS MySQL 互換データベースの AWS DMS 変更データキャプチャ (CDC) では、MySQL バージョン 5.5 以前でサポートされていない、全イメージ行ベースのバイナリログ作成が必要です。AWS DMS CDC を使用するには、Amazon RDS DB インスタンスを MySQL バージョン 5.6 にアップグレードする必要があります。

Amazon RDS DB インスタンスのバイナリログ保持を延長する

AWS DMS では、変更データキャプチャのバイナリログファイルを保持する必要があります。Amazon RDS DB インスタンスでログの保持を延長するには、以下の手順を使用します。以下の例では、バイナリログの保持を 24 時間に延長します。

call mysql.rds_set_configuration('binlog retention hours', 24);

ログメッセージ: ソースデータベースからの一部の変更は、ターゲットデータベースに適用されても効果がありません。

AWS DMS が MySQL データベースの列の値を既存の値に更新すると、zero rows affectedが MySQL から返されます。この動作は、Oracle や SQL Server などの他のデータベースエンジンとは異なります。置換値が現在の値と同じであっても、これらのエンジンは 1 行を更新します。

エラー: 識別子が長すぎます

以下のエラーは識別子が長すぎるときに発生します。

TARGET_LOAD E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 1059 Message: MySQLhttp://ODBC 5.3(w) Driverhttp://mysqld-5.6.10Identifier name 'name' is too long 122502 ODBC general error. (ar_odbc_stmt.c:4054)

場合によっては、ターゲットデータベースにテーブルとプライマリキーを作成するように AWS DMS を設定します。この場合、現在、DMS はソースデータベースで使用されたのと同じ名前を使用していません。代わりに、DMS はテーブル名に基づいてプライマリキー名を作成します。テーブル名が長いと、作成される自動生成された識別子が、MySQL で許可されている制限よりも長くなる場合があります。

この問題を解決するには、現在のアプローチは、まずターゲットデータベースにテーブルとプライマリキーをあらかじめ作成することです。次に、タスク設定ターゲットテーブル作成モードがに設定された何もしないまたは切り詰めをクリックして、ターゲットテーブルを設定します。

エラー: サポートされていない文字セットによりフィールドデータ変換が失敗しました

以下のエラーは、サポートされていない文字セットによりフィールドデータ変換が失敗した場合に発生します。

"[SOURCE_CAPTURE ]E: Column 'column-name' uses an unsupported character set [120112] A field data conversion failed. (mysql_endpoint_capture.c:2154)

3.1.1 より以前の AWS DMS エンジンバージョンでは、テーブルまたはデータベースが UTF8MB4 エンコーディングを使用しているため、このエラーがよく発生しました。これらのエンジンバージョンでは UTF8MB4 文字セットがサポートされていません。さらに、接続に関係したデータベースのパラメータを確認します。以下のコマンドを使用して、これらのパラメータを設定できます。

SHOW VARIABLES LIKE '%char%';

エラー: UTF8 へのコードページ 1252 [120112] で、フィールドデータ変換が失敗しました

以下のエラーは、ソース MySQL データベースにコードページ 1252 以外の文字コードが含まれている場合に発生することがあります。

[SOURCE_CAPTURE ]E: Error converting column 'column_xyz' in table 'table_xyz with codepage 1252 to UTF8 [120112] A field data conversion failed. (mysql_endpoint_capture.c:2248)

回避策として、ソースの MySQL エンドポイントで追加の接続属性 (CharsetMapping) を使用して、文字セットのマッピングを指定します。この接続属性をさらに追加する場合は、AWS DMS 移行タスクを最初からやり直す必要があります。

たとえば、MySQL ソースエンドポイントでは、ソース文字セットがutf8またはlatin1。65001 は UTF8 コードページの識別子です。

CharsetMapping=utf8,65001 CharsetMapping=latin1,65001

PostgreSQL に関する問題のトラブルシューティング

以下では、PostgreSQL データベースで AWS DMS を使用することに固有の問題のトラブルシューティングについて説明します。

切り捨てられる JSON データ型

AWS DMS は、PostgreSQL の JSON データ型を LOB データ型の列として処理します。つまり、制限付き LOB モードを使用するときの LOB のサイズ制限が、JSON データに適用されます。

たとえば、制限付き LOB モードが 4,096 KB に設定されているとします。この場合、4,096 KB よりも大きい JSON データは 4,096 KB の制限で切り捨てられ、PostgreSQL の検証テストに合格しません。

以下のログ情報は、制限付き LOB モードにより切り捨てられた JSON と、検証に失敗したために切り捨てられた JSON を示しています。

03:00:49 2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt 2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt.c:2415)  03:00:49 2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, Error while executing the query [1022502] (ar_odbc_stmt.c:2421) 2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, Error while executing the query [1022502] (ar_odbc_stmt.c:2421)

ユーザー定義のデータ型の列が正しく移行されない

PostgreSQL ソースからレプリケートする場合、はユーザー定義のデータ型を含む列とは別に、すべての列に対して同じデータ型のターゲットテーブルを作成します。このような場合、データ型はターゲットで「character varying」として作成されます。

エラー: 作成用のスキーマが選択されていません

場合によっては、エラー「SQL_ERROR SqlState: 3F000 NativeError: 7 メッセージ: エラー:作成用のスキーマが選択されていません。

このエラーは、JSON テーブルのマッピングがスキーマに対してワイルドカード値を含み、ソースデータベースがその値をサポートしていない時に発生することがあります。

CDC を使用時、テーブルへの削除や更新がレプリケートされない

変更データキャプチャ (CDC) 中の削除と更新の操作は、ソーステーブルにプライマリキーがない場合、無視されます。AWS DMS は、プライマリキーを持つ PostgreSQL テーブルの変更データキャプチャ (CDC) をサポートしています。

テーブルにプライマリキーがない場合、先書きモード (WAL) ログにはデータベース行の前イメージが含まれていません。この場合、AWS DMS はテーブルを更新できません。削除オペレーションをレプリケートするには、ソーステーブルにプライマリキーを作成します。

切り捨てステートメントが伝播されない

変更データキャプチャ (CDC) を使用する場合、AWS DMS は TRUNCATE オペレーションをサポートしません。

PostgreSQL の DDL キャプチャを防止する

以下の [Extra Connection Attribute (追加の接続属性)] ステートメントを追加して、PostgreSQL ターゲットエンドポイントが DDL ステートメントをキャプチャするのを防止できます。[Extra Connection Attribute (追加の接続属性)​​] パラメータは、ソースエンドポイントの [Advanced (詳細)] タブで利用可能です。

captureDDLs=N

DDL キャプチャ用のデータベースオブジェクトを作成するスキーマの選択

DDL キャプチャに関連したデータベースオブジェクトをどのスキーマで作成するかを制御できます。以下の [Extra Connection Attribute (追加の接続属性)] ステートメントを追加します。[Extra Connection Attribute (追加の接続属性)] パラメータは、ターゲットエンドポイントの [Advanced (詳細)] タブで利用可能です。

ddlArtifactsSchema=xyzddlschema

PostgreSQL に移行した後 Oracle テーブルが存在しない

この場合、通常、テーブルとデータにアクセスできます。

Oracle のデフォルトは大文字のテーブル名ですが、PostgreSQL のデフォルトは小文字のテーブル名です。Oracle から PostgreSQL への移行を実行する場合、タスクのテーブルマッピングセクションで特定の変換ルールを指定することをお勧めします。これらは、テーブル名の大文字と小文字を変換するための変換ルールです。

テーブル名のケースを変換する変換ルールを使わずにテーブルを移行した場合、それらを参照するときにはテーブル名を引用符で囲む必要があります。

レプリケーションSlotDiskUsageが増加し、ETLワークロードなどの長いトランザクション中にrestart_lsnが前進しなくなる

論理レプリケーションが有効な場合、トランザクションごとにメモリに保持される変更の最大数は 4MB です。その後、変更はディスクに流されます。その結果ReplicationSlotDiskUsageが増加し、restart_lsnは、トランザクションが完了/中止され、ロールバックが終了するまで進行しません。トランザクションが長いので、ロールバックに時間がかかることがあります。

したがって、論理レプリケーションが有効な場合は、トランザクションの実行時間が長くなることは避けてください。代わりに、トランザクションをいくつかの小さなトランザクションに分割してみてください。

ソースとしてビューを使用したタスクで行がコピーされない

ビューをマイグレートするには、table-typeallまたはview。詳細については、「 コンソールからのテーブル選択ルールおよび変換ルールを指定する」を参照してください。

ビューをサポートするソースには、次のものがあります。

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • IBM Db2 LUW

  • SAP Adaptive Server Enterprise (ASE)

Microsoft SQL Server に関する問題のトラブルシューティング

以下では、Microsoft SQL Server データベースで AWS DMS を使用する際に固有の問題トラブルシューティングについての情報を見つけることができます。

AWS DMS ユーザーアカウントの CDC 使用を特別に許可する

AWS DMS で使用するユーザーアカウントでは、変更データキャプチャ (CDC) を使用する場合に正しく動作するために、SQL Server の SysAdmin ロールが必要です。

SQL Server データベースの変更キャプチャエラー

変更データキャプチャ (CDC) 中のエラーは、前提条件の 1 つが満たされていないことを示している可能性があります。たとえば、最も一般的に見過ごされる前提条件は、完全データベースバックアップです。タスクログは以下のエラーで、この欠落を示します。

SOURCE_CAPTURE E: No FULL database backup found (under the 'FULL' recovery model). To enable all changes to be captured, you must perform a full database backup. 120438 Changes may be missed. (sqlserver_log_queries.c:2623)

「」で、ソースとして SQL Server を使用するための前提条件を確認します。AWS DMS のソースとして Microsoft SQL Server データベースを使用する

IDENTITY 列が存在しない

ターゲットスキーマを作成する場合、AWS DMS は ID 列をサポートしません。初期ロードの完了後に追加する必要があります。

エラー: SQL Server は、パブリケーションをサポートしていません

以下のエラーは、SQL Server Express をソースエンドポイントとして使用する際に生成されます。

RetCode: SQL_ERROR SqlState: HY000 NativeError: 21106 Message: This edition of SQL Server does not support publications.

AWS DMS は現在、ソースまたはターゲットとして SQL Server Express をサポートしていません。

変更がターゲットに表示されない

AWS DMS では、変更を常にキャプチャするために、ソース SQL Server データベースが「FULL」または「BULK LOGGED」データ復旧モデルのいずれかであることが必要です。「SIMPLE」モデルはサポートされていません。

SIMPLE 復旧モデルは、ユーザーがデータベースを復旧するのに必要な最低限の情報を記録します。すべての非アクティブのログエントリは、チェックポイントが発生すると自動的に切り捨てられます。

すべての操作はログに記録されます。ただし、チェックポイントが発生するとすぐに、ログは自動的に切り捨てられます。この切り捨ては、ログを再利用できるようになり、古いログエントリを上書きできることを意味します。ログエントリが上書きされると、変更はキャプチャできません。この問題は、AWS DMS が SIMPLE データ復旧モデルをサポートしていない理由です。SQL Server をソースとして使用するためのその他の前提条件については、」AWS DMS のソースとして Microsoft SQL Server データベースを使用する

パーティションにまたがってマッピングされる不均一テーブル

変更データキャプチャ (CDC) 中に、AWS DMS がテーブルで CDC を適切に実行できない場合、特殊な構造を持つテーブルの移行は中断されます。次のようなメッセージが発行されます。

[SOURCE_CAPTURE ]W: Table is not uniformly mapped across partitions. Therefore - it is excluded from CDC (sqlserver_log_metadata.c:1415) [SOURCE_CAPTURE ]I: Table has been mapped and registered for CDC. (sqlserver_log_metadata.c:835)

SQL Server テーブルで CDC を実行する場合、AWS DMS は SQL Server の tlog を解析します。各 tlog レコードで、AWS DMS は変更中に挿入、更新、または削除されたカラムのデータを含む 16 進値を解析します。

16 進レコードを解析するために、AWS DMS は SQL Server システムテーブルからテーブルメタデータを読み取ります。これらのシステムテーブルは、特別に構造化されたテーブルカラムが何であるかを識別し、「xoffset」や「null bit position」などの内部プロパティの一部を表示します。

AWS DMS では、メタデータがテーブルのすべての未加工パーティションで同じであることを想定しています。しかし、場合によっては、特別に構造化されたテーブルのすべてのパーティションで同じメタデータを持たないことがあります。このような場合、AWS DMS はそのテーブルで CDC を中断して、変更を誤って解析したり、ターゲットに誤ったデータを提供したりするのを避けることができます。回避策としては、次のものが含まれます。

  • テーブルにクラスター化されたインデックスがある場合は、インデックスの再構築を実行します。

  • テーブルにクラスター化されたインデックスがない場合は、クラスター化されたインデックスをテーブルに追加します (必要に応じて後で削除できます)。

Amazon Redshift に関する問題のトラブルシューティング

以下では、Amazon Redshift データベースでの AWS DMS の使用に固有の問題のトラブルシューティングについて説明します。

別の AWS リージョンの Amazon Redshift クラスターへのロード

AWS DMS レプリケーションインスタンスとは異なる AWS リージョンの Amazon Redshift クラスターにロードすることはできません。DMS では、レプリケーションインスタンスと Amazon Redshift クラスターが同じリージョンにあることが必要です。

エラー: リレーション「awsdms_apply_exceptions」は既に存在します

エラー "リレーション「awsdms_apply_exceptions」がすでに存在します" は、Redshift エンドポイントが PostgreSQL エンドポイントとして指定されている場合に頻繁に発生します。この問題を解決するには、エンドポイントを変更し、[Target engine] を「redshift」に変更します。

名前が「awsdms_changes」で始まるテーブルのエラー

名前が「awsdms_changes」で始まるテーブルエラーメッセージは、同一の Amazon Redshift クラスターにデータをロードしようとする 2 つのタスクが同時に実行される場合に発生することがあります。一時テーブルに名前が付けられる方法のため、同じテーブルを更新する場合、同時に実行されるタスクは競合する場合があります。

dms.awsdms_changes000000000XXXX のような名前のクラスターのテーブルを参照する

Amazon S3 に保存されるファイルからデータがロードされると、AWS DMS は一時テーブルを作成します。これらのテンポラリテーブルの名前には、それぞれdms.awsdms_changes。AWS DMS が初回ロード時と最終ターゲットテーブルへの保存前にデータを保存できるように、これらのテーブルが必要です。

Amazon Redshift での作業に必要なアクセス許可

Amazon Redshift で AWS DMS を使用するには、Amazon Redshift にアクセスするのに使うユーザーアカウントは、以下のアクセス権限を必要とします。

  • CRUD (選択、挿入、更新、削除)

  • 一括ロード

  • タスク定義で必要な場合、作成、変更、ドロップ

ターゲットとして Amazon Redshift を使用するための前提条件を確認するには、「」を参照してください。AWS Database Migration Service のターゲットとして Amazon Redshift データベースを使用する

Amazon Aurora MySQL に関する問題のトラブルシューティング

以下では、Amazon Aurora MySQL データベースでの AWS DMS の使用に固有の問題のトラブルシューティングについて説明します。

エラー: CHARACTER SET UTF8 フィールドが「,」で切り取られています。行が「\ n」で切り取られています

ターゲットとして Amazon Aurora MySQL を使用している場合、ログに以下のようなエラーが表示されることがあります。通常、このエラーは SQL_MODE パラメータの一部に ANSI_QUOTES があることを示しています。SQL_MODE パラメータの一部に ANSI_QUOTES がある場合、二重引用符が引用符のように処理され、タスクの実行時に問題が発生することがあります。

このエラーを修正するには、SQL_MODE パラメータから ANSI_QUOTES を削除します。

2016-11-02T14:23:48 [TARGET_LOAD ]E: Load data sql statement. load data local infile "/rdsdbdata/data/tasks/7XO4FJHCVON7TYTLQ6RX3CQHDU/data_files/4/LOAD000001DF.csv" into table `VOSPUSER`.`SANDBOX_SRC_FILE` CHARACTER SET UTF8 fields terminated by ',' enclosed by '"' lines terminated by '\n'( `SANDBOX_SRC_FILE_ID`,`SANDBOX_ID`, `FILENAME`,`LOCAL_PATH`,`LINES_OF_CODE`,`INSERT_TS`,`MODIFIED_TS`,`MODIFIED_BY`, `RECORD_VER`,`REF_GUID`,`PLATFORM_GENERATED`,`ANALYSIS_TYPE`,`SANITIZED`,`DYN_TYPE`, `CRAWL_STATUS`,`ORIG_EXEC_UNIT_VER_ID` ) ; (provider_syntax_manager.c:2561)