AWS Database Migration Service での移行タスクのトラブルシューティング - AWS Database Migration Service

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

AWS Database Migration Service での移行タスクのトラブルシューティング

以下では、に関する問題のトラブルシューティングについてのトピックを見つけることができます。AWSDatabase Migration Service (AWS DMS). これらのトピックは、両方を使用して一般的な問題を解決するのに役立ちますAWS DMSおよび選択されたエンドポイントデータベースです。

あなたが開いた場合AWSSupport ケースでは、サポートエンジニアが、エンドポイントデータベース構成の 1 つで潜在的な問題を特定する場合があります。エンジニアは、サポートスクリプトを実行してデータベースに関する診断情報を返すように依頼することもできます。このタイプのサポートスクリプトからの診断情報のダウンロード、実行、およびアップロードの詳細については、」での診断サポートスクリプトの操作AWS DMS

移行タスクの実行が遅くなる

移行タスクの実行が遅くなる、または後続のタスクの実行が初期タスクより遅くなる原因として、いくつかの問題が考えられます。

移行タスクの実行が遅くなる最も一般的な原因は、AWS DMSレプリケーションインスタンス。インスタンスのリソースが実行中のタスクのために十分であることを確認するには、レプリケーションのインスタンスの CPU、メモリ、スワップファイル、および IOPS の使用率をチェックします。たとえば、エンドポイントとして Amazon Redshift を使用する複数のタスクは I/O 集約型です。レプリケーションのインスタンスに対して IOPS を増やすか、より効率的に移行するためにレプリケーションの複数のインスタンス間で作業を分割できます。

レプリケーションのインスタンスサイズの決定に関する詳細については、「」を参照してください。レプリケーションインスタンス用に最適なサイズを選択する

以下を実行すると、初期の移行のロードがスピードアップします。

  • ターゲットが Amazon RDS DB インスタンスの場合、Multi-AZ がターゲット DB インスタンスに対して有効にされていないことを確認します。

  • ロード中の自動バックアップまたはターゲットデータベースでのログ作成をオフにし、移行が完了したらこれらの機能をオンに戻します。

  • この機能がターゲットで利用可能な場合は、プロビジョンド IOPS を使用します。

  • 移行データに LOB が含まれる場合は、タスクが LOB 移行のために最適化されていることを確認します。LOB 用の最適化の詳細については、「」を参照してください。ターゲットメタデータのタスク設定

タスクのステータスバーが動かない

タスクのステータスバーで、タスクの進捗状況を予測できます。この予測の正確さはソースデータベースのテーブル統計の正確さによって異なります。テーブル統計が正確であればあるほど、正確に予測できます。

予測された列の統計がないテーブルが 1 つだけのタスクでは、AWS DMSは、パーセンテージの完全な見積もりを提供することはできません。この場合、タスクのステータスと、ロードされた行の表示を使用して、タスクが実行されて進行していることを確認します。

タスクは完了しましたが、何も移行されませんでした

タスクの完了後に何も移行されなかった場合は、次の操作を行います。

  • エンドポイントを作成したユーザーに、移行するテーブルへの読み取りアクセス権があるかどうかを確認します。

  • 移行するオブジェクトがテーブルであるかどうかを確認します。ビューの場合は、テーブルマッピングを更新し、オブジェクトロケータを「view」または「all」として指定します。詳細については、「コンソールからのテーブル選択ルールおよび変換ルールを指定する」を参照してください。

外部キーとセカンダリインデックスが見つからない

AWS DMSは、テーブル、プライマリキー、場合によっては一意のインデックスを作成しますが、効率的にソースからデータを移行するために必要ではない他のオブジェクトは作成されません。たとえば、セカンダリインデックス、非プライマリキーの制約、データデフォルトは作成されません。

データベースからセカンダリオブジェクトを移行するには、ソースデータベースと同じデータベースエンジンに移行中の場合、データベースのネイティブツールを使用します。を使用するAWS Schema Conversion Tool(AWS SCT) は、ソースデータベースで使用したものとは異なるデータベースエンジンへ移行中の場合、セカンダリオブジェクトを移行します。

Amazon RDS への接続で問題が発生する

ソースまたはターゲットとして設定した Amazon RDS DB インスタンスに接続できない理由は複数考えられます。以下をチェックするいくつかの項目:

  • ユーザー名とパスワードの組み合わせが正しいことを確認します。

  • インスタンス用に Amazon RDS コンソールに表示されるエンドポイント値が、AWS DMSエンドポイントにする必要があります。

  • インスタンス用に Amazon RDS コンソールに表示されるポート値が、AWS DMSエンドポイントにする必要があります。

  • Amazon RDS DB インスタンスに割り当てられたセキュリティグループが、AWS DMS のレプリケーションのインスタンスからの接続を許可することを確認します。

  • そのファイルにAWS DMSのレプリケーションのインスタンスと Amazon RDS DB インスタンスが同じ仮想プライベートクラウド (VPC) にない場合は、DB インスタンスがパブリックにアクセス可能であることを確認します。

エラーメッセージ: スレッドの接続文字列が正しくない: ねじ値 0 が正しくありません

エンドポイントへの接続をテストしているとき、このエラーが頻繁に発生します。このエラーは、接続文字列にエラーがあることを示します。たとえば、ホスト IP アドレスの後のスペースがあります。もう1つは、接続文字列にコピーされた不正な文字です。

ネットワーキングの問題が発生する

最も一般的なネットワーキング問題には、AWS DMS のレプリケーションのインスタンスによって使用される VPC のセキュリティグループが関係しています。デフォルトでは、このセキュリティグループではすべてのポートの 0.0.0.0/0 からの送信を許可するルールがあります。多くの場合、このセキュリティグループを変更するか、独自のセキュリティグループを使用します。その場合は、少なくとも、対応するデータベースポートでソースエンドポイントとターゲットエンドポイントに出力を渡してください。

その他の構成関連の問題には、次のようなものがあります。

  • レプリケーションインスタンスと、同じ VPC 内のソースとターゲットの両方のエンドポイント— エンドポイントで使用されるセキュリティグループは、レプリケーションインスタンスからの受信をデータベースポートで許可する必要があります。レプリケーションインスタンスによって使用されるセキュリティグループにエンドポイントへの送信があることを確認します。または、エンドポイントで使用されるセキュリティグループに、レプリケーションインスタンスのプライベート IP アドレスへのアクセスを許可するプライベート IP アドレスにルールを作成できます。

  • ソースエンドポイントは、レプリケーションインスタンスによって使用される VPC 外にある(インターネットゲートウェイを使用)— VPC セキュリティグループには、VPC に向かわないトラフィックをインターネットゲートウェイに送信するルーティングルールが含まれている必要があります。この設定では、エンドポイントへの接続がレプリケーションインスタンス上のパブリック IP アドレスから行われているように見えます。

  • ソースエンドポイントは、レプリケーションインスタンスによって使用される VPC 外にある(NAT ゲートウェイを使用)— ネットワークアドレス変換 (NAT) ゲートウェイは、単一の Elastic ネットワークインターフェイスにバインドされた単一の Elastic IP アドレスを使用して設定できます。この NAT ゲートウェイは NAT 識別子 (nat-#####) を受信します。

    インターネットゲートウェイではなくその NAT ゲートウェイへのデフォルトルートが VPC に含まれている場合があります。このような場合、レプリケーションインスタンスは NAT ゲートウェイのパブリック IP アドレスを使用してデータベースエンドポイントに接続しているように見えます。ここで、VPC 外のデータベースエンドポイントへの進入は、レプリケーションインスタンスのパブリック IP アドレスではなく NAT アドレスからの進入を許可する必要があります。

独自のオンプレミスネームサーバーの使用については、」 独自のオンプレミスネームサーバーの使用

全ロード後、CDC が停止する

複数の AWS DMS 設定が互いに競合すると、全ロード移行後に、レプリケーション変更が遅くなるか停止することがあります。

たとえば、ターゲットテーブル作成モードパラメータの設定何もしないまたは切り詰め。この場合、指示しているAWS DMSプライマリキーと一意なインデックスの作成を含め、ターゲットテーブル上でのセットアップを行わないように。ターゲットテーブルでプライマリキーまたは固有なキーを作成していない場合、AWS DMSは、更新プログラムごとにテーブル全体のスキャンを行います。このアプローチは、パフォーマンスに大きな影響を与える可能性があります。

タスクを再開時にプライマリキー違反エラーが発生する

このエラーは、以前の移行タスクからのターゲットデータベースにデータが残っている場合に発生することがあります。そのファイルにターゲットテーブル作成モードオプションが何もしない,AWS DMSは、以前のタスクから挿入されたデータの削除を含め、ターゲットテーブルで一切の準備を行いません。

タスクを再開してこれらのエラーを回避するには、タスクの以前の実行からターゲットテーブルに挿入された行を削除します。

スキーマの初回ロードが失敗する

場合によっては、スキーマの初期ロードが失敗し、Operation:getSchemaListDetails:errType=, status=0, errMessage=, errDetails=

このような場合、ユーザーアカウントはAWS DMSソースエンドポイントに接続するためのアクセス許可がありません。

タスクが不明なエラーで失敗する

不明な種類のエラーの原因はさまざまです。しかし、多くの場合、問題には割り当てられたリソースが不十分なことに関連した問題であることがAWS DMSレプリケーションインスタンス。

レプリケーションのインスタンスに移行を実行するために十分であることを確認するには、インスタンスのリソースの CPU、メモリ、スワップファイル、および IOPS の使用率をチェックします。モニタリングの詳細については、「AWS Database Migration Service メトリクス」を参照してください。

タスクを再開するとテーブルが最初からロードされる

AWS DMSは、テーブルの初回ロードを完了しなかった場合、テーブルのロードを最初から再開します。タスクが再起動されると、AWS DMSは、最初のロードが完了しなかったときに、テーブルを最初からリロードします。

タスクあたりのテーブル数が問題が発生

レプリケーションタスクあたりのテーブル数に制限はありません。ただし、タスク内のテーブル数は、経験則として 60,000 個未満に制限することをお勧めします。1 つのタスクが 60,000 個超のテーブルを使用すると、多くの場合リソース使用がボトルネックになることがあります。

LOB 列に主キーが作成されると、タスクが失敗する

フル LOB モードまたは制限付き LOB モードでは、AWS DMSは LOB データ型のプライマリキーのレプリケーションをサポートしていません。

DMS は、最初に LOB 列が NULL である行を移行し、後で LOB 列を更新します。したがって、LOB 列にプライマリキーが作成されると、プライマリキーを NULL にできないため、最初の挿入は失敗します。回避方法として、別の列をプライマリキーとして追加し、LOB 列からプライマリキーを削除します。

プライマリキーがないターゲットテーブルで重複レコードが発生する

完全ロードおよび CDC タスクを実行すると、プライマリキーまたは一意のインデックスがないターゲットテーブルに重複レコードを作成できます。完全ロードおよび CDC タスク中にターゲットテーブルでレコードが重複しないようにするには、ターゲットテーブルに主キーまたは一意のインデックスがあることを確認してください。

送信元エンドポイントが予約済み IP 範囲に収まる

場合、AWS DMSソースデータベースが 192.168.0.0/24 の予約済み IP 範囲内の IP アドレスを使用しているとき、ソースエンドポイント接続テストは失敗します。次のステップは、考えられる回避方法を提供します。

  1. 192.168.0.0/24 のソースデータベースと通信できる予約済み範囲外の Amazon EC2 インスタンスを見つけます。

  2. socat プロキシをインストールして実行します。例を以下に示します。

    yum install socat socat -d -d -lmlocal2 tcp4-listen:database port,bind=0.0.0.0,reuseaddr,fork tcp4:source_database_ip_address:database_port &

EC2 インスタンスの IP アドレスと、前述のデータベースポートをAWS DMSエンドポイントにする必要があります。エンドポイントに、[AWS DMS[Database] ポートで通信します。

Amazon Athena クエリでタイムスタンプが文字化けする

Athena クエリでタイムスタンプが文字化けする場合は、AWS Management ConsoleまたはModifyEndpointアクションを使用して、parquetTimestampInMillisecondAmazon S3 エンドポイントの値をtrue。詳細については、「」を参照してください。S3Settings

Oracle に関する問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができますAWS DMSを Oracle データベースに置き換えます。

ビューからデータを取得する

ビューからデータを 1 回プルできます。これを継続的なレプリケーションに使用することはできません。ビューからデータを抽出可能にするため、次のコードを追加の接続属性アドバンストOracle ソースエンドポイントページの [] セクションの [] をクリックします。ビューからデータを抽出すると、そのビューはターゲットスキーマのテーブルとして表示されます。

exposeViews=true

Oracle 12c から LOB を移行する

Oracle データベースへの変更をキャプチャするために AWS DMS が使用できる方法は、Binary Reader と Oracle LogMiner の 2 つです。デフォルトでは AWS DMS は Oracle LogMiner を使用して変更をキャプチャします。ただし、Oracle 12c で、Oracle LogMiner は LOB 列をサポートしていません。Oracle 12c での LOB 列の変更をキャプチャするには、Binary Reader を使用します。

Oracle LogMiner と Binary Reader の切り替え

ソース Oracle データベースへの変更をキャプチャするために AWS DMS が使用できる方法は、Binary Reader と Oracle LogMiner の 2 つです。Oracle LogMiner がデフォルトです。Binary Reader を使用して変更をキャプチャするように切り替えるには、次を実行します。

Binary Reader を使用して変更をキャプチャするには

  1. にサインインします。AWS Management Console[((オブジェクト管理AWS DMSコンソールhttps://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. Binary Reader を使用したい Oracle ソースエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンストに次のコードを追加します。追加の接続属性

    useLogminerReader=N
  6. SQL-Plus のような Oracle 開発者用ツールを使って、AWS DMSOracle エンドポイントへの接続に使用されるユーザーアカウントです。

    SELECT ON V_$TRANSPORTABLE_PLATFORM

エラー: Oracle CDC は停止しました。122301 Oracle CDC の最大再試行カウンタを超えました。

このエラーは、AWS DMS が変更をキャプチャするために使用できるようになる前に、必要な Oracle アーカイブログがサーバーから削除されると発生します。データベースサーバーのログリテンションポリシーを増やします。Amazon RDS データベースでは、ログの保持を延長するために、以下の手順を実行します。たとえば、以下のコードを使うと Amazon RDS DB インスタンスでのログの保持が 24 時間に延長されます。

exec rdsadmin.rdsadmin_util.set_configuration('archivelog retention hours',24);

Oracle ソースエンドポイントにサプリメンタルロギングを自動的に追加する

デフォルトでは、AWS DMS のサプリメンタルロギングはオフになっています。Oracle ソースエンドポイントのサプリメンタルロギングを自動的にオンにするには、以下の手順を実行します。

Oracle ソースエンドポイントにサプリメンタルロギングを追加するには

  1. にサインインします。AWS Management Console[((オブジェクト管理AWS DMSコンソールhttps://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. サプリメンタルロギングを追加する Oracle ソースエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト[] をクリックし、次のコードを [] ページに追加します。追加の接続属性[テキストボックス]:

    addSupplementalLogging=Y
  6. [Modify] を選択します。

LOB の変更がキャプチャされない

現在、LOB の変更をキャプチャするには、テーブルに AWS DMS のプライマリキーがあることが必要です。LOB を含むテーブルにプライマリキーがない場合、LOB の変更をキャプチャするにはいくつかのアクションを行うことができます。

  • テーブルにプライマリキーを追加します。この手順は、ID 列を追加し、トリガーを使用してシーケンスを入力するだけです。

  • プライマリキーとしてシステム生成 ID を含むテーブルのマテリアライズドビューを作成し、テーブルではなくマテリアライズドビューを移行します。

  • ロジカルスタンバイを作成し、テーブルにプライマリキーを追加して、ロジカルスタンバイから移行します。

エラー: ORA-12899: 列の値が大きすぎますcolumn-name

エラー「ORA-12899: 列の値が大きすぎるcolumn-name「は、多くの場合、いくつかの問題によって引き起こされます。

これらの問題の 1 つで、ソースデータベースとターゲットデータベースで使用される文字セットに不一致があります。

これらの問題の別の問題では、2 つのデータベース間で各国語サポート (NLS) の設定が異なります。このエラーの一般的な原因は、ソースデータベースの NLS_LENGTH_SEMANTICS パラメータが CHAR に設定されており、ターゲットデータベースの NLS_LENGTH_SEMANTICS パラメータが BYTE に設定されていることです。

NUMBER のデータ型が誤って解釈される

Oracle NUMBER データ型は、さまざまなAWS DMSNUMBER の精度とスケールに応じてのデータ型。このような変換は「Oracle のソースデータ型」に記載されています。NUMBER 型の変換方法によっては、Oracle のソースエンドポイントの追加の接続属性の使用に影響を及ぼす場合があります。これらの追加の接続属性については、「AWS DMS のソースとして Oracle を使用する場合の追加の接続属性」に記載されています。

フルロード中にレコードが欠落しています

フルロードを実行する場合、AWS DMSは、データベースレベルで開いているトランザクションを検索し、トランザクションがコミットされるのを待ちます。たとえば、タスク設定TransactionConsistencyTimeout=600,AWS DMSは、開いているトランザクションがテーブルマッピングに含まれていないテーブルにある場合でも、10 分間待機します。しかし、開いているトランザクションがテーブルマッピングに含まれるテーブルにあり、トランザクションが時間内にコミットされていない場合、ターゲットテーブルにレコードが欠落します。

[(オブジェクト管理)] を変更するにはTransactionConsistencyTimeoutタスク設定を有効にし、開いているトランザクションがコミットに時間がかかることがわかっている場合は、待機時間を増やします。

また、のデフォルト値に注意してくださいFailOnTransactionConsistencyBreachedタスク設定はfalse。これは、AWS DMSは引き続き他のトランザクションを適用しますが、未処理のトランザクションは失われます。開いているトランザクションが時間内に閉じられていないときにタスクが失敗する場合は、FailOnTransactionConsistencyBreachedtrue

Table エラー

Table Errorは、レプリケーション中にテーブル統計にWHERE句は主キー列を参照せず、補足ログはすべての列で使用されるわけではありません。

この問題を修正するには、参照されるテーブルのすべての列でサプリメンタルロギングを有効にします。詳細については、「サプリメンタルロギングの設定」を参照してください。

MySQL に関する問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができます。AWS DMSを MySQL データベースに置き換えます。

バイナリログ作成が無効化されるため、Amazon RDS DB インスタンスのエンドポイントの CDC タスクが失敗する

自動バックアップが無効化されているためにこの問題が Amazon RDS DB インスタンスに発生します。バックアップ保持期間を 0 以外の値に設定することで自動バックアップを有効にすることができます。

ターゲット MySQL のインスタンスへの接続は、タスクの実行中に接続が切断されます

LOB を持つタスクが MySQL ターゲットから切断されている場合、タスクログに以下のようなエラーが表示されることがあります。

[TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: 08S01 NativeError: 2013 Message: [MySQL][ODBC 5.3(w) Driver][mysqld-5.7.16-log]Lost connection to MySQL server during query [122502] ODBC general error.
[TARGET_LOAD ]E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 2006 Message: [MySQL][ODBC 5.3(w) Driver]MySQL server has gone away [122502] ODBC general error.

この場合、タスク設定のいくつかを調整する必要があります。

タスクが MySQL ターゲットから切断される問題を解決するには、以下を実行します。

  • 最大の LOB を保持するために、十分に大きい値に設定された データベース変数 max_allowed_packetがあることを確認します。

  • 以下の変数が大きいタイムアウト値に設定されていることを確認します。これらの変数ごとに、少なくとも 5 分の値を使用することをお勧めします。

    • net_read_timeout

    • net_write_timeout

    • wait_timeout

MySQL システム変数の設定については、サーバのシステム変数MySQL のドキュメント

MySQL 互換エンドポイントへの自動コミットを追加する

MySQL 互換ターゲットエンドポイントに自動コミットを追加するには

  1. にサインインします。AWS Management Console[((オブジェクト管理AWS DMSコンソールhttps://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. 自動コミットを追加する MySQL 互換ターゲットエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト[] をクリックし、次のコードを [] ページに追加します。追加の接続属性[テキストボックス]:

    Initstmt= SET AUTOCOMMIT=1
  6. [Modify] を選択します。

MySQL 互換ターゲットエンドポイントで外部キーを無効化する

MySQL の外部キーのチェックを無効化するには、以下を追加の接続属性アドバンストセクション、Amazon Aurora MySQL 互換エディション、または MariaDB エンドポイント。

MySQL 互換ターゲットエンドポイントで外部キーを無効化するには

  1. にサインインします。AWS Management Console[((オブジェクト管理AWS DMSコンソールhttps://console.aws.amazon.com/dms/v2/

  2. 選択エンドポイント

  3. 外部キーを無効にしたい MySQL、Aurora MySQL、または MariaDB のターゲットエンドポイントを選択します。

  4. [Modify] を選択します。

  5. 選択アドバンスト[] をクリックし、次のコードを [] ページに追加します。追加の接続属性[テキストボックス]:

    Initstmt=SET FOREIGN_KEY_CHECKS=0
  6. [Modify] を選択します。

文字が疑問符に置き換えられる

この問題を引き起こす可能性がある最も一般的な状況は、AWS DMS がサポートしない文字セットでソースエンドポイントの文字がエンコードされている場合です。

[Bad event] ログのエントリ

移行ログの [Bad event] のエントリは通常、ソースデータベースエンドポイントで、サポートされていないデータ定義言語 (DDL) オペレーションが試行されたことを指します。サポートされていない DDL オペレーションは、レプリケーションインスタンスがスキップできないイベントを発生させ、bad event が記録されます。

この問題を解決するには、タスクを最初からやり直します。これにより、サポートされていない DDL オペレーションの発行後の時点でテーブルがリロードされ、変更のキャプチャが開始されます。

MySQL 5.5 の変更データキャプチャ

AWS DMSAmazon RDS MySQL 互換データベースの変更データキャプチャ (CDC) では、MySQL バージョン 5.5 以前でサポートされていない、全イメージ行ベースのバイナリログ作成が必要です。AWS DMS CDC を使用するには、Amazon RDS DB インスタンスを MySQL バージョン 5.6 にアップグレードする必要があります。

Amazon RDS DB インスタンスのバイナリログ保持を延長する

AWS DMS では、変更データキャプチャのバイナリログファイルを保持する必要があります。Amazon RDS DB インスタンスでログの保持を延長するには、以下の手順を使用します。以下の例では、バイナリログの保持を 24 時間に延長します。

call mysql.rds_set_configuration('binlog retention hours', 24);

ログメッセージ: ソースデータベースからの一部の変更は、ターゲットデータベースに適用されても効果がありません。

AWS DMS が MySQL データベースの列の値を既存の値に更新すると、MySQL は zero rows affected のメッセージを返します。この動作は、Oracle や SQL Server などの他のデータベースエンジンとは異なります。これらのエンジンは、置き換える値が現在の値と同じであっても 1 行を更新します。

エラー: 識別子が長すぎます

以下のエラーは識別子が長すぎるときに発生します。

TARGET_LOAD E: RetCode: SQL_ERROR SqlState: HY000 NativeError: 1059 Message: MySQLhttp://ODBC 5.3(w) Driverhttp://mysqld-5.6.10Identifier name 'name' is too long 122502 ODBC general error. (ar_odbc_stmt.c:4054)

場合によっては、AWS DMSをクリックして、ターゲットデータベースにテーブルとプライマリキーを作成します。このような場合、DMS は現在、ソースデータベースで使用されたのと同じプライマリキーを使用していません。代わりに、DMS はテーブル名に基づいてプライマリキー名を作成します。テーブル名が長いと、作成された自動生成された識別子が、MySQL に許可されている制限よりも長くなる場合があります。

この問題を解決するには、現在のアプローチは、まずターゲットデータベースにテーブルとプライマリキーをあらかじめ作成することです。次に、タスク設定ターゲットテーブル作成モードに設定何もしないまたは切り詰めターゲットテーブルを設定します。

エラー: サポートされていない文字セットによりフィールドデータ変換が失敗しました

以下のエラーは、サポートされていない文字セットによりフィールドデータ変換が失敗した場合に発生します。

"[SOURCE_CAPTURE ]E: Column 'column-name' uses an unsupported character set [120112] A field data conversion failed. (mysql_endpoint_capture.c:2154)

接続に関連するデータベースのパラメータを確認します。以下のコマンドを使用してこれらのパラメータを設定できます。

SHOW VARIABLES LIKE '%char%';

エラー: Codepage 1252 to UTF8 [120112] にフィールドデータ変換が失敗しました

以下のエラーは、ソース MySQL データベースにコードページ 1252 以外の文字コードが含まれている場合に発生することがあります。

[SOURCE_CAPTURE ]E: Error converting column 'column_xyz' in table 'table_xyz with codepage 1252 to UTF8 [120112] A field data conversion failed. (mysql_endpoint_capture.c:2248)

回避策として、ソースの MySQL エンドポイントで追加の接続属性 (CharsetMapping) を使用して、文字セットのマッピングを指定します。再起動が必要にある場合があります。AWS DMSこの接続属性をさらに追加する場合は、移行タスクを最初からやり直します。

たとえば、ソースMySQL セットがutf8またはlatin165001 は UTF8 コードページ識別子です。

CharsetMapping=utf8,65001 CharsetMapping=latin1,65001

PostgreSQL の問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができますAWS DMSを PostgreSQL データベースに置き換えます。

切り捨てられる JSON データ型

AWS DMS では、PostgreSQL の JSON データ型は LOB データ型の列として処理されます。つまり、制限付き LOB モードを使用するときの LOB のサイズ制限が、JSON データに適用されます。

たとえば、制限付き LOB モードが 4,096 KB に設定されているとします。この場合、4,096 KB よりも大きい JSON データは 4,096 KB の制限で切り捨てられ、PostgreSQL の検証テストに合格しません。

以下のログ情報は、制限付き LOB モードにより切り捨てられた JSON と、失敗した検証を示しています。

03:00:49 2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt 2017-09-19T03:00:49 [TARGET_APPLY ]E: Failed to execute statement: 'UPDATE "public"."delivery_options_quotes" SET "id"=? , "enabled"=? , "new_cart_id"=? , "order_id"=? , "user_id"=? , "zone_id"=? , "quotes"=? , "start_at"=? , "end_at"=? , "last_quoted_at"=? , "created_at"=? , "updated_at"=? WHERE "id"=? ' [1022502] (ar_odbc_stmt.c:2415)  03:00:49 2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, Error while executing the query [1022502] (ar_odbc_stmt.c:2421) 2017-09-19T03:00:49 [TARGET_APPLY ]E: RetCode: SQL_ERROR SqlState: 22P02 NativeError: 1 Message: ERROR: invalid input syntax for type json;, Error while executing the query [1022502] (ar_odbc_stmt.c:2421)

ユーザー定義のデータ型の列が正しく移行されない

PostgreSQL ソースからレプリケートする場合、AWS DMS はユーザー定義のデータ型を含む列とは別に、すべての列に対して同じデータ型のターゲットテーブルを作成します。このような場合、データ型はターゲットで「character varying」として作成されます。

エラー: 作成用のスキーマが選択されていません

場合によっては、エラー「SQL_ERROR SqlState: 3F000 NativeError: 7 メッセージ: エラー:作成用のスキーマが選択されていません。

このエラーは、JSON テーブルのマッピングがスキーマのワイルドカード値を含み、ソースデータベースがその値をサポートしていない時に発生することがあります。

CDC を使用してテーブルへの削除や更新がレプリケートされない

変更データキャプチャ (CDC) 中の削除および更新オペレーションは、ソーステーブルにプライマリキーがない場合、無視されます。AWS DMSは、プライマリキーを持つ PostgreSQL テーブルの変更データキャプチャ (CDC) をサポートしています。

テーブルにプライマリキーがない場合、先書きログ (WAL) にはデータベース行の前イメージが含まれていません。この場合、AWS DMSはテーブルを更新できません。削除オペレーションをレプリケートするには、ソーステーブルにプライマリキーを作成します。

切り捨てステートメントが伝播されない

変更データキャプチャ (CDC) を使用する場合、TRUNCATE オペレーションはAWS DMS。

PostgreSQL の DDL キャプチャを防止する

以下の [Extra Connection Attribute (追加の接続属性)] ステートメントを追加して、PostgreSQL ターゲットエンドポイントが DDL ステートメントをキャプチャするのを防止できます。[Extra Connection Attribute (追加の接続属性)​​] パラメータは、ソースエンドポイントの [Advanced (詳細)] タブで利用可能です。

captureDDLs=N

DDL キャプチャ用のデータベースオブジェクトを作成するスキーマの選択

DDL キャプチャに関連したデータベースオブジェクトをどのスキーマで作成するかを制御できます。以下の [Extra Connection Attribute (追加の接続属性)] ステートメントを追加します。[Extra Connection Attribute (追加の接続属性)​​] パラメータは、ソースエンドポイントの [Advanced (詳細)] タブで利用可能です。

ddlArtifactsSchema=xyzddlschema

PostgreSQL に移行した後 Oracle テーブルが存在しない

この場合、通常、テーブルとデータにアクセスできます。

Oracle のデフォルトは大文字のテーブル名で、PostgreSQL のデフォルトは小文字のテーブル名です。Oracle から PostgreSQL への移行を実行する場合、タスクのテーブルマッピングセクションで特定の変換ルールを指定することをお勧めします。これらは、テーブル名の大文字と小文字を変換するための変換ルールです。

テーブル名のケースを変換する変換ルールを使わずにテーブルを移行した場合、それらを参照するときにはテーブル名を引用符で囲みます。

レプリケーションSlotDiskUsageが増加し、ETLワークロードなどの長いトランザクション中にrestart_lsnが前進しなくなる

論理レプリケーションが有効な場合、トランザクションごとにメモリに保持される変更の最大数は 4MB です。その後、変更はディスクにオーバーフローします。上の結果ReplicationSlotDiskUsageが増加し、restart_lsnは、トランザクションが完了/中止され、ロールバックが終了するまで進行しません。トランザクションが長いため、ロールバックに時間がかかることがあります。

したがって、論理レプリケーションが有効な場合は、トランザクションの実行時間が長くなることは避けてください。代わりに、トランザクションをいくつかの小さなトランザクションに分割してみてください。

ソースとしてビューを使用したタスクで行がコピーされない

ビューをマイグレートするには、table-typeallまたはview。詳細については、「コンソールからのテーブル選択ルールおよび変換ルールを指定する」を参照してください。

ビューをサポートするソースには、次のものがあります。

  • Oracle

  • Microsoft SQL Server

  • MySQL

  • PostgreSQL

  • IBM Db2 LUW

  • SAP Adaptive Server Enterprise (ASE)

Microsoft SQL Server に関する問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができますAWS DMSMicrosoft SQL Server データベースと。

SQL Server データベースの変更キャプチャエラー

変更データキャプチャ (CDC) 中のエラーは、前提条件の 1 つが満たされていないことを示している可能性があります。たとえば、最も一般的に見過ごされる前提条件は、完全データベースバックアップです。タスクログは以下のエラーで、この欠落を示します。

SOURCE_CAPTURE E: No FULL database backup found (under the 'FULL' recovery model). To enable all changes to be captured, you must perform a full database backup. 120438 Changes may be missed. (sqlserver_log_queries.c:2623)

SQL Server をソースとして使用するための前提条件を確認します。Microsoft SQL Server データベースの AWS DMS のソースとしての使用

IDENTITY 列が存在しない

AWS DMSでは、ターゲットスキーマを作成する場合の IDENTITY 列がサポートされていません。初期ロードの完了後に追加する必要があります。

エラー: SQL Server は、パブリケーションをサポートしていません

以下のエラーは、SQL Server Express をソースエンドポイントとして使用する際に生成されます。

RetCode: SQL_ERROR SqlState: HY000 NativeError: 21106 Message: This edition of SQL Server does not support publications.

AWS DMSでは現在、ソースまたはターゲットとして SQL Server Express はサポートされていません。

ターゲットに変更が表示されない

AWS DMS では、変更を一貫してキャプチャするために、ソース SQL Server データベースが「FULL」または「BULK LOGGED」データ復旧モデルのいずれかであることが必要です。「SIMPLE」モデルはサポートされていません。

SIMPLE 復旧モデルは、ユーザーがデータベースを復旧するのに必要な最低限の情報を記録します。すべての非アクティブのログエントリは、チェックポイントが発生すると自動的に切り捨てられます。

すべての操作はログに記録されます。ただし、チェックポイントが発生するとすぐに、ログは自動的に切り捨てられます。この切り捨ては、ログを再利用できるようになり、古いログエントリを上書きできることを意味します。ログエントリが上書きされると、変更はキャプチャできません。この問題は、AWS DMSは SIMPLE データ復旧モデルをサポートしていません。SQL Server をソースとして使用するためのその他の前提条件については、Microsoft SQL Server データベースの AWS DMS のソースとしての使用

パーティションにまたがってマッピングされる不均一テーブル

変更データキャプチャ (CDC) の間、特殊な構造を持つテーブルの移行は、AWS DMSはテーブルで CDC を正しく実行できません。次のようなメッセージが発行されます。

[SOURCE_CAPTURE ]W: Table is not uniformly mapped across partitions. Therefore - it is excluded from CDC (sqlserver_log_metadata.c:1415) [SOURCE_CAPTURE ]I: Table has been mapped and registered for CDC. (sqlserver_log_metadata.c:835)

SQL Server テーブルで CDC を実行する場合、AWS DMS は SQL Server の tlog を解析します。各 tlog レコードで、AWS DMS は変更中に挿入、更新、または削除されたカラムのデータを含む 16 進値を解析します。

16 進レコードを解析するために、AWS DMS は SQL Server システムテーブルからテーブルメタデータを読み取ります。これらのシステムテーブルは、特別に構造化されたテーブルカラムが何であるかを識別し、「xoffset」や「null bit position」などの内部プロパティの一部を表示します。

AWS DMS では、メタデータがテーブルのすべての未加工パーティションで同じであることを想定しています。しかし、場合によっては、特別に構造化されたテーブルのすべてのパーティションで同じメタデータを持たないことがあります。この場合、AWS DMSは、そのテーブルで CDC を中断して、変更を誤って解析したり、ターゲットに誤ったデータを提供したりするのを避けることができます。回避策には、次のものが含まれます。

  • テーブルにクラスター化されたインデックスがある場合は、インデックスの再構築を実行します。

  • テーブルにクラスター化されたインデックスがない場合は、クラスター化されたインデックスをテーブルに追加します (必要に応じて後で削除できます)。

Amazon Redshift に関する問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができますAWS DMSを Amazon Redshift データベースと併用します。

Amazon Redshift クラスターに別のAWSリージョン

Amazon Redshift クラスターは、別のAWSあなたよりも地域AWS DMSレプリケーションインスタンス。DMS では、レプリケーションインスタンスと Amazon Redshift クラスターが同じリージョンにあることが必要です。

エラー: リレーション「awsdms_apply_exceptions」はすでに存在します

エラー "リレーション「awsdms_apply_exceptions」がすでに存在します" は、Redshift エンドポイントが PostgreSQL エンドポイントとして指定されている場合に頻繁に発生します。この問題を解決するには、エンドポイントを変更し、[Target engine] を「redshift」に変更します。

名前が「awsdms_changes」で始まるテーブルのエラー

名前が「awsdms_changes」で始まるテーブルエラーメッセージは、同一の Amazon Redshift クラスターにデータをロードしようとする 2 つのタスクが同時に実行される場合に発生する可能性があります。一時テーブルに名前が付けられる方法のため、同じテーブルを更新する場合、同時に実行されるタスクは競合する場合があります。

dms.awsdms_changes000000000XXXX のような名前のクラスターのテーブルを参照する

AWS DMSでは、Amazon S3 に保存されるファイルからデータがロードされると、一時テーブルが作成されます。これらのテンポラリテーブルの名前には、それぞれdms.awsdms_changes。AWS DMS では、データの初回ロード時と最終ターゲットテーブルへの保存前にデータを保存できるように、このようなテーブルが必要です。

Amazon Redshift での作業に必要なアクセス許可

を使用するにはAWS DMSAmazon Redshift に接続する場合、Amazon Redshift へのアクセスに使用するユーザーアカウントは、以下のアクセス権限を必要とします。

  • CRUD (INSERT、UPDATE、DELETE)

  • 一括ロード

  • タスク定義で必要な場合、作成、変更、ドロップします

Amazon Redshift をターゲットとして使用するための前提条件を確認するには、「」を参照してください。のターゲットとして Amazon Redshift データベースを使用するAWS Database Migration Service

Amazon Aurora MySQL に関する問題のトラブルシューティング

以下では、使用に特有の問題のトラブルシューティングについて学ぶことができますAWS DMSAmazon Aurora MySQL データベースと。

エラー: 文字セット UTF8 フィールドが「,」で切り取られています。行が「\ n」で切り取られています

ターゲットとして Amazon Aurora MySQL を使用している場合、ログに以下のようなエラーが表示されることがあります。このタイプのエラーは、通常、SQL_MODE パラメータの一部に ANSI_QUOTES があることを示しています。SQL_MODE パラメータの一部として ANSI_QUOTES がある場合、二重引用符が引用符として処理され、タスクの実行時に問題が起きることがあります。

このエラーを修正するには、SQL_MODE パラメータから ANSI_QUOTES を削除します。

2016-11-02T14:23:48 [TARGET_LOAD ]E: Load data sql statement. load data local infile "/rdsdbdata/data/tasks/7XO4FJHCVON7TYTLQ6RX3CQHDU/data_files/4/LOAD000001DF.csv" into table `VOSPUSER`.`SANDBOX_SRC_FILE` CHARACTER SET UTF8 fields terminated by ',' enclosed by '"' lines terminated by '\n'( `SANDBOX_SRC_FILE_ID`,`SANDBOX_ID`, `FILENAME`,`LOCAL_PATH`,`LINES_OF_CODE`,`INSERT_TS`,`MODIFIED_TS`,`MODIFIED_BY`, `RECORD_VER`,`REF_GUID`,`PLATFORM_GENERATED`,`ANALYSIS_TYPE`,`SANITIZED`,`DYN_TYPE`, `CRAWL_STATUS`,`ORIG_EXEC_UNIT_VER_ID` ) ; (provider_syntax_manager.c:2561)