ApsaraDB for OceanBase (Deprecated):MySQL 互換モードの MySQL データベースから OceanBase データベースへのデータ移行

前提条件

• データ転送サービスには、クラウドリソースにアクセスする権限があります。詳細については、「データ転送のためのロールへの権限付与」をご参照ください。

• ソース MySQL データベースと MySQL 互換モードのターゲット OceanBase データベースに、データ移行専用のデータベースユーザーを作成し、そのユーザーに必要な権限を付与していること。 詳細については、「データソースのユーザー権限を設定する」をご参照ください。

• Binlog が有効化されていること。ApsaraDB RDS for MySQL インスタンスの Binlog の詳細については、「バイナリログファイルの管理」をご参照ください。PolarDB for MySQL インスタンスの Binlog の詳細については、「バイナリログの有効化」をご参照ください。

制限事項

• ソースデータベースの制限事項

  スキーマ移行または完全移行中に、データベースまたはテーブルスキーマを変更する DDL 操作を実行しないでください。実行した場合、データ移行タスクが中断される可能性があります。

• データ転送サービスは、MySQL 5.5、5.6、5.7、および 8.0 をサポートしています。

• データ転送サービスは、MySQL InnoDB ストレージエンジンのみをサポートしており、他のエンジンは利用できません。

  説明

  ApsaraDB RDS for MySQL インスタンスでは、InnoDB および X-Engine ストレージエンジンをサポートしています。

• データ転送サービスは、MySQL データベースにおいて 767 バイト (または 191 文字) を超える長さのインデックスフィールドをサポートしていません。

• データ転送サービスは、ソース MySQL データベースの CASCADE 外部キーの移行をサポートしていません。

• データ転送サービスは、オブジェクトのデータベース名、テーブル名、および列名が ASCII でエンコードされ、特殊文字が含まれていない場合にのみ、そのオブジェクトの移行をサポートします。特殊文字とは、改行、スペース、および次の文字です：. | " ' ` ( ) = ; / & \。

• プライマリキーが FLOAT または DOUBLE データ型の場合、事前チェックは失敗します。このようなデータ型の列をプライマリキーとして指定しないことを推奨します。

• ターゲットがデータベースの場合、データ転送サービスはトリガーをサポートしていません。トリガーが存在すると、データ移行が失敗する可能性があります。

• ソースデータベースの時計は、ターゲットデータベースの時計と同期させる必要があります。

• ApsaraDB RDS for MySQL データベースと自己管理データベースが配置されている VPC は、OceanBase データベースと同じリージョンにある必要があります。

注意事項

• MySQL データベースのホストには、十分なアウトバウンド帯域幅が必要です。ホストのアウトバウンド帯域幅が不足していると、ログの解析とデータ移行が遅くなり、データ同期のレイテンシーが増加する可能性があります。

• ソースデータベースとターゲットデータベースで異なる照合順序を使用している場合は、次の点にご注意ください：

  • データ同期後、ターゲットデータベースのデータがソースデータベースのデータと一致しなくなる可能性があります。例えば、ソースデータベースの照合順序が utf8mb4_0900_ai_ci で、ターゲットデータベースが utf8mb4_general_ci の場合、2 つのデータレコード A と A の両方をターゲットデータベースに書き込むことができず、データ損失が発生します。

  • VARCHAR 型の列をプライマリキーとして使用するテーブルの検証中に、データ不整合が検出されます。

• ノード間、またはクライアントとサーバー間の時計が同期していない場合、増分同期または逆方向増分中のレイテンシーが不正確になる可能性があります。

  例えば、時計が標準時刻より進んでいる場合、レイテンシーは負の値になることがあります。時計が標準時刻より遅れている場合、レイテンシーは正の値になることがあります。

• MySQL データベースで増分解析が必要な場合は、MySQL サーバーの ID (server_id) を指定する必要があります。

• DDL 同期が無効になっているときにターゲットで一意なインデックスを変更した場合は、データ不整合を避けるためにデータ移行タスクを再起動する必要があります。

• DECIMAL、FLOAT、DOUBLE などのデータ型の列に対するデータ転送サービスの移行精度が期待通りであるかを確認してください。ターゲットフィールドの型の精度がソースフィールドの型の精度より低い場合、より高い精度の値が切り捨てられる可能性があります。これにより、ソースとターゲットのフィールド間でデータ不整合が発生する可能性があります。

• ソースインスタンスが読み取り専用の ApsaraDB RDS for MySQL データベースである場合、事前チェックでプロンプトが表示され、増分ログ消費のリスクが示されます。

• 複数のテーブルを集約する場合は、次の点にご注意ください：

  • 照合ルールを指定して、ソースとターゲット間のマッピングを設定することを推奨します。

  • ターゲットでスキーマを手動で作成することを推奨します。データ転送サービスを使用してスキーマを作成する場合は、スキーマ移行ステップで失敗したオブジェクトをスキップしてください。

• ソースとターゲットのテーブルスキーマの違いにより、データ整合性が損なわれる可能性があります。既知のシナリオの一部を以下に示します：

  • ターゲットでテーブルスキーマを手動で作成する際に、いずれかの列のデータ型がデータ転送サービスでサポートされていない場合、ターゲットで暗黙的なデータ型変換が発生し、ソースとターゲットで列の型が不一致になる可能性があります。

  • ターゲットの列の長さがソースより短い場合、この列のデータが自動的に切り捨てられ、ソースとターゲットでデータ不整合が発生する可能性があります。

• 文字セットに関連して、次の点にご注意ください：

  • ソースデータベースで使用されている utf8mb3 文字セットは、データがターゲットデータベースに移行された後、utf8mb4 に変更されます。

  • ターゲットが MySQL 互換モードの OceanBase Database V4.1.0 以降の場合、ソースデータベースで使用されている Latin1 文字セットは、データがターゲットデータベースに移行された後も維持されます。

• データ移行タスクの作成時に [増分同期] のみを選択した場合、データ転送サービスはソースデータベースのローカル増分ログを少なくとも 48 時間保持することを要求します。

  データ移行タスクの作成時に [完全移行] と [増分同期] を選択した場合、データ転送サービスはソースデータベースのローカル増分ログを少なくとも 7 日間保持することを要求します。データ転送サービスが増分ログを取得できない場合、データ移行タスクが失敗したり、移行後にソースとターゲットのデータが不整合になったりする可能性があります。

• MySQL データベースに 2 つ以上のプライマリクラスターが含まれている場合は、log_slave_updates パラメーターを ON に設定してください。そうしないと、データソースがすべての Binlog を受信できず、データ損失につながる可能性があります。

• ソースまたはターゲットに、大文字と小文字のみが異なるテーブルオブジェクトが含まれている場合、ソースまたはターゲットの大文字と小文字の区別がないために、データ移行の結果が期待通りにならない可能性があります。

サポートされるソースおよびターゲットのインスタンスタイプ

以下の表では、MySQL 互換モードの OceanBase Database を OB_MySQL と表記します。これには、OceanBase クラスターインスタンス、OceanBase Database テナントインスタンス、およびサーバーレスインスタンスが含まれます。

データ型のマッピング

操作手順

1. ログインします

   ApsaraDB for OceanBase コンソール

   詳細については、「データ移行タスクの購入」をご参照ください。

2. [データ転送] > [データ移行] を選択します。 表示されたページで、データ移行タスクの [設定] をクリックします。

   

   既存のタスクの構成を参照する場合は、[構成の参照] をクリックします。 詳細については、「データ移行タスクの構成を参照する」をご参照ください。

3. [ソースとターゲットの選択] ページで、パラメーターを設定します。

   パラメーター	説明
   移行タスク名	数字と文字の組み合わせで設定することを推奨します。スペースを含めることはできず、長さは 64 文字を超えることはできません。
   ソース	MySQL データソースを作成済みの場合は、ドロップダウンリストから選択します。そうでない場合は、ドロップダウンリストで [新規データソース] をクリックし、右側に表示されるダイアログボックスでデータソースを作成します。パラメーターの詳細については、「MySQL データソースの作成」をご参照ください。
   ターゲット	MySQL 互換モードで OceanBase データソースを作成した場合は、ドロップダウンリストからそれを選択します。そうでない場合は、ドロップダウンリストで [新しいデータソース] をクリックし、右側に表示されるダイアログボックスで作成します。パラメーターの詳細については、「OceanBase データソースを作成する」をご参照ください。
   タグ (オプション)	ドロップダウンリストからターゲットのタグを選択します。また、[タグの管理] をクリックしてタグを作成、変更、削除することもできます。詳細については、「タグを使用してデータ移行タスクを管理する」をご参照ください。

4. [次へ] をクリックします。[移行タイプの選択] ページで、[同期トポロジ] に [一方向同期] を選択します。

   データ転送サービスは、一方向同期と双方向同期の両方をサポートしています。 このトピックでは、一方向同期タスクの設定方法について説明します。双方向同期については、「双方向同期タスクの設定」をご参照ください。

5. 現在のデータ移行タスクのタイプを選択します。

   [同期トポロジ] に [一方向同期] を選択した場合、サポートされている移行タイプは、スキーマ移行、完全移行、増分同期、完全検証、および逆再生増分です。

   

   移行タイプ	説明
   スキーマ移行	スキーマ移行タスクが開始されると、データ転送サービスはデータベースオブジェクト (テーブル、インデックス、制約、コメント、ビューなど) の定義をソースデータベースからターゲットデータベースに移行し、一時テーブルを自動的に除外します。 MySQL データベースから MySQL 互換モードの OceanBase データベースへのスキーマ移行中、ターゲットに存在しないデータベースは自動的に作成されます。
   完全移行	完全移行タスクが開始されると、データ伝送サービスはソースデータベースのテーブルから既存のデータをターゲットデータベースの対応するテーブルに移行します。[完全移行] を選択した場合、データ移行前に ANALYZE 文を使用して MySQL データベースの統計情報を収集することをお勧めします。
   増分同期	増分同期タスクが開始されると、データ転送サービスは変更されたデータ (追加、変更、または削除されたデータ) をソースデータベースからターゲットデータベースの対応するテーブルに同期します。 [増分同期] のオプションは [DML 同期] と [DDL 同期] で、必要に応じて選択できます。詳細については、「DDL/DML 同期を設定する」をご参照ください。[増分同期] には、次の制限があります。 [DDL 同期] を選択した場合、ソースデータベースでデータ伝送サービスがサポートしていない DDL 操作を実行すると、データ移行が中断される可能性があります。 DDL 操作が ADD COLUMN の場合、列を NULL 列に設定することを推奨します。そうしないと、データ移行が中断される可能性があります。
   完全検証	完全移行と増分同期タスクが完了すると、データ転送サービスは自動的に完全検証タスクを開始し、ソースとターゲットのデータベースのテーブルを検証します。 [完全検証] を選択した場合、完全検証の前に MySQL 互換モードで MySQL データベースと OceanBase データベースの統計情報を収集することをお勧めします。 [増分同期] を選択し、[DML 同期] セクションですべての DML 操作を選択していない場合、データ転送サービスは完全検証をサポートしていません。 データ転送サービスは、プライマリキーまたは非 NULL の一意なキーを持つテーブルに対してのみ完全検証をサポートします。
   逆方向増分	ビジネスデータベースのスイッチオーバー後にターゲットデータベースで行われたデータ変更は、逆方向増分を通じてリアルタイムでソースデータベースに同期されます。 通常、逆方向増分には増分同期の設定が再利用されます。必要に応じて、逆方向増分の設定をカスタマイズすることもできます。

6. [次へ] をクリックします。[移行オブジェクトの選択] ページで、データ移行タスクの移行オブジェクトを指定します。

   移行オブジェクトを指定するには、[オブジェクトの指定] または [照合ルール] を選択できます。 この Topic では、[オブジェクトの指定] を使用して移行オブジェクトを指定する方法について説明します。 照合ルールについては、照合ルールの設定と変更 の「データベース間のデータ移行/同期のワイルドカードパターン」をご参照ください。

   重要

   • 移行するテーブルの名前、およびテーブル内の列の名前に中国語文字を含めることはできません。

   • データベース名またはテーブル名にダブルドル記号 ($$) が含まれている場合、移行タスクを作成できません。

   • [移行タイプを選択] ページで [DDL 同期] を選択した場合は、「一致ルール」 オプションを使用して移行オブジェクトを選択することをお勧めします。これにより、移行ルールを満たすすべての新しいオブジェクトが同期されます。「オブジェクトの指定」 オプションを使用して移行オブジェクトを選択した場合、新規の、または名前が変更されたオブジェクトは同期されません。

   

   1. [移行オブジェクトの選択] セクションで、[オブジェクトの指定] を選択します。

   2. [ソースオブジェクト] リストがある [移行範囲の指定] セクションで、移行するオブジェクトを選択します。 1 つ以上のデータベースのテーブルとビューを選択できます。

   3. [>] をクリックして、[ターゲットオブジェクト] リストに追加します。

   データ転送サービスでは、テキストファイルからオブジェクトをインポートしたり、ターゲットオブジェクトの名前を変更したり、行フィルターを設定したり、列情報を表示したり、単一またはすべての移行オブジェクトを削除したりできます。

   説明

   [一致ルール] を選択して移行オブジェクトを指定した場合、オブジェクト名の変更は、指定された一致ルールの構文に基づいて実装されます。 操作エリアでは、フィルター条件のみ設定できます。 詳細については、「一致ルールの設定と変更」をご参照ください。

   操作	説明
   オブジェクトのインポート	右側のリストで、右上隅にある [オブジェクトのインポート] をクリックします。 表示されるダイアログボックスで、[OK] をクリックします。 重要 この操作は以前の選択を上書きします。注意して進めてください。 [オブジェクトのインポート] ダイアログボックスで、移行するオブジェクトをインポートします。 CSV ファイルをインポートして、データベースやテーブルの名前を変更したり、行フィルター条件を設定したりできます。詳細については、「移行オブジェクトの設定のダウンロードとインポート」をご参照ください。 [検証] をクリックします。 移行オブジェクトをインポートした後、その有効性を確認します。現在、列フィールドのマッピングはサポートされていません。 検証が成功したら、[OK] をクリックします。
   オブジェクト名の変更	データ転送サービスでは、移行オブジェクトの名前を変更できます。詳細については、「データベーステーブルの名前変更」をご参照ください。
   設定の構成	データ転送サービスでは、WHERE 条件を使用して行をフィルタリングできます。詳細については、「SQL 条件を使用したデータフィルタリング」をご参照ください。 また、[列の表示] セクションで移行オブジェクトの列情報を表示することもできます。
   単一またはすべてのオブジェクトの削除	データ転送サービスでは、データマッピング中に右側のリストに追加された単一またはすべての同期オブジェクトを削除できます。 単一の移行オブジェクトの削除 右側のリストで、削除したいオブジェクトの上にポインターを移動し、[削除] をクリックして移行オブジェクトを削除します。 すべての移行オブジェクトの削除 右側のリストで、右上隅の [すべて削除] をクリックします。表示されるダイアログボックスで、[OK] をクリックしてすべての移行オブジェクトを削除します。

7. [次へ] をクリックします。[移行オプション] ページで、パラメーターを設定します。

   • 完全移行

     次の表では、[移行タイプの選択] ページで [一方向同期] と [完全移行] を順番に選択した場合にのみ表示される、完全移行のパラメーターについて説明します。

     

     パラメーター	説明
     読み取り同時実行数	完全移行中にソースからデータを読み取るための同時実行数。最大値は 512 です。読み取り同時実行数が高いと、ソースに過度の負荷がかかり、ビジネスに影響を与える可能性があります。
     書き込み同時実行数	完全移行中にターゲットにデータを書き込むための同時実行数。最大値は 512 です。書き込み同時実行数が高いと、ターゲットに過度の負荷がかかり、ビジネスに影響を与える可能性があります。
     完全移行レート制限	必要に応じて、完全移行レートを制限するかどうかを選択できます。完全移行レートを制限する場合は、1 秒あたりのレコード数 (RPS) と 1 秒あたりのバイト数 (BPS) を指定する必要があります。RPS は完全移行中に 1 秒あたりにターゲットに移行されるデータ行の最大数を指定し、BPS は完全移行中に 1 秒あたりにターゲットに移行されるデータの最大量をバイト単位で指定します。 説明 ここで指定された RPS と BPS の値は、速度制限のためだけです。実際の完全移行性能は、ソースとターゲットの設定やインスタンスの仕様などの要因に左右されます。
     ターゲットデータベースの空でないテーブルの処理	有効な値は[無視]と[移行を停止]です。 [無視] を選択した場合、挿入するデータがターゲットテーブルの既存データと競合すると、データ転送サービスは既存のデータを保持したまま、競合するデータをログに記録します。 重要 [無視] を選択すると、完全検証中にデータは IN モードでプルされます。この場合、ターゲットにソースには存在しないデータが含まれていると検証は適用できず、検証パフォーマンスはスペックダウンします。 [移行の停止] を選択し、移行先テーブルにレコードが含まれている場合、完全移行中に移行がサポートされていないことを示すエラーが報告されます。この場合、移行を続行する前に移行先テーブルのデータを処理する必要があります。 重要 エラーを促すダイアログボックスで [再開] をクリックすると、データ転送サービスはこのエラーを無視してデータの移行を続行します。注意して進めてください。
     インデックスの後付け	完全移行完了後にインデックスを作成するかどうかを指定します。インデックスの後付けにより、完全移行に必要な時間を短縮できます。インデックスの後付けに関する注意事項については、以下の説明をご参照ください。 重要 このパラメーターは、[移行タイプを選択] ページで [スキーマ移行] と [フル移行] の両方を選択した場合にのみ表示されます。 移行完了後に作成できるのは、非一意キーインデックスのみです。 インデックス作成中にターゲットの OceanBase データベースが以下のエラーを返した場合、データ転送サービスはそのエラーを無視し、インデックスが正常に作成されたと判断して、再度作成しません。 MySQL 互換モードの OceanBase データベースでのエラーメッセージ：Duplicate key name。 Oracle 互換モードの OceanBase データベースでのエラーメッセージ：name is already used by an existing object。 ターゲットが OceanBase データベースで、このパラメーターに [許可] を選択した場合、以下のパラメーターを設定する必要があります： 単一インデックスの DDL 同時実行数：単一インデックスに対して許可される DDL 操作の最大同時実行数。値が大きいほど、リソース消費量が多くなり、データ移行が速くなります。 インデックスの最大 DDL 同時実行数：システムが一度に呼び出せるインデックス後付け DDL 操作の最大数。

     インデックスの後付けが許可されている場合、OceanBase Database のハードウェア条件と現在のビジネストラフィックに基づいて、CLI クライアントを使用してビジネステナントの以下のパラメーターを変更することを推奨します：

     // ファイルメモリバッファサイズの制限を指定します。
     alter system set _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // OceanBase Database V4.x での速度制限を無効にします。
     alter system set sys_bkgd_net_percentage = 100;  

   • 増分同期

     [移行タイプの選択] ページで、[一方向同期] と [増分同期] を順番に選択した場合にのみ、次のパラメーターが表示されます。

     

     パラメーター	説明
     書き込み同時実行数	増分同期中にターゲットにデータを書き込むための同時実行数。最大値は 512 です。書き込み同時実行数が高いと、ターゲットに過度の負荷がかかり、ビジネスに影響を与える可能性があります。
     増分同期レート制限	必要に応じて、増分同期レートを制限するかどうかを選択できます。増分同期レートを制限する場合は、1 秒あたりのレコード数 (RPS) と 1 秒あたりのバイト数 (BPS) を指定する必要があります。RPS は増分同期中に 1 秒あたりにターゲットに同期されるデータ行の最大数を指定し、BPS は増分同期中に 1 秒あたりにターゲットに同期されるデータの最大量をバイト単位で指定します。 説明 ここで指定された RPS と BPS の値は、速度制限のためだけです。実際の増分同期性能は、ソースとターゲットの設定やインスタンスの仕様などの要因に左右されます。
     増分同期の開始タイムスタンプ	[移行タイプの選択] ページで [完全移行] を選択した場合、このパラメーターは表示されません。 [増分同期] を選択し、[完全移行] を選択していない場合は、どの時点以降のデータを同期するかを指定します。 デフォルト値は現在のシステム時刻です。 詳細については、「増分同期のタイムスタンプを設定する」をご参照ください。

   • 逆方向増分

     次のパラメーターは、[移行タイプの選択] ページで [一方向同期] と [逆方向増分] を順に選択した場合にのみ表示されます。 デフォルトでは、増分同期の構成が逆方向増分同期に再利用されます。

     

     増分同期の設定を再利用せず、必要に応じて逆方向増分同期を設定することもできます。

     パラメーター	説明
     書き込み同時実行数	逆方向増分同期中にソースにデータを書き込むための同時実行数。最大値は 512 です。高い同時実行数はソースに過度の負荷をかけ、ビジネスに影響を与える可能性があります。
     逆方向増分レート制限	必要に応じて、逆方向増分同期レートを制限するかどうかを選択できます。逆方向増分同期レートを制限する場合は、1 秒あたりのリクエスト数 (RPS) と 1 秒あたりのバイト数 (BPS) を指定する必要があります。RPS は逆方向増分同期中に 1 秒あたりにソースに同期されるデータ行の最大数を指定し、BPS は逆方向増分同期中に 1 秒あたりにソースに同期されるデータの最大量をバイト単位で指定します。 説明 ここで指定された RPS と BPS の値は、速度制限のためだけです。実際の逆方向増分同期性能は、ソースとターゲットの設定やインスタンスの仕様などの要因に左右されます。
     増分同期の開始タイムスタンプ	[移行タイプの選択] ページで [完全移行] を選択した場合、このパラメーターは表示されません。 [フル移行] を選択せずに [増分同期] を選択した場合、転送スイッチオーバー開始タイムスタンプ (ある場合) がデフォルトで使用されます。このパラメーターは変更できません。

   • 詳細パラメーター

     このセクションのパラメーターは、ターゲットが MySQL 互換モードの OceanBase Database V4.3.0 以降であり、かつ [移行タイプの選択] ページで [スキーマ移行] を選択するか、[DDL 同期] を [増分同期] に選択した場合にのみ表示されます。

     

     ターゲットテーブルオブジェクトでサポートされているストレージタイプは、[デフォルト]、[行ストレージ]、[列ストレージ]、および[ハイブリッド列ストレージ]です。詳細については、「デフォルトのテーブルストレージフォーマット」をご参照ください。

     説明

     値 [デフォルト] は、他のパラメーターがターゲットのパラメーター構成に基づいて自動的に設定されることを意味します。スキーマ移行のテーブルオブジェクトと増分 DDL 同期の新しいテーブルオブジェクトは、指定されたストレージタイプに基づいて対応するスキーマに書き込まれます。

8. [事前チェック] をクリックして、データ移行タスクの事前チェックを開始します。

   事前チェック中、データ転送サービスはデータベースユーザーの読み取りおよび書き込み権限と、データベースのネットワーク接続を確認します。データ同期タスクは、すべてのチェック項目に合格した後にのみ開始できます。事前チェック中にエラーが返された場合は、以下の操作を実行できます：

   • 問題を特定してトラブルシューティングを行い、再度事前チェックを実行します。

   • 失敗した事前チェック項目の操作列で [スキップ] をクリックします。操作による影響を確認するダイアログボックスで、[OK] をクリックします。

9. 事前チェックに合格すると、[タスクを開始] をクリックします。

   すぐにタスクを開始する必要がない場合は、[保存] をクリックします。 後で [移行タスク] ページで、またはバッチ操作を実行してタスクを開始できます。 バッチ操作の詳細については、「データ移行タスクでバッチ操作を実行する」をご参照ください。

   データ転送サービスでは、移行タスクの実行中に移行オブジェクトとその行フィルタリング条件を変更できます。詳細については、「移行オブジェクトとそのフィルター条件の表示と変更」をご参照ください。データ移行タスクが開始されると、選択した移行タイプに基づいて実行されます。詳細については、「移行詳細の表示」をご参照ください。

関連ドキュメント

• MySQL データソースの作成

• OceanBase データソースの作成

• 照合ルールの設定と変更

• データ移行タスクの詳細の表示