ApsaraDB for OceanBase (Deprecated):OceanBase データベースから DataHub インスタンスへのデータ同期

前提条件

• Data Transmission Service がクラウドリソースにアクセスするための権限が付与されていること。詳細については、「データ伝送のためのロールへの権限付与」をご参照ください。

• ソース OceanBase データベースにデータ同期用の専用データベースユーザーを作成し、そのユーザーに対応する権限を付与していること。詳細については、「データベースユーザーの作成」をご参照ください。

制限事項

• フル同期を選択した場合、Data Transmission Service は一意キーを持つテーブルのみをサポートします。

• DDL 同期は BLOB Topic にのみ適用されます。

• データ同期中、Data Transmission Service は新しいテーブルを作成する前にテーブルを削除することを許可します。つまり、DROP TABLE を実行してから CREATE TABLE を実行できます。Data Transmission Service は、テーブルの名前を変更して新しいテーブルを作成することは許可しません。つまり、RENAME TABLE a TO a_tmp を実行することはできません。

• Data Transmission Service は、UTF8 および GBK 文字セットのデータ同期をサポートします。

• 同期するテーブルの名前、およびテーブル内の列の名前に中国語文字を含めることはできません。

• Data Transmission Service は、オブジェクトのデータベース名、テーブル名、および列名が ASCII エンコードされており、特殊文字を含まない場合にのみ、そのオブジェクトの同期をサポートします。特殊文字とは、改行、スペース、および次の文字です：. | " ' ` ( ) = ; / & \。

• Data Transmission Service は、ソースとしてスタンバイ OceanBase データベースをサポートしていません。

DataHub には次の制限事項があります：

DataHub は、クラウド環境に基づいてメッセージのサイズを制限します。通常、メッセージのサイズは最大 1 MB です。DataHub はメッセージをバッチで送信し、各バッチのサイズは 4 MB を超えません。

注意事項

• ソースが OceanBase データベースで DDL 同期が有効になっているデータ同期タスクにおいて、ソースデータベースのテーブルで RENAME 操作が実行された場合、増分同期中のデータ損失を避けるためにタスクを再起動することを推奨します。

• ソースが V4.0.0 から V4.3.x (V4.2.5 BP1 を除く) の範囲のバージョンの OceanBase データベースで、増分同期を選択した場合、生成列に STORED 属性を指定する必要があります。この属性を指定しないと、生成列に関する情報が増分ログに保存されず、増分同期でデータエラーが発生する可能性があります。

• 更新された行にラージオブジェクト (LOB) 列が含まれる場合は、次の注意事項にご留意ください：

  • LOB 列が更新された場合、UPDATE または DELETE 操作の前に LOB 列に格納されていた値を使用しないでください。

    次のデータ型は LOB 列に格納されます：JSON、GIS、XML、ユーザー定義型 (UDT)、および LONGTEXT や MEDIUMTEXT などの TEXT。

  • LOB 列が更新されない場合、UPDATE または DELETE 操作の前後の LOB 列に格納されている値は NULL です。

• データ同期タスクの作成時に [増分同期] のみを選択した場合、Data Transmission Service では、ソースデータベースのローカル増分ログを少なくとも 48 時間保持する必要があります。

  データ同期タスクの作成時に [フル同期] と [増分同期] を選択した場合、Data Transmission Service では、ソースデータベースのローカル増分ログを少なくとも 7 日間保持する必要があります。そうしないと、Data Transmission Service が増分ログを取得できず、データ同期タスクが失敗したり、ソースとターゲットのデータが不整合になったりする可能性があります。

• OceanBase データベースから DataHub インスタンスに増分データを同期する場合、スキーマは DataHub スキーマに同期されてから初期化されます。次の表に、DataHub でサポートされるデータ型を示します。これらのデータ型は Tuple Topic にのみ適用されます。

  タイプ	説明	値の範囲
  BIGINT	8 バイトの符号付き整数。	-9223372036854775807 から 9223372036854775807
  DOUBLE	8 バイトの倍精度浮動小数点数。	-1.0 _10^308 から 1.0 _10^308
  BOOLEAN	ブール値。	True/False true/false 0/1
  TIMESTAMP	タイムスタンプ。	マイクロ秒単位の精度です。
  STRING	UTF-8 エンコーディングのみをサポートする文字列。	単一の STRING 列は最大 2 MB をサポートします。
  INTEGER	4 バイトの整数。	-2147483648 から 2147483647
  FLOAT	4 バイトの単精度浮動小数点数。	-3.40292347_10^38 から 3.40292347_10^38
  DECIMAL	数値。	- 10^38 + 1 から 10^38 - 1

サポートされるソースインスタンスとターゲットインスタンスのタイプ

次の表では、OB_MySQL は MySQL 互換モードの OceanBase データベースを、OB_Oracle は Oracle 互換モードの OceanBase データベースを表します。

サポートされる DDL

• ALTER TABLE

  • ADD COLUMN

  • MODIFY COLUMN

  • DROP COLUMN

• CREATE INDEX

• DROP INDEX

• TRUNCATE TABLE

  説明

  遅延削除では、同じトランザクションに 2 つの同一の TRUNCATE TABLE DDL 文が含まれます。この場合、ダウンストリームでの消費に対してべき等性が実装されます。

データ型のマッピング

DataHub インスタンスにデータを同期するタスクは、INTEGER、BIGINT、TIMESTAMP、FLOAT、DOUBLE、DECIMAL、STRING、および BOOLEAN のデータ型のみをサポートします。

• Topic マッピングを設定する際に他のタイプの Topic を作成すると、データ同期は失敗します。

• 次の表は、最も適切なデフォルトのマッピングルールを示しています。マッピングを変更すると、エラーが発生する可能性があります。

補足プロパティ

手動で Topic を作成する場合、データ同期タスクを開始する前に、DataHub スキーマに次のプロパティを追加してください。Data Transmission Service が自動的に Topic を作成してスキーマを同期する場合、Data Transmission Service は自動的に次のプロパティを追加します。

ソースが MySQL 互換モードの OceanBase データベースであり、[同期オブジェクトの選択] ページで Topic タイプとして [Tuple] を選択し、[同期オプション] ページの [詳細設定] セクションで [シリアル化方式] に [DTSCompatible] を選択した場合、列名に dts_ サフィックスが自動的に追加されます。 たとえば、ソースの MySQL 互換モードの OceanBase データベースの列名 c1 は、ターゲットの DataHub インスタンスに同期された後、dts_c1 に変換されます。 次の表に、列の変換の詳細を示します。

手順

1. ApsaraDB for OceanBase コンソールにログインし、データ同期タスクを購入します。

   詳細については、「データ同期タスクの購入」をご参照ください。

2. [データ転送] > [データ同期] を選択します。 表示されたページで、データ同期タスクの [設定] をクリックします。

   

   既存のタスクの構成を参照する場合は、[構成の参照] をクリックします。 詳細については、「データ同期タスクの構成の参照とクリア」をご参照ください。

3. [ソースとターゲットの選択] ページで、パラメーターを設定します。

   パラメーター	説明
   同期タスク名	数字と文字の組み合わせに設定することを推奨します。スペースを含めることはできず、長さは 64 文字を超えることはできません。
   ソース	OceanBase データソースを作成した場合は、ドロップダウンリストから選択します。 それ以外の場合は、ドロップダウンリストの [新規データソース] をクリックし、右側に表示されるダイアログボックスで作成します。 パラメーターの詳細については、「OceanBase データソースの作成」をご参照ください。
   ターゲット	DataHub データソースを作成済みの場合は、ドロップダウンリストから選択します。そうでない場合は、ドロップダウンリストで [新しいデータソース] をクリックし、右側に表示されるダイアログボックスで作成します。パラメーターの詳細については、「DataHub データソースを作成する」をご参照ください。
   タグ (オプション)	ドロップダウンリストからターゲットタグを選択します。また、[タグの管理] をクリックして、タグを作成、変更、削除することもできます。詳細については、「タグを使用してデータ同期タスクを管理する」をご参照ください。

4. [次へ] をクリックします。[同期タイプの選択] ページで、現在のデータ同期タスクの同期タイプを指定します。

   

   サポートされている同期タイプは、[スキーマ同期]、[フル同期]、および [増分同期] です。[スキーマ同期] は Topic を作成します。[増分同期] のオプションは、[DML 同期] と [DDL 同期] です。サポートされている DML 操作は、INSERT、DELETE、および UPDATE です。必要に応じて、オプションと操作を選択できます。詳細については、「DDL/DML 同期を設定する」をご参照ください。

   説明

   ソースが Oracle 互換モードの OceanBase データベースであり、[DDL 同期] を [増分同期] に選択した場合、[同期オブジェクトの選択] ページで Topic タイプとして [BLOB] のみ選択できます。

   

5. [次へ] をクリックします。[同期オブジェクトの選択] ページで、現在のデータ同期タスクで同期する Topic タイプとオブジェクトを選択します。

   利用可能な Topic タイプは [Tuple] と [BLOB] です。ソースが Oracle 互換モードの OceanBase データベースである場合、Tuple Topic は DDL 同期をサポートしませんが、データベースレコードに類似したレコードをサポートします。各レコードには複数のカラムが含まれます。BLOB Topic は、レコードとしてバイナリブロックのみをサポートします。データは伝送のために Base64 でエンコードされます。詳細については、DataHub のドキュメントセンターをご参照ください。

   同期の Topic タイプを選択した後、[オブジェクトの指定] または [一致ルール] を選択して同期オブジェクトを指定できます。 このトピックでは、[オブジェクトの指定] オプションを使用して同期オブジェクトを指定する方法について説明します。 一致ルールの設定方法については、一致ルールの設定と変更の「データベースと Message Queue インスタンス間のデータ移行/同期のワイルドカードパターン」をご参照ください。

   説明

   [DDL 同期] を [同期タイプの選択] ステップで選択した場合は、「一致ルール」オプションを使用して同期オブジェクトを選択することをお勧めします。これにより、一致ルールに一致するすべての新規オブジェクトが確実に同期されます。「オブジェクトの指定」オプションを使用して同期オブジェクトを選択した場合、新規オブジェクトまたは名前が変更されたオブジェクトは同期されません。

   1. [同期オブジェクトの選択] セクションで、[オブジェクトの指定] を選択します。

   2. 左側のペインで、同期するオブジェクトを選択します。

   3. [>] をクリックします。

   4. マッピング方法を選択します。

      • 単一の Tuple テーブル、または単一か複数の BLOB テーブルを同期するには、必要なマッピングメソッドを選択し、[Map Object To Topic] ダイアログボックスで [OK] をクリックします。

        

        同期タイプとして [スキーマ同期] を選択していない場合、[既存の Topic] のみを選択できます。 同期タイプとして [スキーマ同期] を選択した場合、Topic を作成または選択するためのマッピングメソッドを 1 つだけ選択できます。

        たとえば、[スキーマ同期] を選択した場合、[Topic の作成] と [Topic の選択] の両方のマッピング方法を使用したり、Topic の名前を変更したりすると、オプションの競合により事前チェックエラーが返されます。

        パラメーター	説明
        Topic の作成	テキストボックスに新しい Topic の名前を入力します。Topic 名には文字、数字、アンダースコア (_) を含めることができ、文字で始まる必要があります。長さは 128 文字を超えることはできません。
        Topic の選択	データ転送サービスでは、DataHub の Topic をクエリできます。[Topic の選択] をクリックし、[既存の Topic] ドロップダウンリストから同期する Topic を選択できます。
        Topic の一括生成	Topic を一括で生成するフォーマットは Topic_${Database Name}_${Table Name} です。

        [Topic の作成] または [Topic の一括生成] を選択した場合、スキーマ同期が完了した後、DataHub インスタンスで新しく作成された Topic をクエリできます。デフォルトでは、各 DataHub Topic には 2 つのパーティションがあり、データの有効期間は 7 日間です。これは変更できません。

      • 複数の Tuple テーブルを同期するには、表示されるダイアログボックスで [OK] をクリックします。

        

        [スキーマ同期] を選択せずに Tuple Topic と複数のテーブルを選択した場合、[オブジェクトと Topic のマッピング] ダイアログボックスで既存の Topic を選択して [OK] をクリックする必要があります。

        

        この場合、右側のペインの Topic の下に複数のテーブルが表示されますが、同期できるテーブルは 1 つだけです。 次に、[次へ] をクリックします。 Tuple Topic とテーブルの間では 1 対 1 のマッピングのみがサポートされている旨のプロンプトが表示されます。

        

   Data Transmission Service では、テキストを使用してオブジェクトをインポートできます。また、オブジェクトの名前変更、行フィルターの設定、単一またはすべてのオブジェクトの削除も可能です。ターゲットデータベースのオブジェクトは、Topic > データベース > テーブルの構造でリストされます。

   説明

   [一致ルール] を選択して同期オブジェクトを指定する場合、オブジェクト名の変更は、指定した一致ルールの構文に基づいて実装されます。 操作エリアでは、フィルター条件の設定、およびシャーディング列と同期対象列の選択のみが可能です。 詳細については、「一致ルールの設定と変更」をご参照ください。

   

   操作	説明
   オブジェクトのインポート	右側のリストで、右上隅の [オブジェクトのインポート] をクリックします。 表示されるダイアログボックスで、[OK] をクリックします。 重要 この操作は以前の選択を上書きします。注意して進めてください。 [同期オブジェクトのインポート] ダイアログボックスで、同期するオブジェクトをインポートします。 CSV ファイルをインポートして、データベースやテーブルの名前を変更したり、行フィルタリング条件を設定したりできます。詳細については、「同期オブジェクトの設定のダウンロードとインポート」をご参照ください。 [検証] をクリックします。 検証が成功したら、[OK] をクリックします。
   Topic の変更	Topic タイプが BLOB に設定されている場合、ターゲットデータベースのオブジェクトの Topic を変更できます。詳細については、「Topic の変更」をご参照ください。
   設定	Data Transmission Service では、WHERE 句を使用して行単位でデータをフィルタリングしたり、シャーディング列を選択したり、同期する列を選択したりできます。 右側のリストで、設定したいテーブルオブジェクトの上にポインターを移動します。 [設定] をクリックします。 [設定]ダイアログボックスでは、以下の操作を実行できます。 [行フィルター] セクションで、行単位でデータをフィルターするための標準 SQL WHERE 句を指定します。 詳細については、「SQL 条件を使用してデータをフィルターする」をご参照ください。 [シャーディング列] ドロップダウンリストから、使用するシャーディング列を選択します。複数のフィールドをシャーディング列として選択できます。このパラメーターは任意です。 特に指定がない限り、プライマリキーをシャーディング列として選択してください。プライマリキーが負荷分散されていない場合は、潜在的なパフォーマンスの問題を避けるために、一意の識別子を持つ負荷分散されたフィールドをシャーディング列として選択してください。シャーディング列は次の目的で使用できます： 負荷分散：ターゲットテーブルが同時書き込みをサポートしている場合、シャーディング列に基づいてメッセージ送信に使用されるスレッドを認識できます。 順序性：Data Transmission Service は、シャーディング列の値が同じであれば、メッセージが順序通りに受信されることを保証します。順序性は、列に対する DML 文の実行順序を指定します。 [列の選択] セクションで、同期する列を選択します。詳細については、「列のフィルター」をご参照ください。 [OK] をクリックします。
   1 つまたはすべてのオブジェクトを削除	Data Transmission Service では、データマッピング中に右側のリストに追加された単一またはすべての同期オブジェクトを削除できます。 単一の同期オブジェクトを削除 右側のリストで、削除するオブジェクトにマウスカーソルを合わせ、[削除] をクリックして同期オブジェクトを削除します。 すべての同期オブジェクトを削除 右側のリストで、右上隅にある[すべて削除]をクリックします。 表示されるダイアログボックスで [OK] をクリックし、すべての同期オブジェクトを削除します。

6. [次へ] をクリックします。[同期オプション] ページで、パラメーターを設定します。

   • フル同期

     次の表では、[同期タイプの選択] ページで [フル同期] を選択した場合にのみ表示されるフル同期パラメーターについて説明します。

     

     パラメーター	説明
     読み取り同時実行数	フル同期中のソースからのデータ読み取りの同時実行数。最大値は 512 です。高い同時実行数はソースに過度の負荷をかけ、ビジネスに影響を与える可能性があります。
     書き込み同時実行数	フル同期中のターゲットへのデータ書き込みの同時実行数。最大値は 512 です。高い書き込み同時実行数はターゲットに過度の負荷をかけ、ビジネスに影響を与える可能性があります。
     フル同期レート制限	必要に応じてフル同期レートを制限するかどうかを選択できます。フル同期レートを制限することを選択した場合、1 秒あたりのレコード数 (RPS) と 1 秒あたりのバイト数 (BPS) を指定する必要があります。RPS はフル同期中にターゲットに同期される 1 秒あたりの最大データ行数を指定し、BPS はフル同期中にターゲットに同期される 1 秒あたりの最大データ量をバイト単位で指定します。 説明 ここで指定された RPS と BPS の値は速度制限のためだけです。実際のフル同期パフォーマンスは、ソースとターゲットの設定やインスタンスの仕様などの要因に左右されます。

   • 増分同期

     次の表は、[同期タイプの選択] ページで [増分同期] を選択した場合にのみ表示される増分同期パラメーターについて説明しています。

     

     パラメーター	説明
     書き込み同時実行数	増分同期中のターゲットへのデータ書き込みの同時実行数。最大値は 512 です。高い書き込み同時実行数はターゲットに過度の負荷をかけ、ビジネスに影響を与える可能性があります。
     増分同期レート制限	必要に応じて増分同期レートを制限するかどうかを選択できます。増分同期レートを制限することを選択した場合、RPS と BPS を指定する必要があります。RPS は増分同期中にターゲットに同期される 1 秒あたりの最大データ行数を指定し、BPS は増分同期中にターゲットに同期される 1 秒あたりの最大データ量をバイト単位で指定します。 説明 ここで指定された RPS と BPS の値は速度制限のためだけです。実際の増分同期パフォーマンスは、ソースとターゲットの設定やインスタンスの仕様などの要因に左右されます。
     増分同期開始タイムスタンプ	[完全同期] を選択した場合、このパラメーターは利用できません。 [増分同期] を選択し、[フル同期] を選択していない場合は、同期を開始する時点を指定します。 デフォルト値は現在のシステム時刻です。 詳細については、「増分同期のタイムスタンプを設定する」をご参照ください。

   • 詳細パラメーター

     

     パラメーター	説明
     シリアル化方式	ターゲット DataHub インスタンスにデータを同期するためのメッセージフォーマット。 有効な値は、Default、Canal、DataWorks (バージョン 2.0 対応)、SharePlex、DefaultExtendColumnType、Debezium、DebeziumFlatten、DebeziumSmt、および DTSCompatible です。 詳細については、「シリアル化メソッドで使用されるデータフォーマット」をご参照ください。 重要 このパラメーターは、[同期オブジェクトの選択] ページで Topic タイプを BLOB に設定した場合、またはこのページで Topic タイプを Tuple に設定し、ソースが MySQL 互換モードの OceanBase データベースである場合にのみ利用可能です。 MySQL 互換モードの OceanBase データベースのみが、[Debezium]、[DebeziumFlatten]、[DebeziumSmt]、および [DTSCompatible] をサポートします。 ソースが MySQL 互換モードの OceanBase データベースで、[同期オブジェクトの選択] ページで Topic タイプをタプルに設定した場合、シリアル化メソッドとして [デフォルト] または [DTSCompatible] を選択できます。
     パーティション分割ルール	ソースデータベースから DataHub Topic にデータを同期するためのルールです。有効な値は [ハッシュ] と [テーブル] です。ダウンストリームアプリケーションがメッセージを消費する際に DDL と DML の消費の一貫性を確保できるよう、[テーブル] を選択することをお勧めします。 [ハッシュ] は、データ転送サービスがプライマリキーまたはシャーディング列の値に基づいて、ハッシュアルゴリズムを使用して DataHub Topic のシャードを選択することを示します。 テーブルは、データ伝送サービスがテーブル内のすべてのデータを同じパーティションに配信し、テーブル名をハッシュキーとして使用することを示します。 説明 [同期タイプの選択] ページで DDL 同期 を選択した場合、パーティショニングルールは テーブル にのみ設定できます。
     業務システム識別子 (オプション)	データのソース業務システムを識別します。このパラメーターは、[シリアル化方式] として [DataWorks] を選択した場合にのみ表示されます。業務システム識別子は 1～20 文字です。

7. [事前チェック] をクリックします。

   事前チェックでは、データ転送サービスは列名、列タイプ、および値が null であるかどうかをチェックします。 値の長さやデフォルト値はチェックしません。 事前チェック中にエラーが返された場合は、次の操作を実行できます。

   • 問題を特定してトラブルシューティングし、再度事前チェックを実行します。

   • 失敗した事前チェック項目の「アクション」列で[スキップ]をクリックします。操作の結果を通知するダイアログボックスで、[OK] をクリックします。

8. 事前チェックに合格した後、[タスクの開始] をクリックします。

   今すぐタスクを開始する必要がない場合は、[保存] をクリックします。タスクは後で、[同期タスク] ページで手動で、またはバッチ操作によって開始できます。バッチ操作の詳細については、「データ同期タスクでバッチ操作を実行する」をご参照ください。

   Data Transmission Service では、同期タスクの実行中に同期オブジェクトを変更できます。詳細については、「同期オブジェクトとそのフィルター条件の表示と変更」をご参照ください。データ同期タスクが開始されると、選択した同期タイプに基づいて実行されます。詳細については、「データ同期タスクの詳細の表示」をご参照ください。

データ同期タスクで、ネットワーク障害またはプロセスの起動が遅いことが原因で実行例外が発生した場合、同期タスクの [同期タスク] または [詳細] ページで、[再開] をクリックできます。

関連ドキュメント

• OceanBase データソースの作成

• DataHub データソースの作成

• データ同期タスクのバッチ操作の実行

• データ同期タスクの詳細の表示