Data Transmission Service:PolarDB for Oracle から自己管理 Kafka へのデータ同期

注意事項

• 増分同期のみサポートされています。スキーマ同期およびフルデータ同期はサポートされていません。

• 各タスクは 1 つのデータベースをサポートします。複数のデータベースを同期する場合は、それぞれに個別のタスクを作成してください。

• DTS は、遅延測定のためにソースインスタンスに dts_postgres_heartbeat という名前のハートビートテーブルを作成します。次の図は、テーブルスキーマを示しています。

• ソースインスタンスでの長時間実行トランザクションは、増分同期中に WAL の蓄積を引き起こし、ディスク領域を枯渇させる可能性があります。

課金

操作手順

1. データ同期タスクを購入します。「購入プロセス」をご参照ください。

   説明

   タスクを購入する際は、[ソースインスタンス] を PolarDB for Oracle、[宛先インスタンス] を Kafka、[同期トポロジー] を 一方向同期 に設定してください。

2. DTS コンソール にログインします。

   説明

   Data Management (DMS) コンソールに自動的にリダイレクトされた場合は、右下隅の アイコンをクリックしてから をクリックし、クラシック DTS コンソールに戻ることができます。

3. 左側のナビゲーションウィンドウで、データ同期 をクリックします。

4. 同期タスク ページの上部で、ご利用の宛先インスタンスが配置されているリージョンを選択します。

5. 購入したデータ同期タスクを見つけ、タスクの構成 をクリックします。

6. ソースインスタンスと宛先インスタンスを構成します。

   セクション	パラメーター	説明
   該当なし	タスク名	DTS はデフォルト名を生成します。識別しやすいようにわかりやすい名前を指定してください。名前は一意である必要はありません。
   ソースインスタンス	インスタンスタイプ	PolarDB インスタンス に固定されています。
   	インスタンスリージョン	インスタンス購入時に選択したリージョンです。変更できません。
   	PolarDB インスタンス ID	ソースの PolarDB for Oracle クラスターを選択します。
   	データベース名	同期するデータベースの名前を入力します。
   	データベースアカウント	ソースの PolarDB for Oracle クラスターの特権アカウントを入力します。「データベースアカウントの作成」をご参照ください。
   	データベースパスワード	データベースアカウントのパスワードを入力します。
   宛先インスタンス	インスタンスタイプ	Kafka のデプロイメントに応じて選択します。この例では、ECS インスタンス上の自己管理データベース を使用します。 説明 インスタンスタイプによっては、追加の準備が必要です。「準備概要」をご参照ください。
   	インスタンスリージョン	インスタンス購入時に選択したリージョンです。変更できません。
   	ECS インスタンス ID	Kafka クラスターがデプロイされている ECS インスタンスを選択します。
   	インスタンスタイプ	Kafka を選択します。
   	ポート	Kafka クラスターのクライアント接続ポートです。デフォルト：9092。
   	データベースアカウント	Kafka クラスターのユーザー名です。認証が不要な場合は空白のままにしてください。
   	データベースパスワード	アカウントのパスワードです。認証が不要な場合は空白のままにしてください。
   	トピック	トピックリストの取得 をクリックして、トピックを選択します。
   	Kafka バージョン	ご利用の Kafka クラスターバージョンを選択します。
   	接続方法	セキュリティ要件に応じて、非暗号化 または SCRAM-SHA-256 を選択します。

7. ページの右下隅で、ホワイトリストの設定と次へ をクリックします。

   ソースまたは宛先データベースが Alibaba Cloud データベースインスタンス（例：ApsaraDB RDS for MySQL や ApsaraDB for MongoDB インスタンス）の場合、DTS は DTS サーバーの CIDR ブロックを自動的にインスタンスの IP アドレスホワイトリストに追加します。ソースまたは宛先データベースが Elastic Compute Service (ECS) インスタンス上でホストされている自己管理データベースの場合、DTS は DTS サーバーの CIDR ブロックを自動的に ECS インスタンスのセキュリティグループルールに追加しますが、ECS インスタンスがデータベースにアクセスできることを確認する必要があります。自己管理データベースが複数の ECS インスタンス上でホストされている場合は、各 ECS インスタンスのセキュリティグループルールに DTS サーバーの CIDR ブロックを手動で追加する必要があります。ソースまたは宛先データベースがデータセンターまたはサードパーティのクラウド サービス プロバイダー (CSP) で提供されている自己管理データベースの場合、DTS がデータベースにアクセスできるように、データベースの IP アドレスホワイトリストに DTS サーバーの CIDR ブロックを手動で追加する必要があります。詳細については、「DTS サーバーの IP アドレスをホワイトリストに登録する」をご参照ください。

   警告

   DTS サーバーのパブリック IP アドレス CIDR ブロックを自動または手動で追加すると、セキュリティリスクが生じる可能性があります。本プロダクトをご利用になる場合、これらの潜在的なリスクを認識・承諾したものとみなされます。基本的なセキュリティ保護を実施する必要があります。これには、パスワードセキュリティの強化、CIDR ブロック向けのオープンポートの制限、内部 API 通信における認証の使用、不要な CIDR ブロックの定期的な見直しと制限などが含まれますが、これらに限定されません。または、専用回線、VPN Gateway、Smart Access Gateway などの内部ネットワーク経由でデータベースに接続することもできます。

8. 同期オブジェクトを構成します。

   

   パラメーター	説明
   同期オブジェクト	ソースオブジェクト セクションで同期するテーブルを選択し、 をクリックして 選択中のオブジェクト セクションに移動させます。 説明 DTS は、テーブル名を ステップ 6 で選択したトピックにマッピングします。テーブルを別のトピックに再マッピングするには、テーブル名にカーソルを合わせて 編集 をクリックします。対象トピックは、Kafka クラスター内にすでに存在している必要があります。「宛先インスタンスでのオブジェクト名の設定」をご参照ください。
   Kafka に配信されるデータ形式	Avro 形式または SharePlex JSON 形式で配信されます。「メッセージキューでのデータ形式」をご参照ください。
   Kafka パーティションへのデータ送信ポリシー	パーティションポリシーを選択します。「Kafka パーティション同期戦略」をご参照ください。
   オブジェクト名マッピング	宛先インスタンスで同期オブジェクトの名前を変更します。詳細については、「データベース、テーブル、およびカラムのマッピング」をご参照ください。
   接続失敗時のリトライ時間	DTS がソースまたは宛先インスタンスに接続できない場合、デフォルトで 720 分間（12 時間）リトライします。カスタムのリトライ持続時間を指定することもできます。指定された時間内に DTS がソースまたは宛先インスタンスに再接続すると、同期タスクは自動的に再開されます。それ以外の場合は、タスクは失敗します。 説明 接続リトライ中のタスク実行時間に対して課金されます。ビジネス要件に基づいてリトライ持続時間をカスタマイズするか、ソースおよび宛先インスタンスをリリースしたらすぐに DTS インスタンスをリリースしてください。

9. 上記の構成が完了したら、ページの右下隅で 次へ をクリックします。

10. 同期初期化およびフィルターオプションを構成します。

    

    パラメーター	説明
    同期初期化	デフォルトで 増分データ同期 が選択されています。DTS は増分データをリアルタイムで同期します。
    フィルターオプション	デフォルトで 増分同期フェーズでの DDL の無視 が選択されています。ソースからの DDL 操作は同期されません。 説明 このシナリオでは、この設定に関係なく DDL 操作はサポートされていません。

11. 上記の構成が完了したら、ページの右下隅で 事前チェックと開始 をクリックします。

    説明

    • 同期タスクを開始する前に事前チェックが実行され、合格した後でのみタスクを開始できます。

    • 事前チェックに失敗した場合は、失敗した項目の横にある アイコンをクリックして詳細を確認します。

      • 原因に基づいて問題を修正し、再度事前チェックを実行できます。

      • 警告をトリガーした項目を修正する必要がない場合は、無視 または 警告を無視して事前チェックを再実行 をクリックして、警告をスキップし、再度事前チェックを実行できます。

12. 事前チェック ダイアログボックスに 事前チェック完了 と表示されたら、事前チェック ダイアログボックスを閉じます。同期タスクは自動的に開始されます。

13. タスクの初期化が完了し、同期中 状態になるまで待ちます。

    データ同期 ページで、データ同期タスクのステータスを確認できます。