単一テーブルのリアルタイム同期タスクは、ソース Hologres テーブルのスキーマに基づいて宛先 Doris データソースに宛先テーブルを作成し、ソーステーブルから宛先テーブルにデータを書き込みます。このトピックでは、Hologres テーブルから Doris にデータをリアルタイムで同期する方法について説明します。
制限
Hologres インスタンスのバージョンは V2.1 以降である必要があります。
Hologres パーティションテーブルからのデータの増分同期はサポートされていません。
Hologres テーブルに対する DDL 変更のメッセージは同期できません。
Hologres からは、次のデータ型の増分データを同期できます:
INTEGER、BIGINT、TEXT、CHAR(n)、VARCHAR(n)、REAL、JSON、SERIAL、OID、INT4[]、INT8[]、FLOAT8[]、BOOLEAN[]、および TEXT[]。
前提条件
サーバーレスリソースグループを購入済みであること。
Hologres と Doris のデータソースを作成済みであること。詳細については、「Data Integration のデータソースを作成する」をご参照ください。
リソースグループとデータソース間のネットワーク接続を確立済みであること。詳細については、「ネットワーク接続ソリューション」をご参照ください。
Hologres テーブルをリアルタイムで同期するには、ソース Hologres データベーステーブルに対して Hologres Binlog を有効にする必要があります。詳細については、「Hologres Binlog のサブスクライブ」をご参照ください。
手順
1. 同期タスクのタイプを選択する
Data Integration ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[Data Integration に移動] をクリックします。
左側のナビゲーションウィンドウで [Sync Tasks] をクリックします。次に、ページの上部にある [Create Sync Task] をクリックして、同期タスクを作成するページに移動します。次の基本情報を構成します:
データソースと宛先:
Hologres→Doris新しいタスク名: 同期タスクのカスタム名を指定します。
同期タイプ:
Single-table Real-time。同期ステップ:
Full Syncを選択します。
2. ネットワークとリソースを構成する
[ネットワークとリソース] セクションで、同期タスクの [リソースグループ] を選択します。[タスクリソース使用量] に計算ユニット (CU) の数を割り当てることができます。
[ソースデータソース] で、追加した
Hologresデータソースを選択し、[宛先データソース] で、追加したDorisデータソースを選択してから、[接続性のテスト] をクリックします。
ソースと宛先の両方のデータソースが接続されていることを確認したら、[次へ] をクリックします。
3. 同期リンクを構成する
1. Hologres ソースを構成する
ページの上部にある Hologres データソースをクリックし、[Holo ソース情報] を編集します。
[Holo ソース情報] セクションで、読み取る Hologres テーブルを含むスキーマとソーステーブルを選択します。
右上隅にある [データサンプリング] をクリックします。
[データ出力プレビュー] ダイアログボックスで、[サンプル数] を指定し、[収集開始] ボタンをクリックして、指定した Hologres テーブルからデータをサンプリングし、Hologres のデータをプレビューします。これにより、後続のビジュアル構成への入力が提供されます。
3. Doris 宛先を構成する
ページの上部にある Doris データ宛先をクリックし、[Doris 宛先情報] を編集します。
[Doris 宛先情報] セクションで、書き込む Doris テーブルを含む [データベース] を選択し、宛先テーブルを [自動テーブル作成] にするか [既存のテーブルを使用] にするかを指定します。
[自動テーブル作成] を選択した場合、デフォルトでソーステーブルと同じ名前のテーブルが作成されます。宛先テーブル名は手動で変更できます。
[既存のテーブルを使用] を選択した場合、ドロップダウンリストから同期先のテーブルを選択します。
(オプション) 宛先テーブルのスキーマを変更します。
[自動テーブル作成] を選択した場合は、[テーブル構造の編集] ボタンをクリックし、ダイアログボックスで宛先テーブルの構造を編集する必要があります。また、[アップストリームノードの出力列に基づいてテーブル構造を再生成] ボタンをクリックして、アップストリームノードの出力列に基づいてテーブル構造を自動的に生成することもできます。自動生成されたテーブル構造の列をプライマリキーおよびバケット列として選択できます。
説明宛先テーブルには、プライマリキーとバケット列が必要です。そうでない場合、構成は保存できません。
[アップストリームからの動的フィールドの処理戦略] を設定します。
アップストリームのフィールドに Doris 内の対応するフィールドがない場合、[無視]、[エラーを報告]、または [リプレイ] を選択できます。
ソースのフィールドと宛先のフィールド間のマッピングを構成します。
前述の構成を完了すると、システムは [同名マッピング] の原則に基づいて、ソースのフィールドと宛先のフィールド間のマッピングを自動的に確立します。ビジネス要件に基づいてマッピングを変更できます。ソースの 1 つのフィールドを宛先の複数のフィールドにマッピングできます。ソースの複数のフィールドを宛先の同じフィールドにマッピングすることはできません。ソースのフィールドにマッピングされた宛先のフィールドがない場合、ソースのフィールドのデータは宛先に同期されません。
4. アラートルールを構成する
同期タスクの失敗によるビジネスデータの同期の遅延を防ぐために、同期タスクにさまざまなアラートルールを構成できます。
ページの右上隅にある [アラートルールの構成] をクリックして、[アラートルールの構成] パネルに移動します。
[アラートルールの構成] パネルで、[アラートルールの追加] をクリックします。[アラートルールの追加] ダイアログボックスで、パラメーターを構成してアラートルールを構成します。
説明このステップで構成するアラートルールは、同期タスクによって生成されるリアルタイム同期サブタスクに対して有効になります。同期タスクの構成が完了したら、「リアルタイム同期タスクの管理」を参照してリアルタイム同期タスクページに移動し、リアルタイム同期サブタスクに構成されたアラートルールを変更できます。
アラートルールを管理します。
作成されたアラートルールを有効または無効にできます。また、アラートの重大度レベルに基づいて、異なるアラート受信者を指定することもできます。
5. 高度なパラメーターを構成する
DataWorks では、特定のパラメーターの構成を変更できます。ビジネス要件に基づいて、これらのパラメーターの値を変更できます。
予期しないエラーやデータ品質の問題を防ぐために、パラメーターの値を変更する前に、パラメーターの意味を理解することをお勧めします。
構成ページの右上隅にある [高度なパラメーターの構成] をクリックします。
[高度なパラメーターの構成] パネルで、目的のパラメーターの値を変更します。
6. リソースグループを構成する
ページの右上隅にある [リソースグループの構成] をクリックして、現在の同期タスクの実行に使用されるリソースグループを表示および変更できます。
7. 同期タスクを実行する
同期タスクの構成が完了したら、ページの下部にある [完了] をクリックします。
[同期タスク] ページの [タスク] セクションで、作成した同期タスクを見つけ、[操作] 列の [開始] をクリックします。
[タスク] セクションで同期タスクの [名前または ID] をクリックし、同期タスクの詳細な実行プロセスを表示します。
同期タスクの O&M 操作を実行する
同期タスクのステータスを表示する
同期タスクが作成された後、同期タスクページに移動して、ワークスペースで作成されたすべての同期タスクと各同期タスクの基本情報を表示できます。
[アクション] 列で同期タスクを [開始] または [停止] できます。また、[その他] をクリックして同期タスクを [編集] または [表示] することもできます。
開始されたタスクについては、[実行概要] で基本的な実行ステータスを表示できます。また、対応する概要エリアをクリックして実行の詳細を表示することもできます。
Hologres から Doris への単一テーブルのリアルタイム同期タスクは、次の 3 つのステップで構成されます:
構造移行: 宛先テーブルの作成メソッド (既存のテーブルまたは自動テーブル作成) が含まれます。自動テーブル作成を選択した場合、テーブルを作成するための DDL 文が表示されます。
完全初期化: [同期ステップ] で [完全同期] を選択した場合、完全初期化の進行状況がここに表示されます。
リアルタイムデータ同期: リアルタイムの読み取り/書き込みトラフィック、ダーティデータ、フェールオーバー、操作ログなどのリアルタイム同期の統計情報が含まれます。
同期タスクを再実行する
特殊なケースで、同期するフィールド、宛先テーブルのフィールド、またはテーブル名情報を変更したい場合は、目的の同期タスクの [操作] 列にある [再実行] をクリックすることもできます。これにより、システムは宛先に行われた変更を同期します。すでに同期済みで変更されていないテーブルのデータは、再度同期されません。
同期タスクの構成を変更せずに [再実行] を直接クリックすると、システムが同期タスクを再実行できます。
同期タスクの構成を変更してから [完了] をクリックします。同期タスクの [操作] 列に表示される [更新を適用] をクリックして同期タスクを再実行し、最新の構成を有効にします。