このトピックでは、単一の Oracle テーブルから Tablestore への同期を例として、Data Integration を使用して Oracle テーブルから Tablestore にデータをリアルタイムで同期する方法について説明します。
前提条件
サーバーレスリソースグループまたはデータ統合専用リソースグループが購入されていること。
Oracle および Tablestore のデータソースが作成されていること。 詳細については、「Data Integration のデータソースを作成する」をご参照ください。
リソースグループとデータソース間のネットワーク接続が確立されていること。 詳細については、「ネットワーク接続ソリューション」をご参照ください。
手順
ステップ 1: 同期タスクタイプを選択する
Data Integration ページに移動します。
DataWorks コンソールにログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、 を選択します。 表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[Go To Data Integration] をクリックします。
左側のナビゲーションウィンドウで [同期タスク] をクリックし、ページの上部にある [同期タスクの作成] をクリックして、同期タスク作成ページに移動します。 次の基本情報を設定します。
ソースと宛先:
Oracle→Tablestore新しいタスク名: 同期タスク名をカスタマイズします。
同期タイプ:
Single Table Realtime。
ステップ 2: ネットワークとリソースを設定する
[ネットワークとリソースの構成] セクションで、同期タスクの [リソースグループ] を選択します。 [タスクリソースの使用状況] に CU 数を割り当てることができます。
[ソースデータソース] で、追加した
Oracleデータソースを選択します。 [宛先データソース] で、追加したTablestoreデータソースを選択し、[接続性のテスト] をクリックします。
ソースと宛先の両方のデータソースが正常に接続されたことを確認したら、[次へ] をクリックします。
ステップ 3: 同期リンクを設定する
1. Oracle ソースを設定する
ページ上部の Oracle データソースをクリックして、[Oracle ソース情報] を編集します。
[Oracle ソース情報] セクションで、読み取る Oracle テーブルが配置されているスキーマとソーステーブルを選択します。
右上隅の [データサンプリング] をクリックします。
[データ出力のプレビュー] ダイアログボックスで、[サンプリングされたデータレコード] を指定し、[収集の開始] をクリックして、指定された Oracle テーブルからデータをサンプリングし、Oracle テーブルのデータをプレビューします。これは、後続のビジュアル構成の入力となります。
2. データ処理ノードを設定する
アイコンをクリックして、データ処理メソッドを追加できます。 次のデータ処理メソッドがサポートされています: データマスキング、文字列の置換、データフィルタリング、JSON 解析、および フィールドの編集と値の割り当て。 ビジネス要件に基づいてデータ処理メソッドを配置できます。 同期タスクが実行されると、指定した処理順序に基づいてデータが処理されます。
データ処理ノードの設定が完了したら、右上隅にある [データ出力のプレビュー] ボタンをクリックできます。 表示されるダイアログボックスで、[祖先ノードの出力を再取得] をクリックして、Oracle テーブルのサンプルデータが現在のデータ処理ノードによって処理された後の結果をシミュレートします。
データ出力のプレビューは、Oracle ソースの [データサンプリング] に強く依存します。 データ出力のプレビューを実行する前に、Oracle ソースフォームでデータサンプリングを完了する必要があります。
3. Tablestore 宛先情報を設定する
ページ上部の Tablestore データ宛先をクリックして、[Tablestore 宛先情報] を編集します。
[Tablestore 宛先情報] セクションで、データを書き込む Tablestore テーブルを選択します。
説明Tablestore テーブルは事前に作成しておく必要があります。
[データ更新モード] を選択します。 次のモードがサポートされています:
replace: 行の変更。 更新されたデータで元の行を直接上書きします。
update: 列の変更。 データが変更された列のみを更新します。
フィールドマッピングを設定します。
右側の [フィールドマッピング] セクションで、[すべてのソースフィールドを属性フィールドとして一括追加] をクリックするか、[出力フィールド] セクションで [属性フィールドの追加] を手動でクリックし、[同名マッピング]、[同行マッピング]、または [マッピングのクリア] をクリックしてマッピングを設定します。
4. アラートルールを設定する
同期タスクの失敗によるビジネスデータ同期の遅延を防ぐために、同期タスクに異なるアラートルールを設定できます。
ページの右上隅にある [アラートルールの設定] をクリックして、[アラートルールの設定] パネルに移動します。
[アラートルールの設定] パネルで、[アラートルールの追加] をクリックします。 [アラートルールの追加] ダイアログボックスで、パラメーターを設定してアラートルールを設定します。
説明このステップで設定するアラートルールは、同期タスクによって生成されるリアルタイム同期サブタスクに対して有効になります。 同期タスクの設定が完了したら、「リアルタイム同期タスクの管理」を参照して、リアルタイム同期タスクページに移動し、リアルタイム同期サブタスクに設定されたアラートルールを変更できます。
アラートルールを管理します。
作成されたアラートルールを有効または無効にできます。 アラートの重大度レベルに基づいて、異なるアラート受信者を指定することもできます。
5. 詳細パラメーターを設定する
DataWorks では、特定のパラメーターの設定を変更できます。 ビジネス要件に基づいて、これらのパラメーターの値を変更できます。
予期しないエラーやデータ品質の問題を防ぐために、パラメーターの値を変更する前に、パラメーターの意味を理解することをお勧めします。
設定ページの右上隅にある [詳細パラメーターの設定] をクリックします。
[詳細パラメーターの設定] パネルで、目的のパラメーターの値を変更します。
ステップ 6: DDL 機能を設定する
DDL 操作はソースで実行される場合があります。 ページの右上隅にある [DDL 機能の設定] をクリックして、ビジネス要件に基づいてソースからの DDL メッセージを処理するルールを設定できます。
詳細については、「DDL メッセージを処理するルールを設定する」をご参照ください。
ステップ 7: リソースグループを設定する
ページの右上隅にある [リソースグループの設定] をクリックして、現在の同期タスクの実行に使用されるリソースグループを表示および変更できます。
ステップ 8: テスト実行を実行する
上記の設定が完了したら、設定ページの右上隅にある [シミュレーション実行の実行] をクリックして、同期タスクがサンプリングされたデータを宛先テーブルに同期できるようにします。 同期結果は宛先テーブルで表示できます。 同期タスクの特定の設定が無効である場合、テスト実行中に例外が発生した場合、またはダーティデータが生成された場合、システムはリアルタイムでエラーを報告します。 これにより、同期タスクの設定を確認し、期待される結果をできるだけ早い機会に得られるかどうかを判断できます。
表示されるダイアログボックスで、[開始位置] および [サンプリングされたデータレコード] パラメーターを含む、指定されたテーブルからのデータサンプリングのパラメーターを設定します。
[収集の開始] をクリックして、同期タスクがソースからデータをサンプリングできるようにします。
[プレビュー] をクリックして、同期タスクがサンプリングされたデータを宛先に同期できるようにします。
ステップ 9: 同期タスクを実行する
同期タスクの設定が完了したら、ページの下部にある [完了] をクリックします。
[同期タスク] ページの [タスク] セクションで、作成した同期タスクを見つけ、[操作] 列の [開始] をクリックします。
[タスク] セクションで同期タスクの [名前または ID] をクリックし、同期タスクの詳細な実行プロセスを表示します。
同期タスクの O&M 操作を実行する
同期タスクのステータスを表示する
同期タスクが作成された後、[同期タスク] ページに移動して、ワークスペースで作成されたすべての同期タスクと各同期タスクの基本情報を表示できます。
[アクション] 列で同期タスクを [開始] または [停止] できます。 [その他] メニューでは、同期タスクに対して [編集] や [表示] などの操作を実行できます。
開始されたタスクについては、[実行詳細] でタスクの基本ステータスを確認したり、対応する詳細エリアをクリックして実行詳細を表示したりできます。
Oracle から Tablestore へのリアルタイム同期タスクには、[リアルタイムデータ同期] が含まれます。 実行情報、DDL レコード、およびアラート情報を表示できます。
同期タスクを再実行する
特殊なケースで、同期するフィールド、宛先テーブルのフィールド、またはテーブル名情報を変更したい場合は、目的の同期タスクの [操作] 列にある [再実行] をクリックすることもできます。 これにより、システムは宛先に対して行われた変更を同期します。 すでに同期されていて変更されていないテーブルのデータは、再度同期されません。
同期タスクの設定を変更せずに [再実行] を直接クリックして、システムが同期タスクを再実行できるようにします。
同期タスクの設定を変更してから [完了] をクリックします。 同期タスクの [操作] 列に表示される [更新の適用] をクリックして、最新の設定を有効にするために同期タスクを再実行します。