Data Integration を使用すると、ApsaraDB for OceanBase、MySQL、Oracle、PolarDB データソースなどのデータソースのデータベースから AnalyticDB for MySQL V3.0 にデータをリアルタイムで同期できます。このトピックでは、DataWorks Data Integration を使用して、MySQL データベースのフルデータと増分データをリアルタイムで AnalyticDB for MySQL V3.0 に同期する方法について説明します。
前提条件
サーバーレスリソースグループまたはData Integration 専用リソースグループが購入済みであること。
MySQL データソースと AnalyticDB for MySQL V3.0 データソースが DataWorks に追加されていること。詳細については、「Data Integration でデータソースを追加および管理する」をご参照ください。
リソースグループとデータソース間のネットワーク接続が確立されていること。詳細については、「ネットワーク接続ソリューション」をご参照ください。
手順
1. 同期タイプの選択
Data Integration ページに移動します。
DataWorks コンソールにログインします。上部のナビゲーションバーで、目的のリージョンを選択します。左側のナビゲーションウィンドウで、 を選択します。表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[データ統合に移動] をクリックします。
Data Integration ページの左側のナビゲーションウィンドウで、[同期タスク] をクリックします。「同期タスク」ページの上部で、「ソース」ドロップダウンリストからソースタイプを、「デスティネーション」ドロップダウンリストからデスティネーションタイプを選択し、[同期タスクの作成] をクリックします。表示されたページで、同期タスクの基本情報を構成します。
ソースとデスティネーション:
MySQLとAnalyticDB for MySQL (V3.0)をそれぞれ選択します。新しいノード名: ビジネス要件に基づいて同期タスクの名前を指定します。
同期方法:
データベース全体のリアルタイム移行を選択します。同期モード: [フル初期化] と [増分同期] を選択します。
2. ネットワーク設定とリソースグループの構成
ネットワークとリソースの構成 セクションで、同期タスクの実行に使用する [リソースグループ] を選択し、[タスクリソースの使用状況] パラメータを構成します。
ソース セクションで、「名前」ドロップダウンリストから追加した MySQL データソースを選択します。デスティネーション セクションで、「名前」ドロップダウンリストから追加した AnalyticDB for MySQL V3.0 データソースを選択します。次に、[接続テスト] をクリックします。
ネットワーク接続テストが成功したら、[次へ] をクリックします。
3. データを同期するテーブルを選択する
ソーステーブルこの手順では、 リストでデータを同期するテーブルを選択し、
選択されたテーブル アイコンをクリックして、選択したテーブルを リストに移動できます。
4. デスティネーションテーブルに関連する設定を構成する
データを同期するテーブルを選択すると、選択したテーブルが「デスティネーションテーブルのマッピングルール」セクションに自動的に表示されます。デスティネーションテーブルのプロパティはマッピングされるのを待っています。データの読み取りと書き込みの関係を決定するには、ソーステーブルとデスティネーションテーブル間のマッピングを手動で定義する必要があります。その後、「アクション」列の [更新] をクリックできます。ソーステーブルとデスティネーションテーブル間のマッピングを直接更新できます。デスティネーションテーブルに関連する設定を構成した後に、ソーステーブルとデスティネーションテーブル間のマッピングを更新することもできます。
ソーステーブルが表示されている行を選択し、[マッピング結果の一括更新] をクリックできます。「デスティネーションテーブル名のマッピングルールをカスタマイズする」パラメータが構成されていない場合、
${Source database name}_${Source table name}形式のマッピングルールが関連するデスティネーションテーブルに使用されます。デスティネーションにソーステーブルと同じ名前のテーブルが存在しない場合、システムはデスティネーションにテーブルを自動的に作成します。[編集] をクリックして、[宛先テーブル名のマッピングルールのカスタマイズ] 列で、ビジネス要件に基づいて宛先テーブル名のマッピングルールを設定できます。
組み込み変数と特定の文字列を連結してデスティネーションテーブル名にすることができます。組み込み変数を編集できます。たとえば、マッピングルールを作成するときに、ソーステーブル名を示す変数に接尾辞を追加して、デスティネーションテーブル名を作成できます。
a. フィールドのデータ型マッピングを変更する
ソースフィールドのデータ型とデスティネーションフィールドのデータ型の間には、デフォルトのマッピングが存在します。「デスティネーションテーブルのマッピングルール」セクションの右上隅にある [フィールドデータ型のマッピングを編集] をクリックして、ビジネス要件に基づいてソースフィールドとデスティネーションフィールド間のデータ型マッピングを構成できます。構成が完了したら、[適用してマッピングを更新] をクリックします。
b. デスティネーションテーブルのスキーマを変更して、テーブルにフィールドを追加し、フィールドに値を割り当てる
デスティネーションテーブルが [作成予定] 状態の場合、次の手順を実行して、テーブルにフィールドを追加し、フィールドに値を割り当てることができます。
1 つ以上のデスティネーションテーブルにフィールドを追加します。
単一のデスティネーションテーブルにフィールドを追加する: フィールドを追加するデスティネーションテーブルを見つけ、[デスティネーションテーブル名] 列の アイコンをクリックします。表示されたダイアログボックスで、フィールドを追加します。複数のデスティネーションテーブルに一度にフィールドを追加する: 一度にフィールドを追加するデスティネーションテーブルを選択し、ページ下部にある [一括変更] をクリックし、[デスティネーションテーブルスキーマ - 一括変更とフィールドの追加] をクリックします。
フィールドに値を割り当てます。次のいずれかの操作を実行して、フィールドに値を割り当てることができます。
単一のデスティネーションテーブルに追加されたフィールドに値を割り当てる: 新しく追加されたフィールドに値を割り当てるデスティネーションテーブルを見つけ、[値の割り当て] 列の [構成] をクリックします。「追加フィールド」ダイアログボックスで、フィールドに値を割り当てます。
複数のデスティネーションテーブルに追加されたフィールドに一度に値を割り当てる: 新しく追加されたフィールドに値を割り当てるデスティネーションテーブルを選択し、ページ下部にある [一括変更] をクリックし、[値の割り当て] をクリックして、選択したデスティネーションテーブルの同じフィールドに一度に値を割り当てます。
説明
アイコンをクリックして値の割り当て方法を切り替え、デスティネーションテーブルに追加されたフィールドに定数と変数を割り当てることができます。
c. DML 処理ルールの構成
Data Integration はデフォルトの DML 処理ルールを提供します。ビジネス要件に基づいて、デスティネーションテーブルの DML 処理ルールを構成することもできます。
単一のデスティネーションテーブルの DML 処理ルールを構成する: DML 処理ルールを構成するデスティネーションテーブルを見つけ、[DML ルールの構成] 列の [構成] をクリックして、テーブルの DML 処理ルールを構成します。
複数のデスティネーションテーブルの DML 処理ルールを一度に構成する: DML 処理ルールを構成するデスティネーションテーブルを選択し、ページ下部にある [一括変更] をクリックし、[DML ルールの構成] をクリックします。
5. アラートルールを構成する
同期タスクの失敗によってビジネスデータの同期に遅延が発生するのを防ぐために、同期タスクに異なるアラートルールを構成できます。
ページの右上隅にある [アラートルールの構成] をクリックして、[アラートルールの構成] パネルに移動します。
「アラートルールの構成」パネルで、[アラートルールの追加] をクリックします。「アラートルールの追加」ダイアログボックスで、パラメータを構成してアラートルールを構成します。
説明この手順で構成したアラートルールは、同期タスクによって生成されるリアルタイム同期サブタスクに有効になります。同期タスクの構成が完了したら、「リアルタイム同期タスクの管理」を参照して「リアルタイム同期タスク」ページに移動し、リアルタイム同期サブタスクに構成されているアラートルールを変更できます。
アラートルールを管理します。
作成されたアラートルールを有効または無効にすることができます。アラートの重大度レベルに基づいて、異なるアラート受信者を指定することもできます。
6. 詳細パラメータを構成する
ビジネス要件に基づいて、同期タスクに構成されている特定のパラメータの値を変更できます。たとえば、「最大読み取り接続数」パラメータに適切な値を指定して、現在の同期タスクがソースデータベースに過度の負荷をかけるのを防ぎ、データ生成に影響を与えないようにすることができます。
予期しないエラーやデータ品質の問題を防ぐために、パラメータの値を変更する前に、パラメータの意味を理解することをお勧めします。
詳細パラメータの設定構成ページの右上隅にある をクリックします。
詳細パラメータの設定 パネルで、目的のパラメータの値を変更します。
7. DDL 処理ルールの構成
ソースで DDL 操作が実行される場合があります。ページの右上隅にある [DDL 機能の構成] をクリックして、ビジネス要件に基づいてソースからの DDL メッセージを処理するルールを構成できます。
詳細については、「DDL メッセージを処理するルールの構成」をご参照ください。
8. リソースグループの表示と変更
ページの右上隅にある [リソースグループの構成] をクリックして、現在の同期タスクの実行に使用されるリソースグループを表示および変更できます。
9. 同期タスクを実行する
同期タスクの構成が完了したら、ページ下部にある [完了] をクリックします。
[データ統合] ページの [ノード] セクションで、作成した同期タスクを見つけ、[アクション] 列の [開始] をクリックします。
[タスク] セクションで同期タスクの [名前または ID] をクリックし、同期タスクの実行の詳細プロセスを表示します。
同期タスクで O&M 操作を実行する
同期タスクの実行状況を表示する
同期タスクの構成が完了したら、「同期タスク」ページの「タスク」セクションに移動し、現在のワークスペースに作成されたすべての同期タスクと各同期タスクの基本情報を表示できます。
「操作」列の [開始] または [停止] をクリックして、同期タスクを開始または停止できます。「アクション」列の「詳細」をクリックし、[編集] または [表示] を選択して、同期タスクを変更したり、同期タスクに関する情報を表示したりすることもできます。
「操作」列の [実行の詳細] をクリックして、同期タスクの実行の詳細を表示できます。同期タスクの実行詳細ページのさまざまなセクションをクリックして、関連情報を表示することもできます。
同期タスクには次の段階があります。
スキーママイグレーション: このタブには、デスティネーションテーブルが新しく作成されたテーブルか既存のテーブルかなどの情報が表示されます。新しく作成されたテーブルの場合、テーブルの作成に使用された DDL 文が表示されます。
フルデータ初期化: このタブには、バッチ同期に関係するソーステーブルとデスティネーションテーブル、同期の進行状況、同期されたデータレコードの数などの情報が表示されます。
リアルタイム同期: このタブには、同期の進行状況、DDL レコード、DML レコード、アラート情報など、リアルタイム同期の統計情報が表示されます。
同期タスクを再実行する
特別な場合において、ソースにテーブルを追加または削除した場合、あるいはデスティネーションテーブルのスキーマまたは名前を変更した場合は、同期タスクの [アクション] 列の「詳細」をクリックし、[再実行] をクリックして、変更後にタスクを再実行できます。再実行プロセス中に、同期タスクは、新しく追加されたテーブルからのみデスティネーションにデータを同期するか、マッピングされたソーステーブルからスキーマまたは名前が変更されたデスティネーションテーブルにのみデータを同期します。
タスクの構成を変更せずに同期タスクを再実行する場合は、「アクション」列の「詳細」をクリックし、[再実行] をクリックして、タスクを再実行し、フル同期と増分同期を再度実行します。
タスクにテーブルを追加または削除した後に同期タスクを再実行する場合は、変更後に [完了] をクリックします。この場合、同期タスクの「アクション」列に [更新の適用] が表示されます。[更新の適用] をクリックして、システムが同期タスクを再実行するようにトリガーします。再実行プロセス中に、同期タスクは新しく追加されたテーブルからデスティネーションにデータを同期します。元のテーブルのデータは再度同期されません。