:MySQL データベースから Data Lake Formation へのリアルタイム同期

1. 同期タスクのタイプを選択する

1. Data Integration ページに移動します。

   DataWorks コンソールにログインします。 上部のナビゲーションバーで、目的のリージョンを選択します。 左側のナビゲーションウィンドウで、[Data Integration] > [Data Integration] を選択します。 表示されたページで、ドロップダウンリストから目的のワークスペースを選択し、[Data Integration に移動] をクリックします。

2. 左側のナビゲーションウィンドウで、[同期タスク] をクリックします。 次に、ページの上部にある [同期タスクの作成] をクリックして、同期タスクの作成ページに移動します。 次の基本情報を設定します。

   • [データソースと宛先]: MySQL→Data Lake Formation

   • [新しいタスク名]: 同期タスクのカスタム名を指定します。

   • [同期タイプ]: Entire Database Real-time。

   • [同期ステップ]: [フル同期] と [増分同期] を選択します。

2. ネットワークとリソースを設定する

1. [ネットワークとリソースの設定] セクションで、同期タスクの [リソースグループ] を選択します。 [タスクリソースの使用量] に計算ユニット (CU) の数を割り当てることができます。

2. [ソースデータソース] で、追加した MySQL データソースを選択します。 [宛先データソース] で、追加した Data Lake Formation データソースを選択します。 次に、[接続テスト] をクリックします。

   

3. ソースと宛先の両方のデータソースが接続されていることを確認したら、[次へ] をクリックします。

3. 同期するデータベースとテーブルを選択する

[テーブル選択方法] に基づいて、同期するデータベースとテーブルをフィルターします。

• [特定のデータベースとテーブルを選択]:

  • ソースデータベースとテーブルの [データベースフィルター] および [テーブルフィルター] フィールドに、データベースまたはテーブル名の特性を入力して、同期するデータベースとテーブルをフィルターできます。 同期するすべてのデータベースとテーブルを選択し、 アイコンをクリックして [選択したデータベースとテーブル] セクションに移動します。

  • [選択したデータベースとテーブル] の [データベースフィルター] および [テーブルフィルター] フィールドに、データベースまたはテーブル名の特性を入力して、同期したくないデータベースとテーブルをフィルターできます。 同期したくないすべてのデータベースとテーブルを選択し、 アイコンをクリックして [ソースデータベースとテーブル] セクションに移動します。

• [正規表現を使用してテーブルを選択 (実行時に正規表現によるテーブルの追加または削除をサポート)]:

  [データベースフィルター] および [テーブルフィルター] フィールドで設定された正規表現を使用してテーブル情報をフィルターします。 [選択の確認] をクリックして、同期するデータベースとテーブルを選択します。

  説明

  たとえば、名前が a で始まるデータベースと、名前が order で始まるテーブルをフィルターして同期するには、[データベースフィルター] フィールドに a.* を入力し、[テーブルフィルタリング] フィールドに order.* を入力します。

4. 宛先に関連する設定を行う

データを同期するテーブルを選択すると、選択したテーブルが宛先テーブルのマッピングルールセクションに自動的に表示されます。 宛先テーブルのプロパティはマッピングを待機しています。 ソーステーブルと宛先テーブル間のマッピングを手動で定義して、データの読み取りと書き込みの関係を決定する必要があります。 次に、[操作] 列の [リフレッシュ] をクリックします。 ソーステーブルと宛先テーブル間のマッピングを直接リフレッシュできます。 宛先テーブルに関連する設定を行った後、ソーステーブルと宛先テーブル間のマッピングをリフレッシュすることもできます。

5. アラートルールを設定する

同期タスクの失敗によってビジネスデータの同期に遅延が発生するのを防ぐために、同期タスクに異なるアラートルールを設定できます。

1. ページの右上隅にある [アラートルールの設定] をクリックして、[アラートルールの設定] パネルに移動します。

2. [アラートルールの設定] パネルで、[アラートルールの追加] をクリックします。 [アラートルールの追加] ダイアログボックスで、パラメーターを設定してアラートルールを設定します。

   説明

   このステップで設定したアラートルールは、同期タスクによって生成されるリアルタイム同期サブタスクに対して有効になります。 同期タスクの設定が完了したら、「リアルタイム同期タスクの管理」を参照して、リアルタイム同期タスクページに移動し、リアルタイム同期サブタスクに設定されたアラートルールを変更できます。

3. アラートルールを管理します。

   作成されたアラートルールを有効または無効にできます。 アラートの重大度レベルに基づいて、異なるアラート受信者を指定することもできます。

6. 高度なパラメーターを設定する

ビジネス要件に基づいて、同期タスクに設定された特定のパラメーターの値を変更できます。 たとえば、[最大読み取り接続数] パラメーターに適切な値を指定して、現在の同期タスクがソースデータベースに過度の圧力をかけることや、データ生成が影響を受けることを防ぐことができます。

1. 設定ページの右上隅にある [高度なパラメーターの設定] をクリックします。

2. [高度なパラメーターの設定] パネルで、目的のパラメーターの値を変更します。

7. DDL 処理ルールを設定する

DDL 操作はソースで実行される場合があります。 ページの右上隅にある [DDL 機能の設定] をクリックして、ビジネス要件に基づいてソースからの DDL メッセージを処理するルールを設定できます。

8. リソースグループの表示と変更

ページの右上隅にある [リソースグループの設定] をクリックして、現在の同期タスクの実行に使用されるリソースグループを表示および変更できます。

9. 同期タスクを実行する

1. 同期タスクの設定が完了したら、ページの下部にある [完了] をクリックします。

2. [Data Integration] ページの [ノード] セクションで、作成した同期タスクを見つけ、[アクション] 列の [開始] をクリックします。

3. [タスク] セクションで同期タスクの [名前または ID] をクリックし、同期タスクの詳細な実行プロセスを表示します。

同期タスクのステータスを表示する

同期タスクを作成した後、[同期タスク] ページで作成された同期タスクのリストと各同期タスクの基本情報を表示できます。

• [アクション] 列の [開始] または [停止] をクリックして、同期タスクを開始または停止できます。 [その他] をクリックして、同期タスクに対して [編集] や [表示] などの操作を実行することもできます。

• 開始されたタスクについては、[実行概要] で基本的な実行ステータスを表示できます。 対応する概要エリアをクリックして、実行の詳細を表示することもできます。

  MySQL データベース全体を Data Lake Formation に同期するためのリアルタイム同期タスクは、次の 3 つのステップで構成されます。

  • スキーマ移行: このタブには、宛先テーブルが新しく作成されたテーブルか既存のテーブルかなどの情報が表示されます。 新しく作成されたテーブルの場合、テーブルの作成に使用される DDL 文が表示されます。

  • 完全なデータ初期化: このタブには、バッチ同期に関与するソーステーブルと宛先テーブル、同期の進行状況、同期されたデータレコードの数などの情報が表示されます。

  • リアルタイム同期: このタブには、同期の進行状況、DDL レコード、DML レコード、アラート情報など、リアルタイム同期に関する統計情報が表示されます。

同期タスクを再実行する

特殊なケースとして、ソースにテーブルを追加または削除したり、宛先テーブルのスキーマまたは名前を変更したりした場合、同期タスクの [アクション] 列で [その他] をクリックし、次に [再実行] をクリックして変更後にタスクを再実行できます。 再実行プロセス中、同期タスクは、新しく追加されたテーブルから宛先へのデータのみ、またはマップされたソーステーブルからスキーマまたは名前が変更された宛先テーブルへのデータのみを同期します。

• タスクの設定を変更せずに同期タスクを再実行する場合は、[アクション] 列で [その他] をクリックし、次に [再実行] をクリックしてタスクを再実行し、完全同期と増分同期を再度実行します。

• タスクにテーブルを追加または削除した後に同期タスクを再実行する場合は、変更後に [完了] をクリックします。 この場合、同期タスクの [アクション] 列に [更新の適用] が表示されます。 [更新の適用] をクリックして、システムに同期タスクの再実行をトリガーさせます。 再実行プロセス中、同期タスクは新しく追加されたテーブルから宛先にデータを同期します。 元のテーブルのデータは再度同期されません。