DataWorks:MySQL データベース全体をリアルタイムで LogHub (SLS) に同期

1. 同期タスクタイプの選択

1. Data Integration ページに移動します。

   DataWorks コンソールにログインします。上部ナビゲーションバーで目的のリージョンを選択し、左側ナビゲーションウィンドウで Data Integration > Data Integration を選択します。表示されたページでドロップダウンリストから目的のワークスペースを選択し、Data Integration へ移動 をクリックします。

2. 左側ナビゲーションウィンドウで 同期タスク をクリックします。ページ上部で 新規同期タスク をクリックします。表示されたダイアログボックスで、以下の基本パラメーターを設定します。

   • ソースタイプ: MySQL。

   • 宛先タイプ: LogHub。

   • タスク名: 同期タスクのカスタム名。

   • タスクタイプ: データベース全体のリアルタイム移行。

2. ネットワークとリソースの構成

1. ネットワークとリソース構成 セクションで、同期タスク用の リソースグループ を選択します。タスクリソース使用量 の下で CU を割り当てることができます。

2. ソース を MySQL データソースに、宛先 を LogHub データソースに設定します。その後、接続テスト をクリックします。

3. ソースおよび宛先データソースの接続テストが成功したら、次へ をクリックします。

3. データ同期用のデータソースおよびテーブルの選択

このステップでは、ソーステーブル セクションから同期するテーブルを選択し、 アイコンをクリックして右側の 選択済みテーブル セクションに移動させます。

• 特定のデータベースおよびテーブルを選択:

  • ソースデータベースおよびテーブルセクションの データベースフィルター および テーブル検索 フィールドにキーワードを入力して、同期対象のデータベースおよびテーブルをフィルターします。必要なデータベースおよびテーブルを選択し、 アイコンをクリックして 選択済みテーブル セクションに移動させます。

  • 選択済みテーブル エリアで、データベースフィルター および テーブル検索 フィールドを使用して、同期から除外するデータベースおよびテーブルを検索します。該当項目を選択し、 アイコンをクリックして ソーステーブル エリアに移動させます。

• 正規表現を使用（実行中に正規表現に基づくテーブルの追加・削除をサポート）:

  データベースフィルター および テーブルフィルター フィールドに正規表現を入力して、データベースおよびテーブルをフィルターします。OK をクリックして、同期するデータベースおよびテーブルを選択します。

  説明

  たとえば、プレフィックス a でデータベースをフィルターし、プレフィックス order でテーブルをフィルターするには、[データベースのフィルタリング] ボックスに a.* を入力し、[テーブルのフィルタリング] ボックスに order.* を入力します。

4. 宛先テーブルのマッピング

同期するテーブルを選択すると、選択したテーブルが自動的に「宛先テーブルのマッピングルール」セクションに表示されます。宛先テーブルのプロパティはマッピング待ちの状態です。ソーステーブルと宛先テーブルのマッピングを手動で定義し、データの読み取りおよび書き込み関係を決定する必要があります。その後、[操作] 列の 更新 をクリックすることで、ソーステーブルと宛先テーブルのマッピングを直接更新できます。また、宛先テーブルに関連する設定を構成した後でも、マッピングを更新できます。

5. アラートルールの構成

同期タスクの失敗による業務データ同期の遅延を防ぐため、同期タスクにさまざまなアラートルールを構成できます。

1. ページ右上隅で アラートルールの構成 をクリックし、リアルタイム同期サブノードのアラートルール構成 パネルに移動します。

2. [アラートルールの構成] パネルで、アラートルールの追加 をクリックします。[アラートルールの追加] ダイアログボックスで、パラメーターを設定してアラートルールを構成します。

   説明

   このステップで構成したアラートルールは、同期タスクによって生成されるリアルタイム同期サブタスクに適用されます。同期タスクの構成が完了後、「リアルタイム同期タスクの実行と管理」をご参照のうえ、[リアルタイム同期タスク] ページに移動して、リアルタイム同期サブタスクのアラートルールを変更できます。

3. アラートルールの管理を行います。

   作成済みのアラートルールを有効化または無効化できます。また、アラートの重大度レベルに応じて異なる受信者を指定することもできます。

6. 高度なパラメーターの構成

同期タスクを詳細に構成するには、ページ右上隅の 高度なパラメーターのカスタマイズ をクリックします。

1. ページ右上隅で 高度なパラメーターの構成 をクリックします。

2. 以下の表に、主要なパラメーターを示します。

   パラメーター	説明
   収集データの展開を行うかどうか	ソーステーブルの業務データフィールドをログの最上位レイヤーにフラット化するかどうかを制御します。 true: データを展開します。「データ展開フォーマット」を 部分的 または 完全 に設定できます。 false (デフォルト): データを展開しません。データは JSON フィールド全体内にカプセル化されます。
   DDL イベントデータを収集するかどうか	ソーステーブルからデータ定義言語 (DDL) 操作情報（CREATE TABLE や ALTER TABLE など）を収集し、SLS にログエントリとして同期するかどうかを制御します。 true (デフォルト): 情報を透過的に渡します。 false: 情報を透過的に渡しません。
   ソースからの NULL 値処理戦略	ソーステーブルのフィールドが NULL の場合に、宛先フィールドに埋める値を設定します。デフォルト値は空で、NULL 値が保持されることを意味します。
   データ展開フォーマット	SLS への書き込み時に業務データ（data フィールド）の構造を定義します。このパラメーターは、「収集データの展開を行うかどうか」が true に設定されている場合のみ表示されます。選択したフォーマットは、ダウンストリームシステムがログを消費する方法に直接影響します。データ展開フォーマットの例については、「付録：データ展開フォーマットの例」をご参照ください。 部分的展開 (デフォルト): MySQL binlog 収集の Logtail フォーマットとの互換性があります。 完全展開: 変更前後のすべての業務データフィールドを、データ内の独立した最上位のキーと値のペアにフラット化します。

7. リソースグループの構成

ページ右上隅の リソースグループの構成 をクリックすることで、現在の同期タスクの実行に使用されるリソースグループを表示および変更できます。

8. 同期タスクの実行

1. 同期タスクの構成が完了したら、ページ下部の 完了 をクリックします。

2. Data Integration ページの 同期タスク セクションで、作成した同期タスクを見つけ、操作 列の 開始 をクリックします。

3. タスク セクションで同期タスクの 名前/ID をクリックし、同期タスクの詳細な実行プロセスを確認します。

タスクステータスの確認

同期タスクを作成後、[同期タスク] ページで作成済みタスクの一覧と基本情報を確認できます。

• 操作 列で、同期タスクの 開始 または 停止 が可能です。「その他」をクリックしてタスクを 編集 または 表示 できます。

• 実行中のタスクについては、実行概要 セクションで基本ステータスを確認できます。概要の各エリアをクリックして実行詳細を表示することも可能です。

  MySQL から LogHub (SLS) へのリアルタイム同期タスクの場合、リアルタイム同期のパフォーマンス統計が表示されます。これらの統計には、リアルタイム進捗、DDL レコード、DML レコード、アラート情報が含まれます。

同期タスクの再実行

一部の特殊なケースでは、ソースにテーブルを追加または削除した場合、または宛先テーブルのスキーマまたは名前を変更した場合、同期タスクの 操作 列の「その他」をクリックして 再実行 をクリックし、変更後にタスクを再実行できます。再実行プロセス中、同期タスクは新しく追加されたテーブルからのデータのみを宛先に同期するか、スキーマまたは名前が変更された宛先テーブルに対してマッピングされたソーステーブルからのデータのみを同期します。

• タスクの構成を変更せずに同期タスクを再実行する場合は、[操作] 列の「その他」をクリックして 再実行 をクリックし、フル同期および増分同期を再度実行します。

• タスクにテーブルを追加または削除した後に同期タスクを再実行する場合は、変更後に 完了 をクリックします。この場合、同期タスクの [操作] 列に 更新の適用 が表示されます。更新の適用 をクリックして、システムが同期タスクを再実行するようにトリガーします。再実行プロセス中、同期タスクは新しく追加されたテーブルからのデータを宛先に同期します。元のテーブルのデータは再度同期されません。