リアルタイム全量データベース同期の機能は、1回限りの全量同期と継続的な増分キャプチャを組み合わせることで、ソースデータベース (MySQL や Oracle など) 全体を、低レイテンシーでターゲットシステムに同期します。リアルタイム全量データベース同期タスクは、ソースデータベースの履歴データの全量同期を行い、ターゲット側のテーブルスキーマとデータを自動的に初期化します。その後、タスクは自動的にリアルタイム増分モードへ切り替わり、変更データキャプチャ (CDC) などの技術を使用して、後続のデータ変更を継続的にキャプチャ・同期します。この機能は、リアルタイムデータウェアハウジングやデータレイク構築などのシナリオに適用できます。このトピックでは、MySQL から MaxCompute へのリアルタイム全量データベース同期を例に、タスクの設定方法について説明します。
前提条件
データソースの準備
ソースとターゲットのデータソースが作成済みであることを確認してください。データソースの設定方法については、「データソースの設定」をご参照ください。
データソースがリアルタイムの全データベース同期をサポートしていることを確認してください。詳細については、「サポートされているデータソース」をご参照ください。
MySQL、Hologres、Oracle など、一部のデータソースではログの有効化が必要です。ログの有効化の方法はデータソースによって異なります。詳細については、「データソースの設定」をご参照ください。
MaxCompute: Decimal データ型は MaxCompute 2.0 でサポートされています。同期の前に、MaxCompute 2.0 のデータ型を有効にする必要があります。詳細については、「MaxCompute 2.0 データ型」をご参照ください。
リソースグループ: サーバーレスリソースグループを購入して、設定しておく必要があります。
ネットワーク接続: リソースグループとデータソース間のネットワーク接続を設定する必要があります。
注意事項
DataWorks は、リアルタイム全データベースと全量・増分全データベースという 2 種類の全データベース同期をサポートしています。どちらのタイプもソースデータベースの履歴データの全量同期をサポートし、その後自動的に増分モードに切り替わります。ただし、この 2 つのタイプは、タイムリネスと送信先テーブルの要件が異なります。
タイムリネス:リアルタイム全データベース同期は、秒レベルから分レベルのタイムリネスを提供します。全量・増分全データベース同期は、T+1 のタイムリネスを提供します。
送信先テーブル (MaxCompute):
PK Delta テーブル:リアルタイム全データベース同期はすべての機能をサポートします。
通常テーブルと Append Delta テーブル:リアルタイム全データベース同期タスクで増分同期モードを選択した場合にのみ、[増分ストリーム]モードを使用できます。
全量・増分全データベース同期:前述のすべてのテーブルタイプを使用できます。
リアルタイム全データベース同期タスクは、データ開発 (Data Studio) および Data Integration モジュールで設定できます。この 2 つのモジュールは機能的に相互運用可能です。
一貫した設定:Data Studio または Data Integration モジュールのどちらでタスクを作成しても、設定インターフェイス、パラメータ設定、および基盤機能は同一です。
双方向同期:データ統合モジュールで作成されたタスクは、Data Studio モジュールの
data_integration_jobsディレクトリに自動的に同期され、表示されます。これらのタスクは、一元管理のためにsource type-destination typeチャネルで分類されます。
タスクの設定
ステップ 1:同期タスクの作成
DataWorks コンソールにログインします。 左側のナビゲーションウィンドウで、[Data Integration] をクリックします。 表示されるページで、ドロップダウンリストから目的のワークスペースを選択し、[Data Integrationに移動] をクリックします。
左側のナビゲーションペインで、同期タスク をクリックします。表示されたページで、同期タスクの作成 をクリックし、タスク情報を設定します:
[データソースタイプ]:
MySQL.[データ宛先タイプ]:
MaxCompute。[詳細種別]:
リアルタイムフルデータベース。[同期ステップ]:
[スキーマ移行]: データは含まず、移行元と一致するデータベースオブジェクト (テーブル、列、データ型など) を移行先に自動作成します。
[全量同期] (任意): ソース上の指定されたオブジェクト (テーブルなど) のすべての履歴データを、1 回限りの操作としてデスティネーションにコピーします。これは通常、初期データ移行またはデータ初期化に使用されます。
[増分同期] (オプション): フル同期の完了後、ソースからのデータの変更 (挿入、更新、削除) を継続的にキャプチャし、宛先に同期します。
ステップ 2:データソースとランタイムリソースの設定
ソースデータソース セクションでは、ワークスペースに追加済みの
MySQLデータソースを選択し、宛先データソース セクションでは、追加済みのMaxComputeデータソースを選択します。実行中のリソース セクションで、同期タスクの リソースグループ を選択し、タスクに リソースグループ CU を割り当てます。
説明タスクログに
Please confirm whether there are enough resources...のようなメッセージが表示された場合、現在のリソースグループの利用可能なコンピューティングユニット (CU) は、タスクの起動または実行に不足しています。リソースグループの設定 パネルで、タスクに割り当てる CU 数を増やし、より多くのコンピューティングリソースを割り当ててください。リソースサイズの推奨値については、「Data Integration の推奨 CU」をご参照ください。実際の要件に基づいて値を調整してください。
ソースデータソースと宛先データソースの両方が、接続性チェック に合格することを確認してください。
ステップ 3:同期プランの設定
1. データソースの設定
このステップでは、[ソーステーブル] エリアでソースデータソースから同期するテーブルを選択し、
アイコンをクリックして右側の [選択したテーブル] エリアに移動できます。テーブルが多数ある場合は、ライブラリフィルター または テーブルフィルタ を使用して正規表現を設定し、同期するテーブルを選択できます。同じスキーマを持つ複数のシャーディングされたテーブルを 1 つの宛先テーブルに書き込むには、[正規表現でテーブルを選択] を使用できます。
ソーステーブルの設定で正規表現を入力すると、DataWorks が一致するすべてのソーステーブルを自動的に識別・収集し、そのデータを式でマッピングされた宛先テーブルに書き込みます。説明この方法は、同期中にシャードテーブルをマージするシナリオ (データベースとテーブルのシャーディング同期に類似) に適用できます。設定効率が向上し、多対一の同期ルールを繰り返し追加する必要がなくなります。
2. データ送信先の設定
リアルタイム全データベース同期タスクで増分同期のみが選択されている場合、宛先テーブルに書き込むための増分同期モードを設定できます。
リプレイ:PK Delta Table のみがサポートされています。通常の同期と同様に、データ列のみが同期されます。
増分ストリーム:通常テーブルと Append Delta Table の両方がサポートされています。ソーステーブルからのリアルタイムデータに、挿入、更新、削除などの操作のメタデータが追加されてから、送信先テーブルに書き込まれます。増分ストリームテーブルの形式については、「増分ストリームテーブルの形式」をご参照ください。
3. ターゲットテーブルマッピング
このステップでは、ソーステーブルと送信先テーブル間のマッピングルールを定義し、プライマリキー、動的パーティション、DDL/DML 設定などのルールを指定して、データの書き込み方法を決定する必要があります。
操作 | 説明 | ||||||||||||
[マッピングのパージ] | システムは選択したソーステーブルを自動的にリストアップしますが、送信先テーブルの具体的なプロパティは、リフレッシュして確認した後にのみ有効になります。
| ||||||||||||
[ターゲットテーブル名マッピングのカスタマイズ] (任意) | システムには、
以下のシナリオがサポートされています。
MaxCompute と Hologres の両方で、[ターゲットスキーマ名マッピングのカスタマイズ] がサポートされています。MySQL データベース全体を MaxCompute にリアルタイムで同期する場合、[ターゲットスキーマ名マッピングのカスタマイズ] ルールを設定して、同期されたデータを、すべてのデータをデフォルトスキーマに書き込むのではなく、送信先 MaxCompute プロジェクトの指定された非デフォルトスキーマにルーティングできます。 重要 MaxCompute の Schema 機能はデフォルトで無効になっています。[ターゲットスキーマ名マッピングのカスタマイズ] 機能を使用する前に、送信先 MaxCompute プロジェクトの Schema モードを手動で有効にする必要があります。そうしないと、マッピングルールは有効になりません。 | ||||||||||||
[列タイプマッピングの編集] (オプション) | システムには、ソース列タイプと宛先列タイプのデフォルトマッピングが設定されています。 テーブルの右上隅にあるフィールド型マッピングの編集をクリックして、ソーステーブルと宛先テーブル間の列タイプマッピングをカスタマイズし、マッピングの適用とパージをクリックします。 列タイプマッピングを編集する際は、タイプ変換ルールが正しいことを確認してください。誤ったルールを適用するとタイプ変換に失敗し、ダーティデータが発生してタスクの実行に影響を与える可能性があります。 | ||||||||||||
[送信先テーブルスキーマの編集] (オプション) | システムは、カスタムテーブル名マッピングルールに基づいて、存在しない送信先テーブルを自動的に作成するか、同じ名前の既存のテーブルを再利用します。 DataWorks は、ソーステーブルスキーマに基づいて送信先テーブルスキーマを自動的に生成します。ほとんどの場合、手動での操作は必要ありません。次の方法でテーブルスキーマを変更することもできます。
既存のテーブルの場合、列のみを追加できます。新しいテーブルの場合、列、パーティション列を追加し、テーブルタイプまたはテーブルプロパティを設定できます。詳細については、ページ上の編集可能な領域をご参照ください。 | ||||||||||||
[ターゲットテーブルのフィールドへの値割り当て] | ネイティブ列は、ソーステーブルと送信先テーブルで同じ名前の列に基づいて自動的にマッピングされます。前のステップで追加された列とパーティション列には、手動で値を割り当てる必要があります。次の操作を行います。
値を割り当てる際、定数または変数を使用できます。タイプは割り当て方式で切り替えます。以下の方法がサポートされています。
説明 パーティション数が過剰になると、同期パフォーマンスが低下します。1 日に 1,000 を超える新しいパーティションが作成されると、パーティションの作成が失敗し、タスクが終了します。そのため、パーティション列の値の割り当て方法を定義する際は、生成される可能性のあるパーティション数を見積もってください。秒レベルまたはミリ秒レベルのパーティション作成方法を使用する場合は、十分に注意してください。 | ||||||||||||
[ソース分割キー] | ソーステーブルから列を選択するか、ソース分割キーのドロップダウンリストからチャンクしないを選択できます。タスクの実行中、データはこの列に基づいて複数のタスクに分割され、同時およびバッチでのデータ読み取りが可能になります。 テーブルのプライマリキーをソース分割キーとして使用することを推奨します。文字列、浮動小数点、日付、その他のタイプはサポートされていません。 現在、ソース分割キーは、ソースが MySQL の場合にのみサポートされています。 | ||||||||||||
[完全同期をスキップ] | ステップ 3 で全量同期が設定されている場合、特定のテーブルの全量データ同期を個別にキャンセルできます。これは、全量データが他の手段ですでに送信先に同期されているシナリオに適用できます。 | ||||||||||||
[全量条件] | 全量同期フェーズ中にソースに条件フィルタリングを適用します。ここでは WHERE キーワードなしで WHERE 句のみを入力してください。 | ||||||||||||
[DML ルール設定] | DML メッセージ処理では、ソースからキャプチャされた変更データ ( | ||||||||||||
その他 | [テーブルタイプ]: MaxCompute は、通常テーブル、
Delta Table の詳細については、「Delta Table の概要」をご参照ください。 |
ステップ 4:詳細設定
詳細パラメータの設定
カスタム同期要件を満たすためにタスクのきめ細かい設定が必要な場合は、高度なパラメータ タブに移動して、高度なパラメーターを変更します。
ページの右上隅にある [詳細設定] をクリックして、詳細パラメータ設定ページに移動します。
パラメータのプロンプトに基づいてパラメータ値を変更します。各パラメータの意味は、パラメータ名の後に記載されています。
AI 支援設定もサポートされています。タスクの同時実行性の調整などの自然言語の指示を入力すると、大規模言語モデルが推奨パラメータ値を生成します。実際の要件に基づいて、AI が生成したパラメータを受け入れるかどうかを選択できます。
パラメータの意味を完全に理解した後にのみ、パラメータを変更してください。不適切な変更は、タスクの遅延、リソースの過剰消費による他タスクのブロック、データ損失といった予期しない問題を引き起こす可能性があります。
DDL 機能設定
一部のリアルタイム同期チャネルは、ソーステーブルスキーマへのメタデータ変更を検出し、送信先に通知し、更新を送信先に同期できます。アラート、無視、またはタスクの終了などの他の処理ポリシーも利用可能です。
ページの右上隅にあるDDL 能力設定をクリックして、各タイプの DDL 変更の処理ポリシーを設定できます。利用可能な処理ポリシーはチャネルによって異なります。
[通常どおり処理]:送信先は、ソースからの DDL 変更情報を処理します。
[無視]:変更メッセージは無視され、送信先は変更されません。
[エラー]:リアルタイム全データベース同期タスクが終了し、ステータスが エラー に設定されます。
アラート: ソースでこのタイプの変更が発生すると、アラートが送信されます。アラーム設定で DDL 通知ルールを設定する必要があります。
ソーステーブルに列が追加され、DDL 同期を介して送信先テーブルに作成された後、システムは送信先テーブルの既存のデータをバックフィルしません。
MySQL ソースでは、列の削除の自動同期はサポートされていません。ソース MySQL テーブルから列を削除すると、テーブルスキーマがバイナリログと一致しなくなり、同期タスクエラーが発生する可能性があります。
送信先テーブルにすでに同期されている列を削除するには、次の回避策を実施してください。
対応する送信先テーブル (たとえば、Hologres 送信先テーブル) を削除します。
同期タスクを編集し、タスクからテーブルを削除します。
テーブルをタスクに再度追加します。
列マッピングをリフレッシュします。
タスクを保存してデプロイします。
タスクが実行中の場合、変更を有効にするには、アプリケーションの更新 をクリックします。
ステップ 5:タスクのデプロイと実行
すべての設定を完了したら、ページの下部にある保存をクリックしてタスク設定を保存します。
全データベース同期タスクは直接デバッグをサポートしておらず、オペレーションセンター にデプロイして実行する必要があります。このため、新規作成または編集したタスクを反映させるには、発行 操作が必要です。
デプロイ時に、公開後すぐに起動 を選択した場合、タスクはデプロイと同時に開始されます。そうでない場合は、デプロイが完了した後、 ページに移動し、対象タスクの [操作] 列でタスクを手動で開始する必要があります。
タスク一覧 で対応するタスクの 名前 / ID をクリックすると、その詳細な実行プロセスを表示できます。
ステップ 6:アラート設定
1. アラートの追加
リストで、対象のリアルタイム全データベース同期タスクを見つけ、操作列のをクリックしてタスクのアラートポリシーを設定します。
(1) ルールの作成 をクリックしてアラート ルールを設定します。
アラーム原因 を設定して、タスクの ビジネスレイテンシー、[フェイルオーバー]、タスクステータス、DDL 通知、タスクのリソース利用率 などのメトリクスを監視し、指定されたしきい値に基づいて CRITICAL または WARNING のアラートレベルを設定できます。
By configuring [詳細パラメータ設定], you can control the interval between alert messages to prevent excessive messages from being sent at once, which may cause waste and message backlogs.
If you select [ビジネスレイテンシー], [タスクステータス], or [タスクのリソース利用率] as the alert reason, you can also enable recovery notifications to notify recipients when the task returns to normal.
(2) アラートルールの管理。
(2) アラートルールの管理
作成済みのアラートルールについては、アラートのトグルを使用して、アラートルールを有効または無効にできます。また、アラートレベルに基づいて、異なる受信者にアラートを送信することもできます。
展開されたタスクリストでをクリックすると、アラートイベントページに移動し、トリガーされたアラートを表示できます。
タスクの管理
タスクの編集
ページで、作成した同期タスクを見つけ、操作 列の その他 をクリックし、次に 編集 をクリックしてタスク情報を変更します。手順はタスクの設定と同じです。
実行中でない タスクについては、設定を直接変更し、変更を保存してから、タスクを本番環境にデプロイして変更を有効にできます。
[実行中] のタスクの場合、公開後すぐに起動 を選択せずにタスクを編集してデプロイすると、元の操作ボタンが アプリケーションの更新 に変わります。本番環境で変更を有効にするには、このボタンをクリックする必要があります。
[更新を適用] をクリックすると、システムは [停止]、[デプロイ]、[再起動] の 3 つのステップを順に実行します。
変更に 新しいテーブルの追加または既存のテーブルの切り替え が含まれる場合:
更新を適用する際、チェックポイントは選択できません。確認をクリックすると、システムは新しいテーブルに対して スキーママイグレーション と 全量初期化 を実行します。全量初期化が完了すると、新しいテーブルは既存のテーブルとともに増分同期を開始します。
他の設定が変更された場合:
更新を適用する際、チェックポイントを選択できます。確認をクリックすると、タスクは指定されたチェックポイントから再開します。チェックポイントが指定されていない場合、タスクは最後に停止したチェックポイントから再開します。
変更されていないテーブルは影響を受けず、更新と再起動後に最後に停止したチェックポイントから実行を再開します。
タスクの表示
同期タスクを作成した後、同期タスク ページで作成した同期タスクのリストと各タスクの基本情報を表示できます。
[操作] 列では、同期タスクを 起動 または 停止 できます。また、[詳細] メニューから同期タスクを 編集 したり、[詳細] したりできます。
開始したタスクについては、実行概要 で基本的な実行状態を表示できるほか、対応する概要領域をクリックして実行の詳細を表示できます。
チェックポイントからの再開
ユースケース
タスクの開始または再起動時にチェックポイントを手動でリセットするのは、次のようなシナリオです。
タスクリカバリとデータの再開:タスクが予期せず中断された場合、中断した時点を新しい開始チェックポイントとして手動で指定し、データを正確なブレークポイントから再開させる必要があります。
データのトラブルシューティングとバックトラッキング:同期されたデータに欠損や異常が見つかった場合、問題が発生する前の時点までチェックポイントをロールバックし、問題のあるデータをリプレイして修復することができます。
タスク設定の主な変更:送信先テーブルのスキーマやカラムマッピングなど、タスク設定に大きな変更を加えた後は、新しい設定でのデータの正確性を確保するため、チェックポイントをリセットして特定の時点から同期を開始することを推奨します。
手順
起動 をクリックし、表示されたダイアログで オフセットをリセットしますか。 を設定します。
初回起動:チェックポイントのリセットオプションを選択する必要はありません。タスクを直接実行します。システムは自動的にフル初期化を実行し、初期化が完了すると増分同期に切り替わります。
チェックポイントをリセットせずに実行:タスクは最後に停止したチェックポイント (最終チェックポイント) から再開します。
チェックポイントをリセットして時刻を選択:タスクは指定された時刻のチェックポイントから開始します。選択した時刻が、ソースの Binlog でサポートされている最も古いチェックポイントよりも過去の時刻でないことを確認してください。
同期タスクの実行中にチェックポイントエラーまたはチェックポイントが見つからないエラーが発生した場合は、次の解決策をお試しください。
チェックポイントのリセット:リアルタイム同期タスクを開始する際に、チェックポイントをリセットし、ソースデータベースで利用可能な最も古いチェックポイントを選択してください。
ログ保持期間の調整:データベースのチェックポイントが期限切れになっている場合は、データベースのログ保持期間を調整することを検討してください。たとえば、保持期間を 7 日間に設定します。
データ同期:データが失われた場合は、再度完全同期を実行するか、バッチ同期タスクを設定して失われたデータを手動で同期することを検討してください。
タスクの運用保守とチューニング
タスクの開始後、データ消費のレイテンシー、スタックしたタスク、パフォーマンス不良などの問題が発生した場合は、リアルタイム同期タスクのトラブルシューティングとチューニングをご参照ください。
よくある質問
リアルタイムでの全データベース同期に関するよくある質問については、こちらをご参照ください。
付録:インクリメンタルチェンジログテーブルのフォーマット
ソースカラムのフラットレイアウト
カラム名 | 説明 |
sequence_id | インクリメンタルイベントのレコード ID。値は一意で自動インクリメントされます。 |
operation_type | オペレーションタイプ (I/D/U)。 |
execute_time | データのタイムスタンプ |
before_image | 変更前レコードであるかを示します (Y/N)。 |
after_image | 変更後レコードであるかを示します (Y/N)。 |
src_datasource | ソースデータソース |
src_database | ソースデータベース |
src_table | ソーステーブル |
カラム 1 | 実際のデータカラム 1 |
カラム 2 | 実際のデータカラム 2 |
カラム 3 | 実際のデータカラム 3 |
ソーステーブルカラムの JSON へのマージ
カラム名 | 説明 |
sequence_id | インクリメンタルイベントのレコード ID。値は一意で自動インクリメントされます。 |
operation_type | オペレーションタイプ (I/D/U) |
execute_time | データのタイムスタンプ |
before_image | 変更前レコードであるかを示します (Y/N)。 |
after_image | 変更後レコードであるかを示します (Y/N)。 |
src_datasource | ソースデータソース |
src_database | ソースデータベース |
src_table | ソーステーブル |
ddl_sql | オペレーションが DDL タイプの場合、DDL ステートメントがこのカラムに格納されます。 |
data_columns | 実際のデータカラムをマージした JSON データ |
ボタンをクリックし、手動入力 および 組み込み変数 を選択して、宛先テーブル名を連結して生成できます。サポートされている変数には、ソースデータソース名、ソースデータベース名、ソーステーブル名が含まれます。





ボタンをクリックします。
ツールチップで確認できます。