DataWorks:単一テーブルのリアルタイム同期

機能

説明

多様なデータソース間でのデータ同期

リアルタイム同期は、幅広いデータソースをサポートしています。さまざまなソースおよびターゲットのデータソースを組み合わせて、同期パイプラインを構築できます。詳細については、「サポートされるデータソースと同期ソリューション」をご参照ください。

複雑なネットワーク環境におけるデータ同期

リアルタイム同期は、Alibaba Cloud のデータベース、オンプレミス IDC、ECS 上の自己管理データベース、および他社クラウドプロバイダーのデータベースなど、さまざまな環境をサポートしています。開始前に、リソースグループとソース／ターゲットのエンドポイント間のネットワーク接続性が確保されていることを確認してください。設定の詳細については、「ネットワーク接続ソリューション」をご参照ください。

ユースケース

リアルタイム同期は、単一テーブル間の同期およびシャード化されたソースからの増分データを単一のターゲットテーブルへ同期する両方のユースケースをサポートしています。

• Data Integration & DataStudio（新バージョン）：単一テーブル ETL 同期のためのウィザード型構成を提供します。この方法では、豊富なデータ処理機能およびデータサンプリング、シミュレーション実行、高度なパラメータ設定などの高度な機能が利用可能です。

• DataStudio（レガシ）：ドラッグ＆ドロップ方式のインターフェイスにより、単一テーブル ETL 同期の構成が可能です。このオプションでは、データフィルタリング、文字列置換、データマスキングなどのデータ処理機能がサポートされます。

リアルタイム同期タスクの構成

リアルタイム同期タスクを構成する際には、以下の機能を活用して、コード不要で単一テーブルデータに対するリアルタイム ETL を実行できます。詳細については、「Data Integration におけるリアルタイム同期タスクの構成」をご参照ください。

単一テーブル向けリアルタイム同期：

• 構成方法：低コード開発のためのドラッグ＆ドロップ方式のグラフィカルインターフェイスまたはウィザードを提供します。コード不要のアプローチにより、初心者でも簡単に始められます。

• フィールドマッピング：同名マッピング、位置指定マッピング、およびカスタムフィールド関係をサポートします。ソースフィールドに対応するターゲットフィールドがない場合、新しい列を追加、フィールドを無視、またはエラーを報告するポリシーを設定できます。また、定数、変数、関数を用いて、ターゲットフィールドへの値の動的割り当てが可能です。

• データ処理：データをターゲットデータベースへ書き込む前に、ソースデータを処理するための機能をサポートします。具体的には、データフィルタリング、文字列置換、データマスキング、および JSON 解析 などが含まれます。

• 実行時デバッグ：ソースからのデータサンプリングおよび各処理ステップにおける中間結果をサポートします。シミュレーション実行 機能を用いて、最終的なデータ出力をプレビューできます。シミュレーション実行 中に生成されたデータはターゲットテーブルへ書き込まれないため、本番データへの影響を防げます。

リアルタイム同期タスクの運用・保守（O&M）

同期タスクに対してモニタリングおよびアラートの構成が可能です。

• 再開ポイント復元 をサポートします。タスクが例外により中断された場合、指定したチェックポイントから再開することで、データ整合性を確保できます。

• ビジネス遅延、フェールオーバー、DDL ポリシー、ハートビート検出に対するモニタリングおよびアラートを構成できます。詳細については、「リアルタイム同期タスクの運用・保守（O&M）」をご参照ください。

• アラーム通知は、メール、SMS、電話通話、DingTalk を通じてアラート受信者へ送信され、タスクの異常を迅速に検出し、解決できます。

• アラート疲労制御をサポートします。指定した間隔ごとに 1 回のみ通知するルールを設定することで、過剰なアラートを防止できます。

• ハートビート検出をサポートします。ハートビートアラート機能は、タスクの起動または停止時に自動的に有効化または無効化されます。この設定に対する手動変更は保持されます。