DataWorks:単一テーブルのリアルタイム同期タスク

機能

説明

様々なデータソース間のデータ同期

リアルタイム同期は、様々なデータソースをサポートします。異なる入力および出力データソースを組み合わせて、同期リンクを作成できます。詳細については、「サポートされているデータソースと同期ソリューション」をご参照ください。

複雑なネットワーク環境でのデータ同期

リアルタイム同期は、Alibaba Cloud データベース、オンプレミスデータセンター、ECS インスタンス上の自己管理データベース、または Alibaba Cloud 外のデータベースなどの環境でのデータ同期をサポートします。タスクを設定する前に、リソースグループがソースとターゲットに接続できることを確認してください。構成の詳細については、「ネットワーク接続ソリューション」をご参照ください。

同期シナリオ

リアルタイム同期は、単一のテーブルから単一のターゲットテーブルへのリアルタイムでのデータ同期をサポートします。また、シャーディングされたデータベースとテーブルから単一のターゲットテーブルへの増分データの同期もサポートします。

• 単一テーブルのリアルタイム増分同期

  • DataStudio: ドラッグアンドドロップインターフェイスを使用して、単一テーブルから単一テーブルへの抽出・変換・書き出し (ETL) 同期を設定できます。このメソッドは、データフィルタリング、文字列の置き換え、データマスキングなどのデータ処理機能をサポートします。

  • Data Integration: ウィザードを使用して、単一テーブルから単一テーブルへの ETL 同期を設定できます。様々なデータ処理機能に加えて、Data Integration はデータサンプリング、シミュレーション実行、高度なパラメーター設定などの高度な機能もサポートします。

• シャーディングされたデータベースとテーブルから単一テーブルへのリアルタイム完全同期および増分同期

  現在、この機能は MySQL および PolarDB から MaxCompute へのデータ同期でのみサポートされています。シャーディング同期は、ソースから同じスキーマを持つテーブルを論理テーブルにマージし、データを単一のターゲットテーブルに書き込むことができます。

リアルタイム同期タスクの構成

リアルタイム同期タスクを設定する際には、以下の機能がサポートされています。コードを記述することなく、簡単な構成で単一テーブルのデータに対してリアルタイム ETL を実行できます。詳細については、「単一テーブルのリアルタイム同期タスクを設定する」および「シャーディングされたデータベースとテーブルから MaxCompute にデータを同期する」をご参照ください。

単一テーブルのリアルタイム同期:

• 構成メソッド: ドラッグアンドドロップのグラフィカルユーザーインターフェイス (GUI) またはウィザードを使用して、ローコード開発が可能です。コードは不要です。これにより、初心者ユーザーでも簡単に始めることができます。

• フィールドマッピング: 同じ名前または同じ順序のフィールドをマッピングできます。フィールドの関係をカスタマイズすることもできます。先祖テーブルフィールドに対応するフィールドがターゲットテーブルにない場合、動的なフィールド処理ポリシーを指定して、列を追加したり、フィールドを無視したり、エラーを報告したりできます。同期タスクでは、定数、変数、および関数を使用して、ターゲットフィールドに動的に値を割り当てることもできます。

• データ処理: [データフィルタリング]、[文字列の置き換え]、[データマスキング]、[JSON 解析] などの機能を使用してソースデータを処理できます。処理されたデータは、ターゲットデータベースに書き込まれます。

• コードデバッグ: ソースデータソースからデータをサンプリングし、各データ処理ステップの中間結果を表示できます。[シミュレーション] 機能を使用して、最終的なデータ出力をシミュレートできます。シミュレーションデータはターゲットテーブルには書き込まれません。これにより、デバッグプロセスが本番データに影響を与えないことが保証されます。

シャーディングされたデータベースとテーブルのリアルタイム同期:

• 論理テーブルのルール設定: 正規表現を使用して、ソーステーブルを検索および統合する範囲を定義できます。これらのテーブルは、シャーディングされたソースとして使用され、論理テーブルとして構成されます。論理テーブルとターゲットテーブル間のマッピングも設定できます。

• DDL および DML ルールの設定: ソースでのデータ定義言語 (DDL) およびデータ操作言語 (DML) の変更がターゲットテーブルにどのように影響するかについてのルールを設定できます。変更タイプに基づいて、ターゲットテーブルの特定の応答を選択できます。

リアルタイム同期タスクの O&M

同期タスクをモニターし、アラートを設定できます。

• ブレークポイントからの再開機能を使用できます。タスクが中断されたり、異常によりデータが失われたりした場合、タスクを再開する時点を指定できます。これにより、データ整合性が保証されます。

• ビジネスレイテンシー、フェールオーバー、DDL ポリシー、およびハートビートチェックのモニタリングとアラートを設定できます。詳細については、「リアルタイム同期タスクの O&M」をご参照ください。

• DataWorks は、電子メール、ショートメッセージ、電話、または DingTalk によって、指定された受信者にアラート通知を送信できます。これにより、タスクの例外を迅速に特定し、処理することができます。

• アラート疲労コントロールがサポートされています。短期間に多数のアラートが生成されるのを避けるため、DataWorks では、指定された間隔内で一度だけアラート通知を送信するルールを設定できます。

• ハートビート検出がサポートされています。タスクが開始または停止すると、ハートビートアラート機能は自動的に有効または無効になります。手動で機能を無効にした場合、その設定は保持されます。