DataWorks:単一テーブルリアルタイム同期タスク

機能

説明

さまざまなデータソース間のデータ同期

リアルタイム同期は、幅広いデータソースをサポートしています。さまざまな入力および出力データソースを組み合わせて、データ同期パイプラインを作成できます。詳細については、「データソースと同期」をご参照ください。

複雑なネットワーク環境を介したデータ同期

リアルタイム同期は、Alibaba Cloud データベースサービス、オンプレミスIDC、Elastic Compute Service (ECS) 上の自己管理データベース、サードパーティクラウドデータベースなどの環境からのデータ転送をサポートしています。開始する前に、ご利用のリソースグループがソースとターゲットに接続できることを確認してください。構成の詳細については、「ネットワーク接続ソリューション」をご参照ください。

同期シナリオ

リアルタイム同期は、単一テーブルから別の単一テーブルへのデータ同期をサポートし、シャードテーブル (シャーディング) からの増分データを単一のターゲットテーブルに統合することもサポートしています。

• データ開発 (旧): ドラッグアンドドロップインターフェイスを使用して、単一テーブルの ETL 同期タスクを構成します。このモードは、データフィルタリング、文字列置換、データマスキングなどのデータ処理機能をサポートしています。

• データ統合とデータ開発 (新): ウィザードベースのインターフェイスを使用して、単一テーブルの ETL 同期タスクを構成します。このモードは、豊富なデータ処理機能に加えて、データサンプリング、試行実行、高度なパラメーターなどの高度な機能をサポートしています。

リアルタイム同期タスク構成

リアルタイム同期タスクは、次の構成機能をサポートしています。コーディングは不要で、簡単なタスク構成で単一テーブルの ETL を実行できます。詳細については、「単一テーブルリアルタイム同期タスクの構成」をご参照ください。

単一テーブルリアルタイム同期:

• 構成モード: グラフィカルなドラッグアンドドロップまたはウィザードベースのインターフェイスを備えたローコードアプローチを使用します。コーディングは不要で、簡単に開始できます。

• フィールドマッピング: 名前ベースおよび位置ベースのマッピング、ならびにカスタムフィールド関係をサポートしています。ソースフィールドがターゲットテーブルに対応するフィールドを持たない場合、新しい列を追加するか、フィールドを無視するか、エラーを報告する動的処理ポリシーを定義できます。同期タスクでは、定数、変数、および関数をターゲットフィールドに動的に割り当てることもできます。

• データ処理: ソースデータを、[データフィルタリング]、[文字列置き換え]、[データマスキング]、および[JSON 解析]などの機能を用いて処理し、送信先に書き込むことができます。

• デバッグ: ソースからデータをサンプリングし、各処理ステップで中間結果をプレビューできます。[トライアル実行] 機能を使用して、最終的なデータ出力をシミュレートします。[トライアル実行] では、データが宛先テーブルに書き込まれないため、実際のデータに影響を与えることなくデバッグできます。

リアルタイム同期タスクO&M

同期タスクの監視とアラートを設定できます。

• ブレークポイントからの再開をサポートしています。タスクが中断されたり、異常によりデータが失われたりした場合、特定の時点からタスクを再開してデータ整合性を確保できます。

• サービスレイテンシー、フェールオーバー、DDL ポリシー、ハートビートチェックの監視とアラートを設定できます。詳細については、「リアルタイム同期タスクのO&M」をご参照ください。

• アラートは、Eメール、SMS、電話、DingTalk を介して送信でき、例外を迅速に検出および処理するのに役立ちます。

• アラート疲労制御を提供します。短期間に通知が殺到するのを避けるため、定義された時間間隔内で特定の事象に対して1つのアラートのみを送信するルールを構成できます。

• DataWorks はハートビートチェックをサポートしています。対応するアラートは、タスクの開始または停止時に自動的に有効または無効になります。アラートを手動で無効にした場合、無効のままになります。