DataWorks:オフライン同期の機能

機能

説明

完全データまたは増分データの同期

オフライン同期タスクで [データフィルタリング] を構成し、スケジューリングパラメーター を使用して、全量または増分データ同期を実行します。増分同期の構成はプラグインによって異なります。増分データ同期の構成の詳細については、「シナリオ: 増分オフライン同期タスクの設定」をご参照ください。

フィールドマッピング

フィールド間のマッピングルールを確立して、ソースデータを対応するターゲットフィールドに書き込みます。構成中に、ソースフィールドとターゲットフィールドのデータ型に互換性があることを確認してください。

• 複数のフィールドマッピングメソッドが利用可能です:

  • コードレス UI は、名前によるマッピングと行によるマッピングをサポートし、カスタムフィールドリレーションシップも許可します。マッピングされていないフィールドのデータは自動的に無視されます。書き込みの失敗を避けるために、対応するターゲットフィールドにデフォルト値があるか、null 値が許可されていることを確認してください。

  • コードエディター は、列構成の順序に厳密に基づいてフィールドをマッピングします。reader と writer のフィールド数は同じでなければなりません。そうでない場合、タスクの実行は失敗します。

• 同期タスクは、ターゲットフィールドの動的な値割り当て機能も提供します。これにより、定数、スケジューリングパラメーター、および ${bizdate} などの組み込み変数の柔軟な構成がサポートされます。これらのパラメーターは、スケジューリングフェーズ中に最終的な値を割り当てる必要があります。

ジョブのレート制限制御

• タスクの同時実行制御 機能は、データベースからの読み取りおよびデータベースへの書き込みのための最大同時接続数を制限します。

• 同期レート 機能は、ソースまたはターゲットデータソースへの過度の圧力を防ぐためにトラフィックを制御します。制限が設定されていない場合、タスクは現在のハードウェア環境で利用可能な最大転送パフォーマンスを使用します。

分散タスク実行

分散実行をサポートするデータソースは、タスクセグメンテーション技術を使用して、同期タスクを複数のノードに分散して同時実行できます。 これにより、同期速度がクラスターサイズに比例して線形にスケールし、単一ノードのパフォーマンスボトルネックを解消できます。このパターンは、高スループット、低レイテンシの同期シナリオに特に役立ちます。また、アイドル状態のクラスターリソースを効率的にスケジュールし、ハードウェア使用率を大幅に向上させます。

ダーティデータポリシー

ダーティデータ とは、型の競合や制約違反などの例外が原因でターゲットへの書き込みに失敗したレコードを指します。オフライン同期は、ダーティデータポリシーの定義をサポートしています。許容できるダーティデータレコードの数と、それらがタスクに与える影響を定義できます。

• ダーティデータを無視する: ダーティデータを自動的にフィルタリングし、準拠したデータのみを書き込みます。タスクは実行を継続します。

• 限られた数のダーティデータレコードを許容する: しきい値 N を設定します。ダーティデータレコードの数が N 以下の場合、異常なレコードは破棄され、タスクは継続します。数が N を超えると、タスクは失敗して終了します。

• ダーティデータを許容しない: ダーティデータが検出されると、タスクはすぐに失敗して終了します。

タイムゾーン

ソースとターゲットが異なるタイムゾーンにある場合は、ソースのタイムゾーンを設定して、同期中にタイムゾーン変換を実行します。

インテリジェントなデータ処理

DataWorks は、データ同期中のデータ処理機能をサポートしています。これにより、ソースデータを変換および処理してからターゲットに書き込むことができます:

文字列の置換: DataWorks のオフライン同期タスクには、組み込みの文字列置換機能があります。これにより、データをランディングしたり、追加の抽出・変換・書き出し (ETL) ステップを必要とせずに、データ転送中に軽量なデータ変換を実行できます。

AI 支援処理: データ同期中に、大規模な AI モデルを統合して、ソースからの自然言語に対してセマンティック分析、感情分析、その他の分析を実行できます。処理された結果は、ターゲットテーブルに直接書き込まれます。

データベクトル化: ソースデータを抽出し、ベクトル埋め込みを作成し、それらをベクトルデータベースに書き込みます。