DataWorks:単一テーブルのリアルタイム同期タスクの設定

1. ソースの設定

1. Configuration タブで、同期したい Kafka データソース内のトピックを選択します。

   他の設定にはデフォルト値を使用するか、必要に応じて変更できます。パラメーターの詳細については、Kafka の公式ドキュメントをご参照ください。

2. 右上隅の Data Sampling をクリックします。

   表示されるダイアログボックスで、Start time と Sampled Data Records を指定し、Start Collection をクリックします。これにより、指定された Kafka トピックからデータがサンプリングされ、データをプレビューできます。これは、後続のデータ処理ノードでのデータプレビューとビジュアル設定の入力となります。

3. Configure Output Field タブで、同期したいフィールドを選択します。

   デフォルトでは、Kafka は 6 つのフィールドを提供します。

   パラメーター	説明
   __key__	Kafka レコードのキー。
   __value__	Kafka レコードの値。
   __partition__	Kafka レコードが配置されているパーティション番号。パーティション番号は 0 から始まる整数です。
   __headers__	Kafka レコードのヘッダー。
   __offset__	パーティション内での Kafka レコードのオフセット。オフセットは 0 から始まる整数です。
   __timestamp__	Kafka レコードの 13 桁の整数ミリ秒タイムスタンプ。

   データ処理ノードでこれらのフィールドに対してさらに変換を実行することもできます。

2. データ処理

Data Processing を有効にします。利用可能なデータ処理メソッドは、データマスキング、文字列置換、データフィルタリング、JSON パース、フィールドの編集と割り当て の 5 つです。これらのステップは任意の順序で配置できます。実行時、処理ステップは指定された順序で実行されます。

各データ処理ノードを設定した後、右上隅の Preview Data Output をクリックします。

1. 入力データの下のテーブルには、Data Sampling ステップの結果が表示されます。Re-obtain Output of Ancestor Node をクリックして結果を更新できます。

2. 上位ノードの出力がない場合は、Manually Construct Data を使用して、先行する出力をシミュレートできます。

3. Preview をクリックして、データ処理コンポーネントによって処理された後の上位ステージからの出力を表示します。

3. 宛先の設定

1. Destination エリアで、トンネルリソースグループを選択します。デフォルトでは、「パブリック転送リソース」が選択されており、これは MaxCompute の無料クォータを指します。

2. 新しいテーブルに書き込むか、既存のテーブルに書き込むかを選択します。Create または [既存のテーブルを使用] を選択します。

   1. 新しいテーブルを作成することを選択した場合、デフォルトでソースと同じスキーマを持つテーブルが作成されます。宛先テーブル名とスキーマは手動で変更できます。

   2. 既存のテーブルを使用することを選択した場合、ドロップダウンリストからターゲットテーブルを選択します。

3. (オプション) テーブルスキーマを編集します。

   テーブル名の横にある編集アイコンをクリックして、テーブルスキーマを編集します。Re-generate Table Schema Based on Output Column of Ancestor Node をクリックすると、上位ノードの出力列に基づいてスキーマが自動的に生成されます。その後、自動生成されたスキーマ内のフィールドを選択してプライマリーキーにすることができます。

同期タスクでは、詳細な設定を行うための詳細パラメーターが提供されています。システムはデフォルト値を提供しており、通常は変更する必要はありません。必要な場合は、次の手順に従ってください：

1. インターフェイスの右上隅にある Advanced Settings をクリックして、Advanced Parameters 設定ページに移動します。

   説明

   データ開発の詳細パラメーターは、タスク設定インターフェイスの右側のタブにあります。

2. 同期タスクの reader と writer のパラメーターを個別に設定できます。[ランタイム設定] をカスタマイズするには、[ランタイム設定の自動設定] を false に設定します。

3. ツールチップと説明に基づいてパラメーター値を変更します。一部のパラメーターの設定に関する推奨事項については、「リアルタイム同期の詳細パラメーター」をご参照ください。

1. アラートルールの追加

(1) Create Rule をクリックしてアラートルールを設定します。

Alert Reason を設定することで、Business delay、[フェイルオーバー]、Task status、DDL Notification、Task Resource Utilization などのメトリックをモニターできます。指定されたしきい値に基づいて、CRITICAL または WARNING レベルのアラートを設定できます。

• アラートメソッドを設定した後、Configure Advanced Parameters を使用して、アラートメッセージの送信間隔を制御できます。これにより、過剰な通知による無駄やバックログの発生を防ぎます。

• アラート条件が Business delay、Task status、または Task Resource Utilization に設定されている場合、タスクが正常状態に戻ったときに受信者に通知する回復通知を有効化することもできます。

(2) アラートルールの管理

作成されたアラートルールについては、アラートスイッチを使用して有効または無効にできます。また、アラートレベルに基づいて異なる担当者にアラートを送信することもできます。

2. アラートの表示

タスクリストで、More > Configure Alert Rule をクリックし、[アラートイベント] タブに移動して、トリガーされたアラートの履歴を表示します。