DataWorks:単一テーブルのリアルタイム同期タスクの構成

1. ソースの構成

1. [Configuration] タブで、同期する Kafka トピックを選択します。

   他の構成にはデフォルト値を使用するか、必要に応じて変更できます。パラメーターの詳細については、Kafka の公式ドキュメント をご参照ください。

2. 右上隅にある Data Sampling をクリックします。

   表示されるダイアログボックスで、Start time と Sampled Data Records を設定し、Start Collection をクリックします。この操作により、指定された Kafka トピックからデータがサンプリングされます。データをプレビューできます。このデータは、後続のデータ処理ノードにおけるプレビューおよび可視化構成の入力として使用されます。

3. [Configure Output Field] タブで、同期するフィールドを選択します。

   デフォルトでは、Kafka は 6 つのフィールドを提供します。

   フィールド名	説明
   __key__	Kafka レコードのキー。
   __value__	Kafka レコードの値。
   __partition__	Kafka レコードが格納されているパーティション番号。パーティション番号は 0 から始まる整数です。
   __headers__	Kafka レコードのヘッダー。
   __offset__	パーティション内の Kafka レコードのオフセット。オフセットは 0 から始まる整数です。
   __timestamp__	Kafka レコードのミリ秒単位の 13 桁の UNIX タイムスタンプ。

   後続のデータ処理ノードで、追加のフィールド変換を実行することもできます。

2. データ処理

Data Processing トグルを有効にします。[データマスキング]、[文字列置換]、[データフィルタリング]、[JSON 解析]、[フィールドの編集と割り当て]の 5 つのデータ処理方法が利用できます。これらのメソッドは任意の順序で配置でき、実行時には設定した順序で実行されます。

データ処理ノードを構成した後、右上隅にある Preview Data Output をクリックします。

1. 入力データの下のテーブルには、前の Data Sampling ステップの結果が表示されます。Re-obtain Output of Ancestor Node をクリックして、結果を更新できます。

2. 上流ノードからの出力がない場合は、Manually Construct Data を使用して、前の出力をシミュレートすることもできます。

3. Preview をクリックして、データ処理コンポーネントによって処理された後の上流ステップからの出力データを表示します。

[入力データ] テーブルには、キー、値、パーティション、オフセット、タイムスタンプなどの Kafka メッセージフィールドが表示されます。[プレビュー結果] セクションには、JSON 解析からのキーと値のペアなど、データ処理後に解析されたフィールドが表示されます。また、見つかったダーティデータのレコード数と免責事項「ここに表示されるプレビューは参考用です。実際のタスク実行の結果が正となります。」も含まれます。

3. 送信先の構成

1. [Destination] セクションで、Tunnel リソースグループを選択します。デフォルトでは「パブリック転送リソース」が選択されており、これは MaxCompute の無料クォータに対応します。

2. [新しいテーブル] に書き込むか、[既存のテーブルを使用] するかを指定します。

   1. 新しいテーブルを作成する場合は、ドロップダウンリストから Create を選択できます。デフォルトでは、ソースと同じ構造のテーブルが自動的に作成されます。送信先テーブル名とスキーマは手動で変更できます。

   2. 既存のテーブルを使用することを選択した場合は、ドロップダウンリストから送信先テーブルを選択します。

3. (オプション) テーブルスキーマの編集。

   テーブル名の横にある編集アイコンをクリックして、そのスキーマを変更します。Re-generate Table Schema Based on Output Column of Ancestor Node をクリックすると、上流ノードの出力列に基づいてスキーマが自動的に生成されます。その後、自動生成されたスキーマの列を選択して主キーとして設定できます。

同期タスクは、詳細な構成のための高度なパラメーターを提供します。システムはデフォルト値を提供するため、ほとんどの場合、変更する必要はありません。変更するには、次の手順に従います。

1. ページの右上隅にある Advanced Settings をクリックして、Advanced Parameters 構成ページに移動します。

   説明

   Data Development では、詳細設定はタスク構成ページの右側にあるタブにあります。

2. 同期タスクの読み取り側と書き込み側で個別にパラメーターを設定できます。[実行時構成を自動的に設定] を false に設定して、[実行時構成] をカスタマイズします。

3. ツールチップに基づいてパラメーター値を変更します。各パラメーターの説明は、その名前の横に表示されます。一部のパラメーターの構成の推奨事項については、「リアルタイム同期の高度なパラメーター」をご参照ください。

1. アラートの追加

[カスタムルールの使用] を選択し、[アラート名] と [説明] を入力します。サポートされている通知方法には、[メール]、[SMS]、[電話]、[DingTalk]、[Webhook]、[Feishu] があります。これらの方法は、WARNING レベルと CRITICAL レベルで個別に構成できます。受信者は、[オンコールスケジュール] を通じて指定するか、手動で追加できます。

(1) Create Rule をクリックしてアラートルールを構成します。

[Alert Reason] を設定して、Business delay、[フェールオーバー]、Task status、DDL Notification、Task Resource Utilization などのメトリックを監視できます。その後、指定されたしきい値に基づいて CRITICAL または WARNING のアラートレベルを設定できます。

• アラート方法を設定した後、Configure Advanced Parameters を使用してアラート通知の送信間隔を制御し、大量のメッセージ送信や無駄を防ぐことができます。

• アラートの原因として Business delay、Task status、または Task Resource Utilization を選択した場合、タスクが正常な状態に復旧したときに受信者に通知する復旧通知を有効にすることもできます。

(2) アラートルールの管理。

既存のアラートルールについては、トグルを使用して有効または無効にできます。アラートレベルに基づいて、異なる担当者にアラートを送信することもできます。

2. アラートの表示

タスクリストで、More > Configure Alert Rule をクリックしてアラートイベントページに移動し、アラート履歴を表示します。