DataWorks:データプッシュ

事前準備 (オプション)

データプッシュを迅速に実行できるよう、本トピックでは MaxCompute テーブルからクエリ結果をプッシュする方法を例に挙げて説明します。 この例では、データプッシュ機能を使用して、sales テーブルから指定のチャネルにデータを送信します。 データには、各部門の日次売上高と、前日と比較した売上高の変動が含まれます。 この例の手順に従う場合は、まずご使用の環境に sales テーブルを作成する必要があります。 次のコードは、sales テーブルを作成してデータを挿入するためのステートメントです。 テーブルの作成方法の詳細については、「MaxCompute テーブルの作成と使用」をご参照ください。

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT '一意の識別子',
    department STRING COMMENT '部門名',
    revenue DOUBLE COMMENT '売上高'
) PARTITIONED BY (ds STRING);
-- パーティションにサンプルデータを挿入します
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, '部門 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, '部門 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, '部門 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, '部門 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, '部門 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, '部門 3', 10000.00);

データソースの選択

Data Source Type、Data Source Name、および Data Source Environment を選択して、データプッシュ用のデータテーブルの環境を決定します。データプッシュが開発テーブル用か本番テーブル用かに基づいて、データソース環境を選択できます。ハンズオン演習を実行している場合は、準備段階で作成したsales テーブルが配置されている環境を確認してください。

たとえば、[データソースタイプ] を odps、[データソース名] を MaxCompute_Source、[データソース環境] を [本番環境] に設定します。新しいデータソースを作成するには、[データソース名] フィールドの下にあるリンクをクリックします。

クエリSQLの記述

• データ範囲を定義してデータを取得します。

  Edit Query SQL セクションで、単一テーブルまたは複数テーブルの SQL クエリを使用して、プッシュするデータを定義します。 例:

  -- 20240102の各部門の売上高を取得します
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- 前日と比較した売上高の変化を取得します
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  SQL を記述すると、結果フィールドが Parameters > Output Parameters セクションに自動的に入力されます。出力パラメーターの解析が失敗した場合や、内容が正しくない場合は、Automatically Parse Parameters を無効にして、手動で Add Parameter を行うことができます。

  また、${variable_name} 形式を使用して SQL でカスタム変数を設定することもできます。 この変数は、コードの動的なパラメーター入力を実装するための Assignment Parameters(Assignment Parameters には時間式と定数を割り当てることができます) です。 詳細については、「プッシュコンテンツを設定する」をご参照ください。

  -- スケジューリングパラメーターを使用して時間変数を動的に割り当てます。
  -- 各部門の最新の日次売上高を取得します
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- 前日と比較した売上高の変化を取得します
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• ページ分割クエリ

  大規模なテーブルでは、データプッシュは Next Token を使用したページ分割クエリをサポートしています。使用方法については、コードエディターのツールバーで Code Help > Code Template > Next Token をクリックします。

プッシュコンテンツの設定

Content to Push セクションでは、メッセージの内容を Markdown および Table 形式で編集できます。この内容は Webhook にプッシュされます。

Titleフィールドでメッセージタイトルをカスタマイズした後、本文エリアで Add をクリックします。 次に、Markdown、Table、または Email Body を選択してコンテンツを編集します。 以下に設定例を示します。 ツールバーの Preview をクリックして、メッセージ形式を確認できます。

Webhook送信先の作成

Create Destination をクリックすると、以下のパラメーターを設定します。

• [Type]: チャネルタイプを選択します。オプションには DingTalk、Lark、WeCom、Teams があります。

• [Destination Name]: 新しいプッシュ送信先のカスタム名を入力します。

• [Webhook]：選択したプッシュチャネルの Webhook URL です。

設定が完了したら、[OK] をクリックします。

メール送信先の作成

Push Settings を設定する前に、Service Development ページの左下隅にある アイコンをクリックして設定パネルを開き、Destination Management タブに切り替え、Create Destination をクリックして宛先を作成します。

Create Destination をクリックすると、次のパラメーターを設定する必要があります。

• [Type]: Email を選択します。

• [Destination Name]：新しいプッシュ先のカスタム名を入力します。

• [SMTP Host]: メールサーバーのアドレスです。

• [SMTP Port]: メールサーバーのポート番号です。デフォルト値は 465 で、手動で変更できます。

• [Sender Address]: メール送信アドレスです。

• [SMTP アカウント]：完全なメールアカウントです。

• [SMTP Password]：メールアカウントのパスワードです。

• [Receiver Address]: 宛先のメールアドレスです。

プッシュ設定

右側にあるPush Settingsをクリックして、タスクのスケジューリングサイクル、スケジューリングリソース、およびプッシュ先を設定します。具体的な設定項目は次のとおりです。

• スケジュール周期と実行時間の設定：データプッシュサービスが編集したコンテンツをプッシュする、スケジュール周期と時刻を設定します。

  スケジュール周期	指定時刻	スケジュール時刻	例
  [Month]	プッシュタスクを実行する月の日を指定します。	プッシュ日にデータプッシュタスクが実行される時刻です。	[Scheduling Frequency]：月 [Specified Time]：毎月 1日 [Data Timestamp]：08:00 実際の実行時間：プッシュタスクは毎月1日の08:00に実行されます。
  [Week]	プッシュタスクを実行する曜日を指定します。	プッシュ日にデータプッシュタスクが実行される時刻です。	[Scheduling Frequency]: 週 [Specified Time]：月曜日 [Data Timestamp]: 09:00 実際の実行時間：プッシュタスクは毎週月曜日の09:00に実行されます。
  [Day]	説明 日次周期では、タスクは毎日実行されます。	プッシュ日にデータプッシュタスクが実行される時刻です。	[Scheduling Frequency]：日 [Data Timestamp]: 08:00 実際の実行時間：プッシュタスクは毎日08:00に実行されます。
  [Hour]	説明 2つのプッシュモードから選択できます。 指定された時間間隔でプッシュします。 指定された時と分にプッシュします。		時間間隔でプッシュ： [Start Time]: 00:00 [Time Interval]： 1 時間 [End Time]: 23:59 実際の実行時間：毎日00:00から23:59まで、1 時間ごとにプッシュが実行されます。 指定した時と分にプッシュ： [時間の指定]: 0, 1 [Specified Minute]： 10 実際の実行時間：毎日00:10と01:10にプッシュが実行されます。

• [Timeout Definition]: タスク実行の時間制限を設定します。この制限を超えた場合、タスクは終了されます。

  • [Default Value]: Default Value 設定では、タスクのタイムアウトはシステム負荷に基づいて 3 日から 7 日の範囲で動的に調整されます。タイムアウトしたタスクは終了されます。

  • 例: Custom タイムアウトを 1 時間に設定した場合、プッシュタスクは、そのスケジュールされた開始時刻から 1 時間を超えて実行されると終了されます。

• [有効開始]: データプッシュタスクが有効な期間を設定します。

  • [永久に有効]: データプッシュタスクは有効期間に制限されず、永続的に有効です。

  • [例]：Specified Time の範囲を 2024-01-01 から 2024-12-31 までに設定した場合、この期間内は、設定されたスケジューリングサイクルに従ってプッシュタスクが実行されます。

• [Resource Group for Scheduling]: データプッシュタスクのスケジューリングリソースとして、[スケジューリング専用リソースグループ] または [サーバーレスリソースグループ] (汎用リソースグループ) を設定できます。 リソースグループの詳細については、「リソースグループ管理」をご参照ください。

• [Push Every Time]: SQL クエリがデータを返さない場合に、プッシュ通知を送信するかどうかを制御します。

  • 有効 (デフォルト)：クエリがデータを返すかどうかに関係なく、スケジュールされた実行のたびにプッシュが実行されます。

  • 無効: 入力パラメーターを除き、プッシュコンテンツで使用されるすべての変数が空の場合、メッセージは送信されません。SQL の WHERE 句または HAVING 句を使用してデータをフィルタリングできます。フィルター条件が満たされず、クエリ結果が空の場合、プッシュタスクは自動的にスキップされ、メッセージは送信されません。

• [Destination]: 設定したコンテンツを選択した宛先へプッシュできます。Data Push Task Management で設定された、既存のプッシュ先からのみ選択できます。

  説明

  DingTalk Webhook にプッシュする場合、ボットの設定の Security Settings > [カスタムキーワード] セクションでキーワードを追加する必要があります。プッシュを成功させるには、プッシュコンテンツにこのキーワードが含まれていることを確認してください。

タスクバージョンの管理

1. 開発中のテストが成功したことを確認した後、 Submit をクリックします。プッシュタスクが提出されない場合、下書き状態のままとなり、新しいバージョンは生成されません。

2. サービスを提出すると、新しいバージョンが生成されます。右側の Version パネルで、 Can Be Published な提出済みバージョンを見つけて Publish をクリックします。タスクを公開すると、 Push Settings で定義されたスケジュールが有効になります。

   Version パネルで、次のようにデータプッシュタスクを管理します。

   [ステータス]	[操作]	Description
   Publish	Data Push Task Management	[Data Push Task Management] ページに移動します。このページで、公開されたタスクの詳細情報を表示できます。詳細については、「データプッシュタスクを管理」をご参照ください。
   Can Be Published	Publish	対応するバージョンのタスクを公開します。
   	Abandoned	対応するバージョンのタスクを破棄し、ステータスを Abandoned に変更します。
   Off-Line、Abandoned	Version Details	そのバージョンのデータプッシュタスクの設定情報と対応するプッシュコンテンツを表示します。
   	ロールバック	このバージョンを復元し、現在の設定とします。

   説明

   Version Details および ロールバック 操作は、すべてのステータスのタスクで使用でき、同じように機能します。

プッシュタスクの管理

データプッシュタスクが正常に公開された後、 Version パネルの Operation 列にある Data Push Task Management をクリックするか、 Service Management > Data Push Task Management パスから [Data Push Tasks] リストページに移動します。

このページには、公開されたすべての [Data Push Tasks] が一覧表示され、 ID、Name、Data Source Name、Data Source Environment、Node Mode、Resource Group for Scheduling、Owner、Deployer、Published Time などの詳細が表示されます。Operation 列で、公開されたデータプッシュタスクに対して次の操作を実行できます：

公開済みタスクのテスト

次のいずれかの方法で [データプッシュテスト] ページに移動できます：

• 方法 1： Service Management > Test Data Push Task を選択します。

• 方法 2： Service Management > Data Push Task Management に移動します。[Data Push Tasks] リストページで、対象タスクの [操作] 列にある [テスト] をクリックします。

公開されたタスクをテストして、タスクが正しく実行され、宛先が期待どおりにデータを受信することを確認します。

データプッシュテスト ページで、ドロップダウンリストから対象のデータプッシュタスクを選択または検索し、必要に応じて [宛先へプッシュ] チェックボックスにチェックを入れてから、 [テストを開始] をクリックします。