DataWorks:データプッシュ

準備 (オプション)

データプッシュを迅速に実行できるよう、このトピックでは MaxCompute テーブルからのクエリ結果をプッシュする例を用いて説明します。この例では、データプッシュ機能を使用して、sales という名前のテーブルから指定されたチャンネルにデータを送信します。データには、各部門の日次売上高と前日比の売上高の変動が含まれます。この例の手順に従う場合は、まずご利用の環境に sales テーブルを作成する必要があります。以下のコードは、sales テーブルを作成し、データを挿入するためのステートメントです。テーブルの作成方法の詳細については、「MaxCompute テーブルの作成と使用」をご参照ください。

CREATE TABLE IF NOT EXISTS sales (
    id BIGINT COMMENT '一意の識別子',
    department STRING COMMENT '部門名',
    revenue DOUBLE COMMENT '収益額'
) PARTITIONED BY (ds STRING);
-- パーティションにサンプルデータを挿入
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (1, 'Department 1', 12000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (2, 'Department 2', 21000.00);
INSERT INTO TABLE sales PARTITION(ds='20240101')(id, department, revenue ) VALUES (3, 'Department 3', 5000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (1, 'Department 1', 11000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (2, 'Department 2', 20000.00);
INSERT INTO TABLE sales PARTITION(ds='20240102')(id, department, revenue ) VALUES (3, 'Department 3', 10000.00);

データソースの選択

データソースタイプ、データソース名、および データソース環境 を選択して、データプッシュ用のデータテーブルの環境を決定します。データプッシュが開発テーブル用か本番テーブル用かに基づいて、データソース環境を選択できます。ハンズオン演習を行っている場合は、準備フェーズで作成した sales テーブルが配置されている環境を確認してください。

たとえば、[データソースタイプ] を odps に、[データソース名] を MaxCompute_Source に、[データソース環境] を [本番環境] に設定します。新しいデータソースを作成するには、[データソース名]フィールドの下のリンクをクリックします。

クエリ SQL の記述

• データ範囲を定義し、データを取得します。

  SQL クエリの作成 セクションで、単一テーブルまたは複数テーブルの SQL クエリを使用して、プッシュするデータを定義します。例：

  -- 20240102 の各部門の売上収益を取得
  SELECT id, department, revenue FROM sales WHERE ds='20240102';
  -- 前日と比較した売上収益の変動を取得
  SELECT  a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id AND a.ds > b.ds WHERE a.ds = '20240102'AND b.ds = '20240101';

  SQL を記述すると、結果フィールドが パラメータ > 出力パラメータ セクションに自動的に入力されます。出力パラメーターの解析に失敗した場合や、それらが正しくない場合は、パラメータの自動解析 を無効にして、手動で パラメーターの追加 を行うことができます。

  また、${variable_name} 形式を使用して SQL でカスタム変数を設定することもできます。この変数は パラメーター割り当て(パラメーター割り当て には時間式と定数を割り当てることができます) であり、コードの動的なパラメーター入力を実装します。詳細については、「プッシュコンテンツの設定」をご参照ください。

  -- スケジューリングパラメーターを使用して時間変数を動的に割り当てる
  -- 各部門の最新の日次売上収益を取得
  SELECT id, department, revenue FROM sales WHERE ds='${date}';
  -- 前日と比較した売上収益の変動を取得
  SELECT a.revenue - b.revenue AS diff FROM sales a LEFT JOIN sales b ON a.id = b.id  and  a.ds > b.ds WHERE a.ds = '${date}' AND b.ds = '${previous_date}';

• ページ分割クエリ。

  大規模なテーブルの場合、データプッシュは 次のトークン を使用したページ分割クエリをサポートします。コードエディターのツールバーで コードヘルプ > コードテンプレート > 次のトークン をクリックして、使用方法の説明を参照してください。

プッシュコンテンツの設定

プッシュ内容 セクションでは、Markdown および テーブル 形式を使用してメッセージコンテンツを編集できます。このコンテンツは Webhook にプッシュされます。

タイトル フィールドでメッセージタイトルをカスタマイズした後、本文エリアで 作成 をクリックします。次に、Markdown、テーブル、または メール本文 を選択してコンテンツを編集します。以下の例は、サンプル設定を示しています。ツールバーの プレビュー をクリックして、メッセージのフォーマットを確認できます。

Webhook 送信先の作成

データプッシュオブジェクトの作成 をクリックし、次のパラメーターを設定します:

• タイプ: チャンネルタイプを選択します。オプションには DingTalk、Lark、WeCom、および チーム が含まれます。

• オブジェクト名：新しいプッシュ送信先のカスタム名を入力します。

• Webhook：選択したプッシュチャンネルの Webhook URL。

[タイプ] ドロップダウンリストは、[メール] チャンネルもサポートしています。設定を完了したら、[OK] をクリックします。

メール送信先の作成

プッシュ設定 を設定する前に、サービス開発 ページの左下隅にある アイコンをクリックして設定パネルを開きます。プッシュオブジェクトの管理 タブに切り替えて、データプッシュオブジェクトの作成 をクリックして送信先を作成します。

データプッシュオブジェクトの作成 をクリックすると、以下のパラメーターを設定する必要があります。

• タイプ：メール を選択します。

• オブジェクト名：新しいプッシュ送信先のカスタム名を入力します。

• SMTP ホスト：メールサーバーのアドレス。

• SMTP ポート：メールサーバーのポート番号。デフォルト値は 465 で、手動で変更できます。

• 送信元アドレス：メール送信アドレス。

• [SMTP アカウント]：完全なメールアカウント。

• SMTP パスワード：メールアカウントのパスワード。

• 受信アドレス：送信先のメールアドレス。

プッシュ設定

右側の プッシュ設定 をクリックして、タスクのスケジューリング周期、スケジューリングリソース、およびプッシュ先を設定します。具体的な設定項目は以下の通りです：

• スケジューリング周期と実行時間の設定：データプッシュサービスが編集したコンテンツをプッシュするためのスケジューリング周期と特定の時間を設定します。

  スケジューリング周期	指定時刻	スケジューリング時間	例
  月	プッシュタスクを実行する月の日を指定します。	プッシュ日のデータプッシュタスクのスケジューリング時間。	スケジューリング周期：月 指定時間：毎月 1 日 スケジュール時刻： 08:00 実際の実行時間：プッシュタスクは毎月 1 日の 08:00 に実行されます。
  週	プッシュタスクを実行する曜日を指定します。	プッシュ日のデータプッシュタスクのスケジューリング時間。	スケジューリング周期：週 指定時間：月曜日 スケジュール時刻：09:00 実際の実行時間：プッシュタスクは毎週月曜日の 09:00 に実行されます。
  日	説明 日次周期は、タスクを毎日実行するようにスケジュールします。	プッシュ日のデータプッシュタスクのスケジューリング時間。	スケジューリング周期：日 スケジュール時刻：08:00 実際の実行時間：プッシュタスクは毎日 08:00 に実行されます。
  時間	説明 2 つのプッシュモードから選択できます： 指定された時間間隔でプッシュします。 指定された時と分でプッシュします。		時間間隔でプッシュ： 開始時間: 00:00 時間間隔：1 時間 終了時間：23:59 実際の実行時間：毎日 00:00 から 23:59 まで 1 時間ごとに 1 回プッシュします。 指定された時と分でプッシュ： 時間指定：0, 1 分の指定：10 実際の実行時間：毎日 00:10 と 01:10 にプッシュします。

• タイムアウト時間：タスク実行の時間制限を設定します。この制限を超えるとタスクは終了します。

  • システムデフォルト：システムデフォルト 設定では、タスクのタイムアウトはシステム負荷に基づいて動的に調整され、値は 3 日から 7 日の範囲になります。タイムアウトしたタスクは終了します。

  • 例：カスタム タイムアウトを 1 時間に設定した場合、プッシュタスクはスケジュールされた開始時刻から 1 時間以上実行されると終了します。

• 発効日：データプッシュタスクがアクティブな時間範囲を設定します。

  • 無期限：データプッシュタスクは永続的に有効であり、有効期間の範囲に制限されません。

  • 例：指定時間 範囲を 2024-01-01 から 2024-12-31 までに設定した場合、プッシュタスクはこの期間内に設定されたスケジューリング周期に従って実行されます。

• スケジューリングリソースグループ：スケジューリング専用リソースグループまたはサーバーレスリソースグループ (汎用リソースグループ) を設定して、データプッシュタスクにスケジューリングリソースを提供できます。リソースグループの詳細については、「リソースグループ管理」をご参照ください。

• 毎回プッシュ：SQL クエリがデータを返さない場合にプッシュ通知を送信するかどうかを制御します。

  • 有効 (デフォルト)：クエリがデータを返すかどうかに関わらず、スケジュールされた実行ごとにプッシュが実行されます。

  • 無効：入力パラメーターを除く、プッシュコンテンツで使用されるすべての変数が空の場合、メッセージは送信されません。SQL の WHERE または HAVING 句を使用してデータをフィルタリングできます。フィルター条件が満たされず、クエリ結果が空の場合、プッシュタスクは自動的にスキップされ、メッセージは送信されません。

• データプッシュ対象：設定したコンテンツを選択した送信先にプッシュできます。既存のプッシュ送信先からのみ選択でき、これらは データプッシュ管理 で設定されます。

  説明

  DingTalk Webhook にプッシュする場合、ボット設定の セキュリティ設定 > [カスタムキーワード] セクションにキーワードを追加する必要があります。プッシュが成功するためには、プッシュコンテンツにこのキーワードが含まれていることを確認してください。

タスクバージョンの管理

1. 開発中のテストが成功したことを確認した後、コミット をクリックします。プッシュタスクが送信されない場合、ドラフト状態のままであり、新しいバージョンは生成されません。

2. サービスを送信すると、新しいバージョンが生成されます。右側の バージョン パネルで、公開可能 な送信済みバージョンを見つけ、公開 をクリックします。タスクを公開すると、プッシュ設定 で定義されたスケジュールが有効になります。

   バージョン パネルで、データプッシュタスクを以下のように管理します。

   ステータス	操作	説明
   公開	データプッシュ管理	データプッシュ管理 ページに移動し、公開されたタスクの詳細情報を表示できます。詳細については、「データプッシュタスクの管理」をご参照ください。
   公開可能	公開	タスクの対応するバージョンを公開します。
   	破棄	タスクの対応するバージョンを破棄し、そのステータスを 破棄 に変更します。
   オフライン、破棄	バージョンの詳細	そのバージョンのデータプッシュタスクの設定情報と対応するプッシュコンテンツを表示します。
   	ロールバック	このバージョンを復元し、現在の設定にします。

   説明

   バージョンの詳細 と ロールバック 操作は、すべてのステータスのタスクで利用可能であり、同様に機能します。

プッシュタスクの管理

データプッシュタスクが正常に公開された後、バージョン パネルの 操作 列にある データプッシュ管理 をクリックするか、サービス管理 > データプッシュ管理 パスを介して データプッシュタスク リストページに移動します。

このページには、公開されているすべての データプッシュタスク が一覧表示され、ID、名称、データソース名、データソース環境、ノードパターン、スケジューリングリソースグループ、オーナー、発行者、最終発行日時 などの詳細が表示されます。操作 列で、公開されたデータプッシュタスクに対して以下の操作を実行します：

公開済みタスクのテスト

以下のいずれかの方法で [データプッシュテスト] ページに移動します：

• 方法 1：サービス管理 > データプッシュのテスト を選択します。

• 方法 2：サービス管理 > データプッシュ管理 > データプッシュタスク を選択します。

公開されたタスクをテストすることで、タスクが正しく実行され、送信先が期待通りにデータを受信することを確認します。

[データプッシュテスト] ページで、ドロップダウンリストからターゲットのデータプッシュタスクを選択または検索し、必要に応じて [送信先にプッシュ] チェックボックスを選択してから、[テスト開始] をクリックします。