Quick Audience:タスクのスケジュール

Dataphin

Dataphin で、Shell 定期タスクを使用してインポート スケジュール タスクをトリガーするには、次の手順を実行します。

1. サンドボックス ホワイトリストを追加し、「トリガーされたスケジューリング タスクの作成」で生成されたすべての URL を、アクセスする IP アドレスとして追加します。 詳細については、「Dataphin サンドボックス許可リストの追加」をご参照ください。

2. シェル タスクを作成します。 詳細については、「シェル タスクの作成定期タスク」をご参照ください。 スケジュール タイプとして を選択します。

   同じスケジューリング タスクに複数のテーブルが含まれている場合、複数のトリガー URL が生成され、それに応じて複数の Shell 定期タスクを作成する必要があります。

   シェル スクリプトの例は次のとおりです。

   #!/bin/bash
   # {トリガー URL} をトリガー URL に置き換えます。
   QA_TRIGGER_URL="{Trigger URL}"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール開始。"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール URL:" $QA_TRIGGER_URL
   result=$(curl -k -s ${QA_TRIGGER_URL})
   if [ !  -n "$result" ]; then  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー失敗"  $result
   else  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール応答:" $result
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール終了。"
   fi

3. オプション。 [シェル タスクの実行] をクリックして、インポート スケジュール タスクをトリガーできるかどうかをテストし、出力ログに次の成功情報が含まれているかどうかを確認できます。

   QuickAudience トリガー スケジュール応答: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. シェル タスクのスケジュールを設定します。 詳細については、「スケジュールの構成」をご参照ください。

   ヒント: console.log() を使用して、ブラウザのコンソールにデータを出力できます。

   インポート スケジュール タスクの URL に対応するすべてのシェル タスクがトリガーされると、インポート スケジュール タスクがトリガーされます。

DataWorks

DataWorks では、シェル ノードまたは PyODPS 3 ノードでインポート スケジュール タスクをトリガーできます。

シェル ノードの作成

DataWorks でシェル ノードを使用してインポート スケジュール タスクをトリガーするには、次の手順を実行します。

1. シェル ノードは、スケジュール用にスケジュール グループ専用の排他的リソースを使用する必要があります。 詳細については、「スケジュール グループの排他的リソース」をご参照ください。

   そうしないと、シェル ノードのスケジュールが失敗し、次のエラー メッセージが表示されます。

   curl: (1) プロトコル https は libcurl でサポートされていないか、無効になっています

2. シェル ノードを作成します。 詳細については、「シェル ノードの作成」をご参照ください。

   同じスケジューリング タスクに複数のテーブルが含まれている場合、複数のトリガー URL が生成され、それに応じて複数のシェル ノードを作成する必要があります。

   シェル スクリプトの例は次のとおりです。

   #!/bin/bash
   # {トリガー URL} をトリガー URL に置き換えます。
   QA_TRIGGER_URL="{Trigger URL}"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール開始。"
   echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール URL:" $QA_TRIGGER_URL
   result=$(curl -k -s ${QA_TRIGGER_URL})
   if [ !  -n "$result" ]; then  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー失敗"  $result
   else  
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール応答:" $result
     echo $(date "+%Y-%m-%d %H:%M:%S") "QuickAudience トリガー スケジュール終了。"
   fi   

3. オプション。 [シェルを実行] をクリックして、インポート スケジュール タスクがトリガーされるかどうかをテストし、出力ログに次の成功情報が含まれているかどうかを確認します。

   QuickAudience トリガー スケジュール応答: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. シェル ノードのスケジュールを設定します。 詳細については、「スケジューリングの依存関係の構成」をご参照ください。

   次の図に示すように、上流依存関係を作成し、現在のデータ テーブルにデータを作成する上流ノードに関連付けます。 上流ノードによってデータが生成され、構成されたスケジュール時刻に達すると、シェル ノードがスケジュールされます。

   インポート スケジュール タスクの URL に対応するすべてのシェル ノードがトリガーされると、インポート スケジュール タスクがトリガーされます。

PyODPS 3 ノード

DataWorks で、PyODPS 3 ノードを使用してインポート スケジュール タスクをトリガーします。 手順は次のとおりです。

1. PyODPS 3 ノードは、パブリック リソース グループまたはスケジュール グループ専用の排他的リソースを使用してスケジュールできます。

   • パブリック リソース グループは自動的にアクティブになります。 詳細については、「パブリック リソース グループ」をご参照ください。

   • スケジュール グループ専用の排他的リソースの詳細については、「スケジュール グループの排他的リソース」をご参照ください。

2. PyODPS 3 ノードを作成します。 詳細については、「PyODPS 3 ノード」をご参照ください。

   同じスケジューリング タスクに複数のテーブルが含まれている場合、複数のトリガー URL が生成され、それに応じて複数の PyODPS 3 ノードを作成する必要があります。

   Python 3 スクリプトの例は次のとおりです。

   import requests
   from datetime import datetime
   
   # {スケジュールをトリガーするアドレス} をスケジュールをトリガーするアドレスに置き換えます。
   QA_TRIGGER_URL = "{Address that triggers scheduling}"
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience トリガー スケジュール開始。")
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience トリガー スケジュール URL:" + QA_TRIGGER_URL)
   response = requests.get(QA_TRIGGER_URL)
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience トリガー スケジュール応答:" + response.text)
   print(datetime.now().strftime("%Y-%m-%d %H:%M:%S") + " QuickAudience トリガー スケジュール終了。")

3. オプション。 [PyODPS 3 を実行] をクリックして、インポート スケジュール タスクがトリガーされるかどうかをテストし、出力ログに次の成功情報が含まれているかどうかを確認します。

   QuickAudience トリガー スケジュール応答: {"data":"true","errorCode":null,"errorDesc":null,"exStack":null,"opers":[],"solution":null,"success":true,"traceId":"0bc1409e16667784903588235e2ef1"}

4. PyODPS 3 ノードのスケジュールを設定します。 詳細については、「スケジューリングの依存関係の構成」をご参照ください。

   次の図に示すように、上流依存関係を作成し、現在のデータ テーブルにデータを作成する上流ノードに関連付けます。 上流ノードによってデータが生成され、構成されたスケジュール時刻に達すると、PyODPS 3 ノードのスケジュールがトリガーされます。

   インポート スケジュール タスクの URL に対応するすべての PyODPS 3 ノードがトリガーされると、インポート スケジュール タスクがトリガーされます。