MaxCompute:ジョブの優先度

既存のジョブの優先度の確認

Information Schema で次のクエリを実行して、日付パーティション内のすべてのジョブにわたる優先度の分布を確認します：

SELECT  get_json_object(
            REPLACE(settings, '.', '_'),
            '$.odps_instance_priority'
        ) AS priority,
        task_type,
        COUNT(1) AS cnt
FROM    information_schema.tasks_history
WHERE   ds = '${bizdate}'  -- 日付パーティションに置き換えます (例：20200517)。
GROUP BY get_json_object(
             REPLACE(settings, '.', '_'),
             '$.odps_instance_priority'
         ),
         task_type
ORDER BY cnt DESC
LIMIT   100;

出力例：

+----------+-----------+-----+
| priority | task_type | cnt |
+----------+-----------+-----+
| 9        | SQL       | 4   |
| NULL     | SQL       | 1   |
| 2        | SQL       | 1   |
+----------+-----------+-----+

NULL 優先度のジョブは DDL タスクです。これらは無視してください。優先度の値が 9 以外のジョブ (この例では 2 など) については、所有者を特定し、この機能を有効にする前に優先度をリセットしてください。

特定の優先度の値を持つジョブの詳細を検索するには：

SELECT  inst_id,
        owner_name,
        task_name,
        task_type,
        settings
FROM    information_schema.tasks_history
WHERE   ds = '${bizdate}'  -- 日付パーティションに置き換えます (例：20200517)。
AND     get_json_object(
            REPLACE(settings, '.', '_'),
            '$.odps_instance_priority'
        ) = '${priority}'  -- フィルタリングする優先度の値に置き換えます (例：2)。
LIMIT   100;

出力の主要なフィールド：

9 以外の優先度を持つジョブを特定した後：

• DataWorks ジョブ： 関連付けられたベースラインが妥当かどうかを確認してください。妥当でない場合は削除してください。詳細については、「ベースライン管理」をご参照ください。

• DataWorks 以外のジョブ： owner_name と user_agent を使用して所有者に連絡してください。ジョブコードから優先度設定を削除して、デフォルトの優先度 9 に戻してください。

プロジェクトレベルでの優先度の有効化

プロジェクト所有者または Super_Administrator ロールを持つユーザーのみが優先度を有効にできます。MaxCompute クライアントで次のコマンドを実行してください：

setproject odps.instance.priority.enable=true;

優先度は、プロジェクト内のすべてのジョブに対してすぐに有効になります。

クォータレベルでの優先度の有効化

クォータレベルで優先度を有効にすると、そのクォータで実行されているすべてのジョブに優先度スケジューリングが適用されます。

1. MaxCompute コンソールにログインし、リージョンを選択します。MaxCompute コンソール

2. ナビゲーションペインで、[Manage Configurations] > [Quotas] を選択します。

3. 対象のクォータを見つけ、[Actions] 列の [Quota Configuration] をクリックします。

4. [Basic Configurations] タブで、[Edit Basic Configurations] をクリックします。

5. 対象のレベル 2 クォータの [Enable Priority] オプションを選択します。

   レベル 2 クォータの [Type] が [Interactive] の場合、[Enable Priority] オプションはデフォルトで利用できません。

6. [OK] をクリックします。

方法 1：MaxCompute クライアント — SET コマンド

MaxCompute クライアントで SQL 文の前にこのコマンドを実行してください：

SET odps.instance.priority = <value>;
--  は 0 (最も高い優先度) から 9 (最も低い優先度) までの整数です。

方法 2：MaxCompute クライアント — CLI フラグ

SQL 文を送信するときに、優先度をフラグとして渡してください：

bin/odpscmd --config=<config-file> --project=<project-name> --instance-priority=<value> -e "<sql>"

方法 3：Java SDK

ジョブを送信するときに odps.instances().create(task, priority) メソッドを使用して優先度を設定してください：

import com.aliyun.odps.Instance;
import com.aliyun.odps.LogView;
import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.task.SQLTask;

public class OdpsPriorityDemo {
    public static void main(String[] args) throws OdpsException {
        // 環境変数から認証情報を読み込みます。
        // AccessKey の認証情報をコードにハードコーディングしないでください。
        Account account = new AliyunAccount(
            System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
            System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET")
        );

        Odps odps = new Odps(account);
        odps.setEndpoint("http://service.odps.aliyun.com/api");
        odps.setDefaultProject("<your-project-name>");

        SQLTask task = new SQLTask();
        task.setName("adhoc_sql_task_1");
        task.setQuery("select count(*) from aa;");

        // 優先度 5 でジョブを送信します。
        // 優先度の値：0 (最高) から 9 (最低)。
        Instance instance = odps.instances().create(task, 5);

        // ジョブのステータスを監視するために LogView の URL を出力します (任意)。
        LogView logView = new LogView(odps);
        System.out.println(logView.generateLogView(instance, 24));

        // ジョブが完了するまで待機します (任意)。
        instance.waitForSuccess();
    }
}

詳細については、「Java SDK の概要」をご参照ください。

方法 4：DataWorks ベースライン管理

定期的なパイプラインとそのすべてのアップストリームジョブを SLA ウィンドウ内で完了させる必要がある場合、この方法を使用します。ベースライン管理は、パイプライン内のすべてのジョブの優先度を一度に設定するため、各ジョブを個別に設定する必要はありません。

DataWorks のベースライン優先度は、式 MaxCompute 優先度 = 9 - DataWorks ベースライン優先度 に基づいて、対応する MaxCompute のジョブ優先度に変換されます。一般的な優先度マッピングを次の表に示します。

換算式：MaxCompute 優先度 = 9 − DataWorks ベースライン優先度

詳細については、「ベースライン管理」をご参照ください。

DataWorks のアドホッククエリにはデフォルトでベースラインがないため、送信される MaxCompute ジョブは最も低い優先度 (9) を使用します。DataWorks のワークフローにはデフォルトでベースライン優先度 1 が設定されているため、そのジョブは優先度 8 を使用します。

方法 5：DataWorks ノード設定

DataWorks ノードでアドホッククエリの優先度を直接設定してください：

set odps.instance.priority = <value>;
--  は 0 (最高) から 9 (最低) までの優先度の値です。