MaxCompute:MaxQA ユーザーガイド

リージョン別の商用開始スケジュール

注意

新規作成されたインタラクティブクォータグループは、デフォルトで MaxQA モードになります。既存の MCQA インスタンスは影響を受けません。

MaxQA インスタンスの有効化

MaxQA は、サブスクリプションベースの MaxCompute プロジェクトでのみ利用可能です。手順は次のとおりです。

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、[管理] > [クォータ管理] を選択します。

3. [クォータ管理] ページで、ターゲットの最上位クォータを見つけ、[アクション] 列の [クォータ設定] をクリックします。

4. 基本設定を構成します。

   1. [クォータ設定] ページで、[基本設定] タブをクリックし、[基本設定の編集] をクリックします。

   2. [レベル 2 クォータの追加] をクリックし、[クォータ名] を入力して、[タイプ] を選択します。

      パラメーター	説明
      クォータ名	カスタム名を入力します。MaxQA を使用する際にこの名前を指定する必要があります。他のインスタンスと区別するために、ビジネスに関連する名前を使用することをお勧めします。
      タイプ	[インタラクティブ] を選択します。

5. [OK] をクリックして MaxQA インスタンスを有効にします。

インスタンスを有効にすると、インタラクティブクォータグループのステータスが [開始中] に変わります。ステータスが [実行中] に変わるまで 5〜8 分待ちます。その後、インスタンスの使用を開始できます。

MaxQA インスタンスの削除

不要になった MaxQA インスタンスは削除できます。

1. [クォータ管理] ページで、ターゲットの最上位クォータを見つけ、[アクション] 列の [クォータ設定] をクリックします。

2. [クォータ設定] ページで、[基本設定] タブをクリックします。ターゲットのインタラクティブクォータグループを見つけ、[アクション] 列の [削除] をクリックします。

削除はバックグラウンドで実行されます。ページにはステータスの更新や削除の進行状況は表示されません。

MaxQA インスタンスのスケーリング

必要に応じて、インタラクティブクォータグループをスケールアウトまたはスケールインできます。手順は次のとおりです。

1. [クォータ管理] ページで、ターゲットの最上位クォータを見つけ、[アクション] 列の [クォータ設定] をクリックします。

2. [クォータ設定] ページで、[基本設定] タブをクリックし、[基本設定の編集] をクリックします。

3. インタラクティブクォータグループの [予約済み CU [minCU,maxCU]] を調整します。値を増やすとスケールアウトし、値を減らすとスケールインします。

   説明

   • CU 変更の最小ステップサイズは 25 です。

   • 最小 CU 値は 25 以上である必要があります。インタラクティブリソースが不要な場合は、値を 0 に設定するか、クォータグループを削除できます。

   • インタラクティブクォータは、エラスティック予約 CU をサポートしていません。

4. [OK] をクリックして、インタラクティブクォータグループの予約 CU を調整します。

インタラクティブクォータグループの [アクション] 列に [スケールアウト中] または [スケールイン中] と表示されます。スケールアウト操作には約 5〜8 分かかります。スケールイン操作は、実行中のジョブがいつ終了するかに依存するため、時間がかかる場合があります。最悪の場合、スケールインされたマシン上のすべての実行中ジョブが終了したことを確認するために、システムがジョブのタイムアウトを待つ必要がある場合があります。スケールアウトもスケールインも、通常のジョブ実行には影響しません。

MaxQA の時間ベースのスケーリングルールを設定する

時間ベースのスケーリングプランを設定して、スケジュールされたスケーリングを実行できます。手順は次のとおりです。

1. [クォータ管理] ページで、ターゲットの最上位クォータを見つけ、[アクション] 列の [クォータ設定] をクリックします。

2. [クォータ設定] ページで、[スケーリング設定] タブを選択します。

3. リソースプランを設定します。

   1. [リソースプランリスト] セクションで、[プランの追加] をクリックします。

   2. [プランの追加] ダイアログボックスで、各インタラクティブクォータグループの [予約済み CU [minCU,maxCU]] の値を調整し、[OK] をクリックします。

   3. (オプション) 既存のプランの [アクション] 列にある [編集] をクリックして変更することもできます。

4. 時間ベースのプランを設定します。

   1. [時間ベースの管理] セクションで、[時間プランの編集] をクリックします。

   2. [有効期間の追加] をクリックして、1 日の異なる時間に異なるクォータプランを有効にします。この機能により、クォータ設定の時間ベースの管理が可能になります。詳細については、「計算リソースのクォータ管理」をご参照ください。

スケジューリングポリシー

ジョブを送信する際には、クライアントまたは JDBC 接続文字列でインタラクティブクォータグループの名前を明示的に指定する必要があります。ジョブはその後、対応する MaxQA インスタンスにスケジュールされます。

バックオフポリシー

MaxQA は自動バックオフポリシーをサポートしていません。MaxQA ジョブが制限やその他の理由で失敗した場合、手動で再送信するか、バッチ処理クォータグループに送信する必要があります。

MaxQA には、次の方法で接続できます。

• MaxCompute クライアント

• DataWorks でのアドホッククエリまたはデータ開発

• MaxCompute コンソールでの SQL 分析

• MaxCompute Studio で MaxQA を使用する

• JDBC 接続

• BI 分析ツール

• Java SDK

• Python SDK

MaxCompute クライアントを使用した MaxQA の有効化

1. MaxCompute クライアント (odpscmd) V0.51.1 以降をインストールして設定します。詳細については、「ローカルクライアント (odpscmd) を使用した接続」をご参照ください。

2. (オプション) クライアントのインストールパスの odps_config.ini ディレクトリにある conf ファイルを変更します。ファイルの末尾に次のコマンドを追加します。

   -- MaxQA 接続情報キャッシュを有効にします。
   enable_quota_cache=true

3. インストールパスの bin ディレクトリにあるスクリプトファイルを実行して、MaxCompute クライアントを起動します。

   重要

   • Linux/macOS: odpscmd スクリプトファイルを実行します。

   • Windows: odpscmd.bat ファイルをダブルクリックします。

4. ジョブを実行する前に、次のコマンドを実行します。クライアントから送信される後続のジョブは、MaxQA モードを使用し、インタラクティブクォータグループの対応する MaxQA インスタンスで実行されます。

   USE QUOTA <name_of_interactive_quota_group>;

   次の例に示すように、セッションレベルで現在のジョブの MaxQA インスタンスを指定することもできます。

   SET odps.task.wlm.quota=<name_of_interactive_quota_group>;

DataWorks でのデータ開発のために MaxQA を有効にする

1. DataWorks の [データ開発] ページで、右側の [デバッグ設定] をクリックします。

2. [デバッグ設定] ページで、[計算リソース] にバインドされた MaxCompute プロジェクトリソースを選択します。[計算クォータ] には、インタラクティブクォータグループを選択します。

詳細な手順については、「DataWorks で MaxCompute SQL ノードを作成する」をご参照ください。

設定が完了すると、SQL ノードによって実行されるジョブは、インタラクティブクォータグループに対応する MaxQA インスタンスにスケジュールされます。

MaxCompute コンソールでの SQL 分析のために MaxQA を有効にする

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、[データ探索] > [SQL 分析] を選択します。

3. SQL クエリページに移動し、新しいテキストファイルを作成します。

4. 右側の [ランタイムパラメーター] をクリックします。表示されるタブで、[プロジェクト] を選択します。[計算クォータ] には、インタラクティブクォータグループに対応する計算リソースを選択します。

詳細な手順については、「SQL 分析」をご参照ください。

設定が完了すると、SQL 分析ページで実行されるジョブは、インタラクティブクォータグループに対応する MaxQA インスタンスにスケジュールされます。

MaxCompute Studio で MaxQA を使用する

MaxCompute Studio をインストールし、MaxCompute プロジェクトに接続していることを確認してください。その後、MaxCompute Studio でスクリプトを実行して MaxQA を使用できます。手順は次のとおりです。

1. MaxCompute Studio 4.3.2 以降をインストールして設定します。詳細については、「MaxCompute Studio のインストール」をご参照ください。

2. 新しい MaxCompute Studio プロジェクトを作成し、MaxCompute プロジェクトに接続します。詳細については、「プロジェクト接続の管理」をご参照ください。

3. プロジェクトに新しい MaxCompute SQL スクリプトを作成します。詳細については、「SQL スクリプトの開発と送信」をご参照ください。

4. MaxCompute SQL スクリプトに SQL スクリプト文を入力します。実行モードのドロップダウンリストから、[MaxQA] を選択します。

5. 追加パラメーターを指定するアイコン をクリックし、MaxQA クォータ名を入力して、[OK] をクリックします。

6. スクリプトを実行します。ジョブは MaxQA 機能を使用します。

JDBC を使用した MaxQA の有効化

Java Database Connectivity (JDBC) を使用して MaxCompute に接続する場合、次の操作を実行して MaxQA を有効にできます。JDBC を使用した MaxCompute への接続の詳細については、「手順」をご参照ください。

1. MaxQA をサポートするコンパイル可能なソースコードをダウンロードします。

2. Maven を使用して Pom 依存関係を設定します。

   <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-jdbc</artifactId>
      <version>${Latest Version}</version>
   </dependency>

   重要

   コード内の Latest Version はプレースホルダーです。プロジェクトをコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。リリースされたすべての odps-jdbc バージョンを表示するには、Maven Central Repository にアクセスしてください。最新バージョンを使用することをお勧めします。バージョン番号の形式は X.X.X です。

3. ソースコードに基づいて Java プログラムを作成し、必要に応じて情報を調整します。詳細については、「MaxCompute JDBC」をご参照ください。以下に例を示します。

   import java.sql.Connection;
   import java.sql.DatabaseMetaData;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.SQLException;
   import java.sql.Statement;
   
   public class MaxCompute {
   
       private static final String DRIVER_NAME = "com.aliyun.odps.jdbc.OdpsDriver";
       // Alibaba Cloud アカウントの AccessKey は、すべての API に対する完全な権限を持っています。これはリスクの高い操作です。API 呼び出しや O&M を実行するには、RAM ユーザーを作成して使用することを強く推奨します。RAM コンソールにログインして RAM ユーザーを作成してください。
       // この例では、AccessKey ID と AccessKey Secret を環境変数に格納する方法を示しています。必要に応じて、設定ファイルに格納することもできます。
       // コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。キーが漏洩する可能性があります。
       private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
       private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
   
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(DRIVER_NAME);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
               System.exit(1);
           }
           Connection conn = DriverManager.getConnection(
                   "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=maxqatomax&charset=UTF-8&interactiveMode=true&quotaName=maxfor1&autoSelectLimit=1000000000",
                   MaxCompute.accessId, MaxCompute.accessKey);
   
           // テーブルを作成
           Statement stmt = conn.createStatement();
           final String tableName = "jdbc_test11";
           stmt.execute("DROP TABLE IF EXISTS " + tableName);
           stmt.execute("CREATE TABLE " + tableName + " (key BIGINT, value STRING)");
   
           // メタデータを取得
           DatabaseMetaData metaData = conn.getMetaData();
           System.out.println("product = " + metaData.getDatabaseProductName());
           System.out.println("jdbc version = "
                   + metaData.getDriverMajorVersion() + ", "
                   + metaData.getDriverMinorVersion());
           ResultSet tables = metaData.getTables(null, "default", tableName, null);
           while (tables.next()) {
               String name = tables.getString("TABLE_NAME");
               System.out.println("inspecting table: " + name);
               ResultSet columns = metaData.getColumns(null, null, name, null);
               while (columns.next()) {
                   System.out.println(
                           columns.getString("COLUMN_NAME") + "\t" +
                                   columns.getString("TYPE_NAME") + "(" +
                                   columns.getInt("DATA_TYPE") + ")");
               }
               columns.close();
           }
           tables.close();
           stmt.close();
           conn.close();
       }
   }

次のコードは、JDBC 接続文字列の設定例です。

// your_quota_nick_name は、使用したいインタラクティブクォータグループの名前です。
jdbc:odps:<MaxCompute_endpoint>?
project=<MaxCompute_project_name>&interactiveMode=true&quotaName=your_quota_nick_name&enableLimit=false&enableOdpsLogger=true"

BI 分析ツールを使用した MaxQA への接続

Tableau、Quick BI、Guanyuan BI、SQLWorkBench などのツールを使用して MaxQA に接続できます。手順は次のとおりです。

Java SDK を使用した MaxQA の有効化

Java SDK の詳細については、「Java SDK の概要」をご参照ください。

1. Maven を使用して Pom 依存関係を設定します。次のコードは設定例です。

   <dependency>
     <groupId>com.aliyun.odps</groupId>
     <artifactId>odps-sdk-core</artifactId>
     <version>${Latest Version}</version>
   </dependency>

   重要

   コード内の Latest Version はプレースホルダーです。プロジェクトをコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。リリースされたすべての odps-sdk-core バージョンを表示するには、Maven Central Repository にアクセスしてください。最新バージョンを使用することをお勧めします。バージョン番号の形式は X.X.X-public です。

2. Java プログラムを作成します。次のコードはコマンドの例です。

   import com.aliyun.odps.Odps;
   import com.aliyun.odps.OdpsException;
   import com.aliyun.odps.account.Account;
   import com.aliyun.odps.account.AliyunAccount;
   import com.aliyun.odps.sqa.ExecuteMode;
   import com.aliyun.odps.sqa.SQLExecutor;
   import com.aliyun.odps.sqa.SQLExecutorBuilder;
   import java.util.HashMap;
   import java.util.Map;
   
   public class MaxCompute {
   
       public static void main(String args[]) {
           // アカウントとプロジェクト情報を設定します。
           // Alibaba Cloud アカウントの AccessKey は、すべての API に対する完全な権限を持っています。これはリスクの高い操作です。API 呼び出しや O&M を実行するには、RAM ユーザーを作成して使用することを強く推奨します。RAM コンソールにログインして RAM ユーザーを作成してください。
           // この例では、AccessKey ID と AccessKey Secret を環境変数に格納する方法を示しています。必要に応じて、設定ファイルに格納することもできます。
           // コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。キーが漏洩する可能性があります。
           Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                           System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
           Odps odps = new Odps(account);
           odps.setDefaultProject("maxqatomax");
           odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");
           // SQLExecutor をビルする準備をします。
           SQLExecutorBuilder builder = SQLExecutorBuilder.builder();
   
           SQLExecutor sqlExecutor = null;
           try {
               // デフォルトで MCQA 2.0 モードを使用する Executor を作成します。
               sqlExecutor = builder.odps(odps)
                       .executeMode(ExecuteMode.INTERACTIVE)
                       .quotaName("maxfor1")
                       .enableMcqaV2(true)
                       .build();
               // 必要に応じて、クエリに特別な設定を渡すことができます。
               Map<String, String> queryHint = new HashMap<>();
               queryHint.put("odps.sql.mapper.split.size", "128");
               // クエリジョブを送信します。ヒントがサポートされています。
               sqlExecutor.run("select count(1) from test_table;", queryHint);
               // 現在のクエリジョブの Logview。
               System.out.println("Logview:" + sqlExecutor.getLogView());
               // 現在のクエリジョブの InstanceId。
               System.out.println("InstanceId:" + sqlExecutor.getQueryId());
           } catch (OdpsException e) {
               e.printStackTrace();
           } finally {
               if (sqlExecutor != null) {
                   // Executor を閉じてリソースを解放します。
                   sqlExecutor.close();
               }
           }
       }
   }

PyODPS で MaxQA を使用する

PyODPS は V0.12.1 以降で MaxQA をサポートしています。次のコードは例です。

import os
from odps import ODPS

# アカウントとプロジェクト情報を設定します。
# ALIBABA_CLOUD_ACCESS_KEY_ID 環境変数が AccessKey ID に設定されていることを確認してください。
# また、ALIBABA_CLOUD_ACCESS_KEY_SECRET 環境変数が AccessKey Secret に設定されていることを確認してください。
# AccessKey ID / AccessKey Secret 文字列を直接使用することはお勧めしません。
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxto****',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)

# 必要に応じて、クエリに特別な設定を渡すことができます。
hints = {"odps.sql.mapper.split.size": "128"}

inst = o.execute_sql_interactive(
    'select count(1) from test_table',
    use_mcqa_v2=True,
    quota_name='maxfor1',
    # quota_name を MaxQA インスタンスに対応するインタラクティブクォータグループの名前に設定します。
    hints=hints,
)

# 現在のクエリジョブの Logview。
print(inst.get_logview_address())

# 現在のクエリジョブの InstanceId。
print(inst.id)

# データを 1 行ずつ読み取ります。
with inst.open_reader() as reader:
    result = [res.values for res in reader]

odps://<access_id>:<ACCESS_KEY>@<project>/?endpoint=<endpoint>&quota_name=<YOUR_INTERACTIVE_QUOTA_NICKNAME>&interactive_mode=v2&reuse_odps=true

Logview からの確認

ジョブが実行された後、Logview ページに移動します。次の 3 つの方法のいずれかで、ジョブが MaxQA モードを使用していることを確認できます。

• MaxCompute InstanceId が _mcqa で終わるかどうかを確認します。

• [クォータニックネーム] が指定されたインタラクティブクォータ名であるかどうかを確認します。

• [概要] タブで、[ジョブ実行モード] が [mcqa 2.0] であるかどうかを確認します。

コンソールの可観測性ページからの確認

1. MaxCompute コンソールにログインします。左側のナビゲーションウィンドウで、[可観測性 & O&M] > [ジョブ O&M] をクリックします。

2. [ジョブ O&M] ページで、[ジョブタイプ] を [MCQA2] に設定して、指定した時間範囲内の MaxQA ジョブをフィルターします。