MaxCompute:MaxCompute Query Accelerator (MaxQA) のユーザーガイド

リージョン別の正式リリース日

注意

新規作成されたインタラクティブクォータグループは、デフォルトで MaxQA モードになります。既存の MCQA サービスは影響を受けません。

MaxQA インスタンスの作成

MaxQA は、サブスクリプションの MaxCompute プロジェクトでのみ利用可能です。MaxQA インスタンスを作成するには、次の手順を実行します：

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、構成の管理 > クォータ管理 を選択します。

3. クォータ管理 ページで、対象のクォータを見つけ、操作 列の クォータ設定 をクリックします。

4. 基本設定

   1. クォータ設定 ページで、基本設定 タブをクリックし、次に 基本設定の編集 をクリックします。

   2. 新しいレベル2クォータ をクリックし、クォータ名 を入力し、データ型 を インタラクティブ に設定します。

      • MaxQA を使用する場合、クォータ名 を指定する必要があります。複数のインスタンスを簡単に区別できるように、ビジネスに関連する名前を使用することを推奨します。

      • インタラクティブ クォータは、クエリ高速化 (MCQA) ジョブの実行専用です。

5. 決定 をクリックします。

インスタンスを作成すると、インタラクティブクォータグループのステータスが 開始 に変わります。このプロセスには 5〜8 分かかります。ステータスが 操作中 に変わると、インスタンスを使用できます。

MaxQA インスタンスの削除

1. クォータ管理 ページで、対象のクォータを見つけ、操作 列の クォータ設定 をクリックします。

2. クォータ設定 ページで、基本設定 タブをクリックし、対象のインタラクティブクォータを見つけて、操作 列の 削除 をクリックします。

削除はバックグラウンドで実行されます。ページにはステータスの更新や削除の進捗は表示されません。

MaxQA インスタンスのスケーリング

必要に応じて、インタラクティブクォータグループをスケールアウトまたはスケールインできます。そのためには、次の手順を実行します：

1. クォータ管理 ページで、対象のクォータを見つけ、操作 列の クォータ設定 をクリックします。

2. クォータ設定 ページで、基本設定 タブをクリックし、次に 基本設定の編集 をクリックします。

3. 新しいレベル2クォータ をクリックし、スケーリングしたいインタラクティブクォータグループの 予約cu数量 [mincu、maxcu] を調整します。値を増やすとグループがスケールアウトされ、減らすとスケールインされます。

   説明

   • CU の最小ステップサイズは 25 です。

   • CU の最小数は 25 以上である必要があります。インタラクティブリソースが不要な場合は、値を 0 に設定するか、クォータグループを削除してください。

   • 予約弾性cu はインタラクティブクォータではサポートされていません。

4. 決定 をクリックします。

   インタラクティブクォータグループの予約 CU が調整されます。

インタラクティブクォータグループの 操作 列には プロセスの拡張 または ボリュームを縮小する と表示されます。スケールアウトには約 5〜8 分かかります。スケールインは、実行中のジョブが完了するタイミングに依存するため、より時間がかかる場合があります。最悪の場合、スケールイン対象のマシン上のすべてのジョブが完了するのを待ってからスケールイン操作が開始されるため、システムがジョブのタイムアウトを待つことがあります。スケーリング操作は実行中のジョブに影響を与えません。

MaxQA の時間ベースのスケーリングルールの設定

時間ベースのスケーリングプランを設定して、スケーリング操作をスケジュールできます。そのためには、次の手順を実行します：

1. クォータ管理 ページで、対象のクォータを見つけ、操作 列の クォータ設定 をクリックします。

2. クォータ設定 ページで、スケーリング設定 タブをクリックします。

3. 時間ベースのスケーリング設定の構成

   1. スケーリング設定 タブで、新しい構成スキーム をクリックします。新しい構成スキーム ダイアログボックスで、構成スキーム名 を入力し、レベル 2 クォータの 予約cu数量 [mincu、maxcu] を設定します。

   2. 既存の設定プランを変更する場合：

      スケーリング設定 タブで、対象の設定プランを見つけ、操作 列の 編集 をクリックして更新します。

4. 時間ベースのプランの設定

   1. スケーリング設定 タブで、タイムシェアリング管理 エリアの タイムプランの編集 をクリックします。

   2. 有効期間を追加 をクリックし、[有効開始時間] と 設定シナリオプラン を選択します。

      異なるクォータ設定プランを1日の異なる時間に有効にすることで、時間に基づいてクォータ設定を管理できます。詳細については、「計算リソースのクォータ管理」をご参照ください。

スケジューリングポリシー

ジョブを送信する際には、クライアントまたは Java Database Connectivity (JDBC) 接続文字列でインタラクティブクォータグループの名前を明示的に指定する必要があります。ジョブはその後、対応する MaxQA インスタンスにスケジュールされます。

バックオフポリシー

MaxQA は自動バックオフポリシーをサポートしていません。MaxQA ジョブが制限やその他の理由で失敗した場合、再送信するか、バッチ処理クォータグループに送信する必要があります。

以下の方法で MaxQA に接続できます：

• MaxCompute クライアント

• DataWorks でのアドホッククエリまたはデータ開発

• MaxCompute コンソールの SQL 分析

• MaxCompute Studio で MaxQA を使用する

• JDBC を介した接続

• BI 分析ツール

• Java SDK

• Python SDK

MaxCompute クライアントを使用した MaxQA の有効化

1. MaxCompute クライアント (odpscmd) V0.51.1 以降をインストールして設定します。詳細については、「ローカルクライアント (odpscmd) を使用した接続」をご参照ください。

2. (オプション) クライアントのインストールパスの conf ディレクトリで、odps_config.ini ファイルを開き、ファイルの末尾に次のコマンドを追加します。

   -- MaxQA 接続情報キャッシュを有効にします。
   enable_quota_cache=true

3. インストールパスの bin ディレクトリで、スクリプトファイルを実行して MaxCompute クライアントを起動します。

   重要

   • Linux または macOS の場合は、odpscmd スクリプトファイルを実行します。

   • Windows の場合は、odpscmd.bat ファイルをダブルクリックします。

4. ジョブを実行する前に次のコマンドを実行します。その後、クライアントによって送信されるジョブは MaxQA モードを使用し、インタラクティブクォータグループに対応する MaxQA インスタンスで実行されます。

   USE QUOTA <name_of_the_interactive_quota_group>;

   セッションレベルで現在のジョブの MaxQA インスタンスを指定することもできます。

   SET odps.task.wlm.quota=<name_of_the_interactive_quota_group>;

DataWorks でのデータ開発のために MaxQA を有効にする

1. DataWorks コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、データ開発と О&М > データ開発 を選択します。

3. ワークスペースを選択する を選択し、[DataStudio へ移動] をクリックします。

4. データ開発ページで、右側の[デバッグ設定]をクリックします。

5. [デバッグ設定] ページで、[コンピューティングリソース] には、アタッチされた MaxCompute プロジェクトを選択し、[コンピューティングクォータ] には、インタラクティブ構成グループを選択します。

6. 設定が完了すると、SQL ノードによって実行されるジョブは、インタラクティブクォータグループの MaxQA インスタンスにスケジュールされます。

手順の詳細については、「DataWorks で MaxCompute SQL ノードを作成する」をご参照ください。

MaxCompute コンソールの SQL 分析での MaxQA の有効化

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、データ探索 > SQL分析 を選択します。

3. SQL エディターに SQL 文を入力した後、右側にある [実行設定] をクリックして、[プロジェクト] と [コンピューティングクォータ] を設定します。

4. インタラクティブクォータグループに対応する計算リソースを選択します。

5. 設定が完了すると、SQL 分析ページで実行されるジョブは、インタラクティブクォータグループの MaxQA インスタンスにスケジュールされます。

手順の詳細については、「SQL 分析」をご参照ください。

MaxCompute Studio で MaxQA を使用する

MaxCompute Studio をインストールし、MaxCompute プロジェクトに接続していることを確認してください。その後、MaxCompute Studio でスクリプトを実行して MaxQA を使用できます。そのためには、次の手順を実行します：

1. MaxCompute Studio 4.3.2 以降をインストールして設定します。詳細については、「MaxCompute Studio のインストール」をご参照ください。

2. MaxCompute Studio プロジェクトを作成し、MaxCompute プロジェクトに接続します。詳細については、「プロジェクト接続の管理」をご参照ください。

3. プロジェクトに MaxCompute SQL スクリプトを作成します。詳細については、「SQL スクリプトの開発と送信」をご参照ください。

4. MaxCompute SQL スクリプトに SQL スクリプト文を入力します。実行モードのドロップダウンリストから MaxQA を選択します。

5. 追加パラメーター指定アイコン をクリックし、MaxQA クォータの名前を入力して、OK をクリックします。

6. スクリプトを実行します。ジョブは MaxQA クエリ高速化機能を使用します。

JDBC を使用した MaxQA の有効化

JDBC を使用して MaxCompute に接続する場合、次の手順で MaxQA を有効にできます。JDBC を使用して MaxCompute に接続する方法の詳細については、「手順」をご参照ください。

1. MaxQA をサポートし、コンパイル可能なソースコードをダウンロードします。

2. Maven で Pom 依存関係を設定します。

   <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-jdbc</artifactId>
      <version>${Latest Version}</version>
   </dependency>

   重要

   上記のコードの Latest Version はプレースホルダーです。プロジェクトをコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。リリースされているすべての odps-jdbc のバージョンを表示するには、Maven Central Repository をご覧ください。最新バージョンを使用することを推奨します。バージョン番号のフォーマットは X.X.X です。

3. ソースコードに基づいて Java プログラムを作成し、必要に応じて情報を調整します。詳細については、「MaxCompute JDBC」をご参照ください。以下は一例です。

   import java.sql.Connection;
   import java.sql.DatabaseMetaData;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.SQLException;
   import java.sql.Statement;
   
   public class MaxCompute {
   
       private static final String DRIVER_NAME = "com.aliyun.odps.jdbc.OdpsDriver";
       // Alibaba Cloud アカウントの AccessKey は、すべての API に対する完全な権限を持ち、高いセキュリティリスクをもたらします。API 呼び出しや O&M を実行するには、RAM ユーザーを作成して使用することを強く推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
       // この例では、AccessKey ID と AccessKey Secret を環境変数に保存する方法を示しています。必要に応じて、設定ファイルに保存することもできます。
       // キーの漏洩を避けるため、コードに AccessKey ID と AccessKey Secret を保存しないことを強く推奨します。
       private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
       private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
   
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(DRIVER_NAME);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
               System.exit(1);
           }
           Connection conn = DriverManager.getConnection(
                   "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=maxqatomax&charset=UTF-8&interactiveMode=true&quotaName=maxfor1&autoSelectLimit=1000000000",
                   MaxCompute.accessId, MaxCompute.accessKey);
   
           // テーブルを作成します。
           Statement stmt = conn.createStatement();
           final String tableName = "jdbc_test11";
           stmt.execute("DROP TABLE IF EXISTS " + tableName);
           stmt.execute("CREATE TABLE " + tableName + " (key BIGINT, value STRING)");
   
           // メタデータを取得します。
           DatabaseMetaData metaData = conn.getMetaData();
           System.out.println("product = " + metaData.getDatabaseProductName());
           System.out.println("jdbc version = "
                   + metaData.getDriverMajorVersion() + ", "
                   + metaData.getDriverMinorVersion());
           ResultSet tables = metaData.getTables(null, "default", tableName, null);
           while (tables.next()) {
               String name = tables.getString("TABLE_NAME");
               System.out.println("inspecting table: " + name);
               ResultSet columns = metaData.getColumns(null, null, name, null);
               while (columns.next()) {
                   System.out.println(
                           columns.getString("COLUMN_NAME") + "\t" +
                                   columns.getString("TYPE_NAME") + "(" +
                                   columns.getInt("DATA_TYPE") + ")");
               }
               columns.close();
           }
           tables.close();
           stmt.close();
           conn.close();
       }
   }

以下のコードは、JDBC 接続文字列の設定例です。

// your_quota_nick_name は使用したいインタラクティブクォータグループの名前です。
jdbc:odps:<MaxCompute_endpoint>?
project=<MaxCompute_project_name>&interactiveMode=true&quotaName=your_quota_nick_name&enableLimit=false&enableOdpsLogger=true"

BI 分析ツールを使用した MaxQA への接続

Tableau、Quick BI、Guanyuan BI、SQLWorkBench、 を使用して MaxQA に接続できます。手順は以下の通りです。

Java SDK を使用した MaxQA の有効化

Java SDK の詳細については、「Java SDK の概要」をご参照ください。

1. Maven で Pom 依存関係を設定します。以下は設定例です。

   <dependency>
     <groupId>com.aliyun.odps</groupId>
     <artifactId>odps-sdk-core</artifactId>
     <version>${Latest Version}</version>
   </dependency>

   重要

   上記のコードの Latest Version はプレースホルダーです。プロジェクトをコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。リリースされているすべての odps-sdk-core のバージョンを表示するには、Maven Central Repository をご覧ください。最新バージョンを使用することを推奨します。バージョン番号のフォーマットは X.X.X-public です。

2. Java プログラムを作成します。以下のコードはコマンドのサンプルです。

   import com.aliyun.odps.Odps;
   import com.aliyun.odps.OdpsException;
   import com.aliyun.odps.account.Account;
   import com.aliyun.odps.account.AliyunAccount;
   import com.aliyun.odps.sqa.ExecuteMode;
   import com.aliyun.odps.sqa.SQLExecutor;
   import com.aliyun.odps.sqa.SQLExecutorBuilder;
   import java.util.HashMap;
   import java.util.Map;
   
   public class MaxCompute {
   
       public static void main(String args[]) {
           // アカウントとプロジェクト情報を設定します。
           // Alibaba Cloud アカウントの AccessKey は、すべての API に対する完全な権限を持ち、高いセキュリティリスクをもたらします。API 呼び出しや O&M を実行するには、RAM ユーザーを作成して使用することを強く推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
           // この例では、AccessKey ID と AccessKey Secret を環境変数に保存する方法を示しています。必要に応じて、設定ファイルに保存することもできます。
           // キーの漏洩を避けるため、コードに AccessKey ID と AccessKey Secret を保存しないことを強く推奨します。
           Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                           System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
           Odps odps = new Odps(account);
           odps.setDefaultProject("maxqatomax");
           odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");
           // SQLExecutor のビルドを準備します。
           SQLExecutorBuilder builder = SQLExecutorBuilder.builder();
   
           SQLExecutor sqlExecutor = null;
           try {
               // デフォルトで MCQA 2.0 モードを使用するエグゼキュータを作成します。
               sqlExecutor = builder.odps(odps)
                       .executeMode(ExecuteMode.INTERACTIVE)
                       .quotaName("maxfor1")
                       .enableMcqaV2(true)
                       .build();
               // 必要に応じて、クエリに特別な設定を渡すことができます。
               Map<String, String> queryHint = new HashMap<>();
               queryHint.put("odps.sql.mapper.split.size", "128");
               // クエリジョブを送信します。ヒントがサポートされています。
               sqlExecutor.run("select count(1) from test_table;", queryHint);
               // 現在のクエリジョブの logview。
               System.out.println("Logview:" + sqlExecutor.getLogView());
               // 現在のクエリジョブの InstanceId。
               System.out.println("InstanceId:" + sqlExecutor.getQueryId());
           } catch (OdpsException e) {
               e.printStackTrace();
           } finally {
               if (sqlExecutor != null) {
                   // リソースを解放するためにエグゼキュータを閉じます。
                   sqlExecutor.close();
               }
           }
       }
   }

PyODPS での MaxQA の使用

PyODPS V0.12.1 以降は MaxQA をサポートしています。以下のコードは一例です。

import os
from odps import ODPS

# アカウントとプロジェクト情報を設定します。
# ALIBABA_CLOUD_ACCESS_KEY_ID 環境変数が AccessKey ID に設定されていること、
# および ALIBABA_CLOUD_ACCESS_KEY_SECRET 環境変数が AccessKey Secret に設定されていることを確認してください。
# AccessKey ID と AccessKey Secret の文字列を直接使用することは推奨しません。
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxto****',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)

# 必要に応じて、クエリに特別な設定を渡すことができます。
hints = {"odps.sql.mapper.split.size": "128"}

inst = o.execute_sql_interactive(
    'select count(1) from test_table',
    use_mcqa_v2=True,
    quota_name='maxfor1',
    # quota_name を MaxQA インスタンスに対応するインタラクティブクォータグループの名前に設定します。
    hints=hints,
)

# 現在のクエリジョブの logview。
print(inst.get_logview_address())

# 現在のクエリジョブの InstanceId。
print(inst.id)

# データを一行ずつ読み取ります。
with inst.open_reader() as reader:
    result = [res.values for res in reader]

odps://<access_id>:<ACCESS_KEY>@<project>/?endpoint=<endpoint>&quota_name=<YOUR_INTERACTIVE_QUOTA_NICKNAME>&interactive_mode=v2&reuse_odps=true

Logview の確認

ジョブが完了したら、Logview ページに移動します。以下の 3 つの項目を確認することで、ジョブが MaxQA モードを使用したことを確認できます。

• MaxCompute InstanceId が _mcqa で終わるかどうかを確認します。

• クォータニックネームが指定されたインタラクティブクォータの名前であるかどうかを確認します。

• [概要] タブで、ジョブ実行モードが mcqa 2.0 であるかどうかを確認します。

コンソールの可観測性ページでの確認

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、観察操作とメンテナンス > 操作とメンテナンス を選択します。

3. 操作とメンテナンス ページで、共通リスト タブをクリックします。ジョブタイプ を [MCQA2] に設定して、指定した 時間範囲 内の MaxQA ジョブを表示します。