MaxCompute:クエリアクセラレーション MaxQA

リージョン別の提供タイムライン

注意事項

新規のインタラクティブクォータグループは、デフォルトで MaxQA モードになります。既存の MaxQA には影響しません。

MaxQA インスタンスの作成

MaxQA は、サブスクリプション課金モデルを使用する MaxCompute プロジェクトでのみ利用可能です。MaxQA インスタンスを作成するには、次の手順を実行します。

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、設定管理 > クォータ (Quota) 管理 を選択します。

3. クォータ管理 ページで、対象のクォータの 操作 列にある Quota の設定 をクリックします。

4. 基本設定

   1. Quota の設定 ページで、基本設定 タブを選択し、基本構成の編集 をクリックします。

   2. セカンダリクォータの追加 をクリックし、クォータ名 を入力し、タイプ に インタラクティブ を選択します。

      • MaxQA を使用する場合、クォータ名 を指定します。複数のインスタンスを区別するために、ビジネス属性に関連する名前を使用することを推奨します。

      • インタラクティブ クォータは、クエリアクセラレーション (MaxQA) ジョブの実行専用です。

5. OK をクリックします。

インスタンスを作成すると、対応するインタラクティブクォータグループのステータスが 起動中 に変わります。ステータスが 実行中 に変わるまで 5〜8 分待ちます。その後、インスタンスを使用できます。

MaxQA インスタンスの削除

1. クォータ管理 ページで、対象のクォータの 操作 列にある Quota の設定 をクリックします。

2. Quota の設定 ページで、基本設定 タブを選択し、対象のインタラクティブクォータの 操作 列にある 削除 をクリックします。

削除はバックグラウンドで実行されます。ページにはステータスの更新や削除の進捗は表示されません。

MaxQA インスタンスのスケーリング

ビジネスニーズに応じて、インタラクティブクォータグループをスケールアウトまたはスケールインできます。

1. クォータ管理 ページで、対象のクォータの 操作 列にある Quota の設定 をクリックします。

2. Quota の設定 ページで、基本設定 タブを選択し、基本構成の編集 をクリックします。

3. セカンダリクォータの追加 をクリックし、スケールアップまたはスケールダウンしたいインタラクティブクォータグループの リザーブド CU [minCU, maxCU] を調整します。値を大きくするとスケールアップ、小さくするとスケールダウンになります。

   説明

   • CU の最小増分は 25 です。

   • 最小 CU は 25 以上である必要があります。安定性を確保するため、最小 CU は 50 以上に設定してください。インタラクティブリソースが不要な場合は、値を 0 に設定するか、クォータグループを削除してください。

   • インタラクティブクォータの制限：

     • エラスティックリザーブド CU はインタラクティブクォータではサポートされていません。

     • クエリアクセラレーションのパフォーマンスと安定性を確保するため、インタラクティブクォータでは最小 CU と最大 CU を同じ値に設定してください。

4. OK をクリックします。

   インタラクティブクォータグループの予約 CU の調整が開始されます。

インタラクティブクォータグループの 操作 列に スケールアップ中 または スケールダウン中 が表示されます。スケールアウトには約 5〜8 分かかります。スケールインは、実行中のジョブが終了するタイミングによって、より長くかかる場合があります。最悪の場合、スケールイン操作が開始される前に、削除対象のマシン上のジョブがタイムアウトするのをシステムが待つ必要があります。スケーリング操作中、ご利用のジョブに影響はありません。

MaxQA の時間ベースのスケーリング設定

スケジュールされたスケーリングのために時間ベースのスケーリングプランを設定できます。

1. クォータ管理 ページで、対象のクォータの 操作 列にある Quota の設定 をクリックします。

2. Quota の設定 ページで、スケーリング設定 タブを選択します。

3. 時間ベースのスケーリングプランの設定

   1. スケーリング設定 タブで、構成プランの作成 をクリックします。構成プランの新規作成 ダイアログボックスで、構成プラン名 を入力し、レベル 2 クォータの リザーブド CU [minCU, maxCU] を設定します。

   2. 既存の設定プランを修正する場合：

      スケーリング設定 タブで、対象プランの 操作 列にある 編集 をクリックして更新します。

4. 時間ベースのスケジュールの設定

   1. スケーリング設定 タブで、スケジュール管理 セクションの スケジュールの編集 をクリックします。

   2. 有効期間の追加 をクリックし、開始時刻 と 構成プラン を選択します。

      これにより、1 日の異なる時間帯に異なるクォータ設定プランをアクティブにできます。詳細については、「コンピューティングリソースとクォータの管理」をご参照ください。

スケジューリングポリシー

ジョブを送信する際、クライアントまたは JDBC 接続文字列でインタラクティブクォータグループの名前を指定します。ジョブは対応する MaxQA インスタンスで実行されるようにスケジューリングされます。

フォールバックポリシー

MaxQA はフォールバックポリシーをサポートしています。有効にすると、システム例外により失敗した MaxQA タスクは自動的にバッチモードにフォールバックします。フォールバックポリシーは以下の方法で有効にできます。

• JDBC (バージョン 3.10.7 以降)：フォールバックはデフォルトで有効です。無効にするには `disableFallback` を設定し、対象のクォータを指定するには `fallbackQuota` を使用します。

• Java SDK：MaxQAConnInfo.builder().fallbackInfo(FallbackInfo.enable("<offline_quota>")).build()

• DataWorks：DataStudio のスケジューリング設定でフォールバックルールを設定します。詳細については、「DataWorks DataStudio の使用」をご参照ください。

MaxQA には、以下の方法でアクセスできます。

• MaxCompute クライアント

• DataWorks: アドホッククエリまたは DataStudio

• MaxCompute コンソール: SQL 分析

• MaxCompute Studio

• JDBC

• BI ツール

• Java SDK

• Python SDK

MaxCompute クライアントの使用

1. MaxCompute クライアント (odpscmd) v0.51.1 以降をインストールして設定します。詳細については、「ローカルクライアント (odpscmd) を使用した接続」をご参照ください。

2. (任意) クライアントのインストール先の conf ディレクトリで、odps_config.ini ファイルを修正し、最終行に次のコマンドを追加します。

   -- MaxQA 接続情報のキャッシュを有効にします。
   enable_quota_cache=true

3. bin ディレクトリ内のスクリプトファイルを実行して、MaxCompute クライアントを起動します。

   重要

   • Linux/macOS システムの場合：odpscmd スクリプトファイルを実行します。

   • Windows の場合：odpscmd.bat ファイルをダブルクリックします。

4. ジョブを実行する前に、次のコマンドを実行します。クライアントからの後続のジョブは、対応するインタラクティブクォータグループ上で MaxQA モードで実行されます。

   USE QUOTA <name_of_the_interactive_quota_group>;

   または、セッションレベルで現在のジョブの MaxQA インスタンスを指定します。

   SET odps.task.wlm.quota=<name_of_the_interactive_quota_group>;

DataWorks DataStudio の使用

1. DataWorks コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、データ開発と О&М > データ開発 を選択します。

3. ワークスペースの選択 をクリックし、[DataStudio に移動] をクリックします。

4. [データ開発] ページで、右側の デバッグ設定 をクリックします。

5. [デバッグ設定] ページで、[コンピューティングリソース] にこのワークスペースにバインドされている MaxCompute プロジェクトリソースを選択します。次の表は、各シナリオでのコンピューティングクォータの選択方法を説明しています。

   説明

   • 実行環境：ジョブはデータ分析またはデータ開発モジュールで実行されます。インタラクティブからオフラインへのフォールバックは適用されません。

   • フォールバック実行環境：ジョブはスケジューリングモジュールで実行されます。インタラクティブモードが指定されている場合、インタラクティブモードが失敗したときにオフラインモードにフォールバックするように設定することもできます。

   コンピューティングクォータの選択	指定されたクォータ / ルーティングルール	期待される実行モード	スケジューリング設定と期待されるフォールバック
   プロジェクトのデフォルトクォータ	オフラインのルーティングルールが存在する場合、そのルーティングルールが有効になります。インタラクティブのルーティングルールは適用されません。	プロジェクトのデフォルトクォータはオフラインクォータです。ジョブはオフラインクォータで実行されます。	ジョブはオフラインクォータで実行されます。フォールバックは適用されません。
   指定されたクォータ	オフラインクォータを選択します。	ジョブはオフラインクォータで実行されます。	ジョブはオフラインクォータで実行されます。フォールバックは適用されません。
   指定されたクォータ	インタラクティブクォータを選択します。	ジョブはインタラクティブクォータグループに対応する MaxQA インスタンスで実行されます。	[スケジューリング設定] で：フォールバックが無効な場合、フォールバックは試行されません。プロジェクトのデフォルトクォータが選択されている場合、フォールバックにはプロジェクトのデフォルトクォータが使用されます (フォールバックではオフラインのルーティングルールは適用されません)。特定のクォータが選択されている場合、フォールバックには指定されたオフラインクォータが使用されます。
   インタラクティブモードのルーティングルール	オフラインのルーティングルールのみが存在し、一致するインタラクティブのルーティングルールが見つかりません。	エラーが報告されます：Cannot find MCQA quota to start connection on project *****。作成するには、「コンピューティングリソースのクォータの使用」をご参照ください。	フォールバックが無効な場合、フォールバックは試行されません。プロジェクトのデフォルトクォータが選択されている場合、フォールバックにはプロジェクトのデフォルトクォータが使用されます。特定のクォータが選択されている場合、フォールバックには指定されたオフラインクォータが使用されます。
   インタラクティブモードのルーティングルール	一致するインタラクティブのルーティングルールが存在します。	ジョブはインタラクティブクォータグループに対応する MaxQA インスタンスで実行されます。

6. 設定が完了すると、SQL ノード上のジョブは、インタラクティブクォータグループに対応する MaxQA インスタンスにスケジューリングされます。

詳細については、「DataWorks で MaxCompute SQL ノードを作成する」をご参照ください。

コンソールでの SQL 分析の使用

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、データ探索 > SQL 分析 を選択します。

3. SQL エディターに SQL ステートメントを入力し、右側の [実行設定] をクリックして [プロジェクト] と [コンピューティングクォータ] を設定します。

4. インタラクティブクォータグループに対応するコンピューティングリソースを選択します。

5. 設定が完了すると、[SQL 分析] ページのジョブは、インタラクティブクォータグループに対応する MaxQA インスタンスにスケジューリングされます。

詳細については、「SQL 分析」をご参照ください。

MaxCompute Studio の使用

MaxCompute Studio をインストールし、MaxCompute プロジェクトに接続していることを確認してください。MaxQA を使用するには、スクリプトを実行します。

1. MaxCompute Studio v4.3.2 以降をインストールして設定します。詳細については、「MaxCompute Studio のインストール」をご参照ください。

2. MaxCompute Studio プロジェクトを作成し、ご利用の MaxCompute プロジェクトに接続します。詳細については、「プロジェクト接続の管理」をご参照ください。

3. プロジェクトで MaxCompute SQL スクリプトを作成します。詳細については、「SQL スクリプトの開発と送信」をご参照ください。

4. MaxCompute SQL スクリプトに SQL ステートメントを入力します。[実行モード] ドロップダウンリストから、MaxQA を選択します。

5. [追加パラメーターの指定] ボタンをクリックし、インタラクティブクォータグループ名を入力して、[OK] をクリックします。

6. スクリプトを実行します。ジョブは MaxQA クエリアクセラレーション機能を使用するようになります。

JDBC の使用

JDBC を使用して MaxCompute に接続する際に MaxQA を有効にするには：JDBC 接続の詳細については、「ユーザーガイド」をご参照ください。

1. MaxQA をサポートするソースコードをダウンロードします。

2. Maven で POM 依存関係を設定します。

   <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-jdbc</artifactId>
      <version>${Latest Version}</version>
   </dependency>

   重要

   上記のコードでは、Latest Version はプレースホルダーです。プロジェクトを正常にコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。Maven Central Repository にアクセスして、リリースされているすべての odps-jdbc バージョンを確認してください。最新バージョンを使用することを推奨します。バージョン番号のフォーマットは X.X.X です。

3. ソースコードから Java プログラムを作成し、ご利用の環境に合わせて調整します。詳細については、「MaxCompute JDBC」をご参照ください。以下のコードは一例です。

   import java.sql.Connection;
   import java.sql.DatabaseMetaData;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.SQLException;
   import java.sql.Statement;
   public class MaxCompute {
       private static final String DRIVER_NAME = "com.aliyun.odps.jdbc.OdpsDriver";
       // Alibaba Cloud アカウントの AccessKey ID は、すべての API 操作を呼び出す権限を持っています。これは高リスクな操作です。RAM ユーザーを作成して使用し、API 操作を呼び出すか、日常の O&M を実行することを推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
       // この例では、AccessKey ID と AccessKey Secret は環境変数に保存されています。ビジネスニーズに応じて、設定ファイルに保存することもできます。
       // コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。これはセキュリティリスクをもたらします。
       private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
       private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(DRIVER_NAME);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
               System.exit(1);
           }
           Connection conn = DriverManager.getConnection(
                   "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=maxqatomax&charset=UTF-8&interactiveMode=true&quotaName=maxfor1&autoSelectLimit=1000000000",
                   MaxCompute.accessId, MaxCompute.accessKey);
           // テーブルを作成します
           Statement stmt = conn.createStatement();
           final String tableName = "jdbc_test11";
           stmt.execute("DROP TABLE IF EXISTS " + tableName);
           stmt.execute("CREATE TABLE " + tableName + " (key BIGINT, value STRING)");
           // メタデータを取得します
           DatabaseMetaData metaData = conn.getMetaData();
           System.out.println("product = " + metaData.getDatabaseProductName());
           System.out.println("jdbc version = "
                   + metaData.getDriverMajorVersion() + ", "
                   + metaData.getDriverMinorVersion());
           ResultSet tables = metaData.getTables(null, "default", tableName, null);
           while (tables.next()) {
               String name = tables.getString("TABLE_NAME");
               System.out.println("inspecting table: " + name);
               ResultSet columns = metaData.getColumns(null, null, name, null);
               while (columns.next()) {
                   System.out.println(
                           columns.getString("COLUMN_NAME") + "\t" +
                                   columns.getString("TYPE_NAME") + "(" +
                                   columns.getInt("DATA_TYPE") + ")");
               }
               columns.close();
           }
           tables.close();
           stmt.close();
           conn.close();
       }
   }

以下のコードは、JDBC 接続文字列の例です。

// your_quota_group_name は、使用したいインタラクティブクォータグループの名前です。
jdbc:odps:<MaxCompute_endpoint>?
project=<MaxCompute_project_name>&interactiveMode=true&quotaName=your_quota_group_name&enableLimit=false&enableOdpsLogger=true"

BI ツールの使用

Tableau、Quick BI、Guandata BI、SQL Workbench/J などの BI ツールを使用して MaxQA に接続できます。

Java SDK の使用

Java SDK の詳細については、「Java SDK の概要」をご参照ください。

1. Maven で POM 依存関係を設定します。以下のコードは一例です。

   <dependency>
     <groupId>com.aliyun.odps</groupId>
     <artifactId>odps-sdk-core</artifactId>
     <version>${Latest Version}</version>
   </dependency>

   重要

   上記のコードでは、Latest Version はプレースホルダーです。プロジェクトを正常にコンパイルするには、特定の SDK バージョン番号に置き換える必要があります。Maven Central Repository にアクセスして、リリースされているすべての odps-sdk-core バージョンを確認してください。最新バージョンを使用することを推奨します。バージョン番号のフォーマットは X.X.X-public です。

2. Java プログラムを作成します。以下のコードは一例です。

   import com.aliyun.odps.Odps;
   import com.aliyun.odps.OdpsException;
   import com.aliyun.odps.account.Account;
   import com.aliyun.odps.account.AliyunAccount;
   import com.aliyun.odps.sqa.ExecuteMode;
   import com.aliyun.odps.sqa.SQLExecutor;
   import com.aliyun.odps.sqa.SQLExecutorBuilder;
   import java.util.HashMap;
   import java.util.Map;
   public class MaxCompute {
       public static void main(String args[]) {
           // アカウントとプロジェクト情報を設定します。
           // Alibaba Cloud アカウントの AccessKey ID は、すべての API 操作を呼び出す権限を持っています。これは高リスクな操作です。RAM ユーザーを作成して使用し、API 操作を呼び出すか、日常の O&M を実行することを推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
           // この例では、AccessKey ID と AccessKey Secret は環境変数に保存されています。ビジネスニーズに応じて、設定ファイルに保存することもできます。
           // コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。これはセキュリティリスクをもたらします。
           Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                           System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
           Odps odps = new Odps(account);
           odps.setDefaultProject("maxqatomax");
           odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");
           // SQLExecutor のビルドを準備します。
           SQLExecutorBuilder builder = SQLExecutorBuilder.builder();
           SQLExecutor sqlExecutor = null;
           try {
               // デフォルトで MaxQA モードを使用するエグゼキュータを作成します。
               // enableMcqaV2(true) は MaxQA モードを有効にします
               sqlExecutor = builder.odps(odps)
                       .executeMode(ExecuteMode.INTERACTIVE)
                       .quotaName("maxfor1")
                       .enableMcqaV2(true)
                       .build();
               // 必要に応じて、クエリにカスタム設定を渡すことができます。
               Map<String, String> queryHint = new HashMap<>();
               queryHint.put("odps.sql.mapper.split.size", "128");
               // クエリジョブを送信します。ヒントを渡すことができます。
               sqlExecutor.run("select count(1) from test_table;", queryHint);
               // 現在のクエリジョブの Logview。
               System.out.println("Logview:" + sqlExecutor.getLogView());
               // 現在のクエリジョブのインスタンス ID。
               System.out.println("InstanceId:" + sqlExecutor.getQueryId());
           } catch (OdpsException e) {
               e.printStackTrace();
           } finally {
               if (sqlExecutor != null) {
                   // リソースを解放するためにエグゼキュータを閉じます。
                   sqlExecutor.close();
               }
           }
       }
   }

PyODPS の使用

PyODPS v0.12.1 以降は MaxQA をサポートしています。以下のコードは一例です。

import os
from odps import ODPS
# アカウントとプロジェクト情報を設定します。
# ALIBABA_CLOUD_ACCESS_KEY_ID と ALIBABA_CLOUD_ACCESS_KEY_SECRET 
# 環境変数が AccessKey ID と AccessKey Secret に設定されていることを確認してください。
# AccessKey ID と AccessKey Secret の文字列を直接使用することは推奨しません。
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxto****',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)
# 必要に応じて、クエリにカスタム設定を渡すことができます。
hints = {"odps.sql.mapper.split.size": "128"}
inst = o.execute_sql_interactive(
    'select count(1) from test_table',
    use_mcqa_v2=True,
    quota_name='maxfor1',
    # quota_name を MaxQA インスタンスのインタラクティブクォータグループの名前に設定します。
    hints=hints,
)
# 現在のクエリジョブの Logview。
print(inst.get_logview_address())
# 現在のクエリジョブのインスタンス ID。
print(inst.id)
# データを 1 行ずつ読み取ります。
with inst.open_reader() as reader:
    result = [res.values for res in reader]

odps://<access_id>:<ACCESS_KEY>@<project>/?endpoint=<endpoint>&quota_name=<YOUR_INTERACTIVE_QUOTA_GROUP_NAME>&interactive_mode=v2&reuse_odps=true

Logview ページから

ジョブが完了した後、その Logview ページに移動して、MaxQA モードで実行されたことを確認します。以下を確認してください。

• MaxCompute InstanceId の末尾が _mcqa であること。

• クォータニックネームは、指定されたインタラクティブなクォータの名前です。

• [Summary] タブで、ジョブの実行モードが mcqa 2.0 であること。

ジョブの O&M ページから

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、監視・運用保守 > ジョブ運用保守 を選択します。

3. ジョブ運用保守 ページで、標準リスト タブをクリックし、ジョブタイプ を [MCQA2] に設定して、指定した 時間範囲 内の MaxQA ジョブを表示します。