MaxCompute:クエリアクセラレーション (MCQA)

サブスクリプションの MaxCompute インスタンスで MCQA を有効にするには、次の手順に従います。

1. MaxCompute コンソール にログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、構成の管理 > クォータ管理 を選択します。

3. クォータ管理 ページで、対象クォータの 操作 列にある クォータ設定 をクリックします。

4. クォータ基本構成

   1. クォータ設定 ページで、基本設定 タブを選択し、基本設定の編集 をクリックします。

   2. 新しいレベル2クォータ をクリックするか、既存のレベル 2 クォータの基本パラメーターを構成します。

      カスタムの クォータ名 を設定し、データ型 として インタラクティブ を選択します。クォータの構成。

5. クォータスケーリング構成

   1. クォータ設定 ページで、スケーリング設定 タブを選択します。

   2. スケーリング設定 タブで、新しい構成スキーム をクリックするか、既存プランの 操作 列にある 編集 をクリックして更新します。

   3. 新しい構成スキーム または 設定シナリオの編集 ダイアログボックスで、インタラクティブ (MaxQA/MCQA) リソースグループの 予約cu数量 [mincu、maxcu] を構成します。

      • minCU は maxCU と等しくする必要があります。

      • minCU は 50CU 以上である必要があります。インタラクティブリソースが不要な場合は 0 に設定します。

      • インタラクティブクォータグループは、弾力的な予約 CU をサポートしていません。

   4. OK をクリックして、クォータ構成を保存します。

   5. スケーリング設定 タブで、対象プランの 操作 列にある すぐに有効 をクリックして、すぐに適用します。また、タイムシェアリング管理 を構成する際に、既存のプランを使用することもできます。

6. タイムプランの構成

   タイムプランを使用すると、1 日の異なる時間帯に異なるクォータ構成を適用できます。

MCQA は、以下のアクセス方法をサポートしています。

• 方法 1：MaxCompute クライアント経由で MCQA を有効化

• 方法 2：DataWorks アドホッククエリまたはデータ開発経由で MCQA を有効化

• 方法 3：JDBC 経由で MCQA を有効化

• 方法 4：Java SDK 経由で MCQA を有効化

• 方法 5：PyODPS と SQLAlchemy またはその他の SQLAlchemy 互換ツール経由で MCQA を有効化

方法 3：JDBC 経由で MCQA を有効化

方法 4：Java SDK 経由で MCQA を有効化

Java SDK の概要。Maven を使用して POM 依存関係を構成します。

<dependency>
          
  <groupId>com.aliyun.odps</groupId>
  <artifactId>odps-sdk-core</artifactId>
  <version>3.3.0</version>
</dependency>

import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.OdpsType;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.ResultSet;
import com.aliyun.odps.sqa.*;

import java.io.IOException;
import java.util.*;

public class SQLExecutorExample {

  public static void SimpleExample() {
    // アカウントおよびプロジェクト情報を設定します。
    // Alibaba Cloud アカウントの AccessKey はすべての API オペレーションにアクセス可能で、高いセキュリティリスクがあります。
    // API アクセスまたは日常的な運用管理 (O&M) には、RAM ユーザーを作成して使用することを強く推奨します。RAM コンソールにログインして RAM ユーザーを作成してください。
    // この例では、環境変数に保存された AccessKey および AccessKeySecret を使用しています。ビジネス要件に基づいて、設定ファイルに保存することもできます。
    // コード内に AccessKey および AccessKeySecret を保存しないでください。AccessKey ペアが漏洩する可能性があります。
    Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // SQLExecutor の構築準備。
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // オフラインモードで実行するか、インタラクティブモードで実行するか
      if (false) {
        // デフォルトでオフライン SQL を実行するエグゼキュータを作成します。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.OFFLINE).build();
      } else {
        // デフォルトでクエリアクセラレーションモードで SQL を実行し、失敗時に自動的にオフラインモードにフォールバックするエグゼキュータを作成します。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.INTERACTIVE).fallbackPolicy(FallbackPolicy.alwaysFallbackPolicy()).build();
      }
      // 必要に応じてカスタムクエリ設定を渡します。
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // クエリジョブを送信します。ヒントはサポートされています。
      sqlExecutor.run("select count(1) from test_table;", queryHint);

      // 情報取得に使用される一般的なメソッドをリストします。
      // UUID
      System.out.println("ExecutorId:" + sqlExecutor.getId());
      // 現在のクエリジョブの Logview。
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // 現在のクエリジョブのインスタンスオブジェクト（インタラクティブモードでは、複数のクエリジョブが同じインスタンスを共有する場合があります）。
      System.out.println("InstanceId:" + sqlExecutor.getInstance().getId());
      // 現在のクエリジョブのステージ進行状況（コンソールの進行状況バー）。
      System.out.println("QueryStageProgress:" + sqlExecutor.getProgress());
      // 現在のクエリジョブの実行ステータス変更ログ（例：フォールバック情報）。
      System.out.println("QueryExecutionLog:" + sqlExecutor.getExecutionLog());

      // 結果取得のための 2 つのメソッドが提供されています。
      if(false) {
        // 一度にすべてのクエリ結果を取得します。この同期メソッドは、クエリが成功または失敗するまで現在のスレッドをブロックする可能性があります。
        // すべての結果データを一度にメモリに読み込みます。大規模データセットではメモリ問題が発生する可能性があるため、推奨されません。
        List<Record> records = sqlExecutor.getResult();
        printRecords(records);
      } else {
        // クエリ結果の ResultSet イテレーターを取得します。この同期メソッドは、クエリが成功または失敗するまで現在のスレッドをブロックする可能性があります。
        // 大規模な結果セットに推奨されます。クエリ結果をバッチで読み込みます。
        ResultSet resultSet = sqlExecutor.getResultSet();
        while (resultSet.hasNext()) {
          printRecord(resultSet.next());
        }
      }

      // 別のクエリを実行
      sqlExecutor.run("select * from test_table;", new HashMap<>());
      if(false) {
        // 一度にすべてのクエリ結果を取得します。この同期メソッドは、クエリが成功または失敗するまで現在のスレッドをブロックする可能性があります。
        // すべての結果データを一度にメモリに読み込みます。大規模データセットではメモリ問題が発生する可能性があるため、推奨されません。
        List<Record> records = sqlExecutor.getResult();
                printRecords(records);
            } else {
        // クエリ結果の ResultSet イテレーターを取得します。この同期メソッドは、クエリが成功または失敗するまで現在のスレッドをブロックする可能性があります。
        // 大規模な結果セットに推奨されます。クエリ結果をバッチで読み込みます。
                ResultSet resultSet = sqlExecutor.getResultSet();
                while (resultSet.hasNext()) {
                    printRecord(resultSet.next());
                }
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (sqlExecutor != null) {
                // エグゼキュータを閉じてリソースを解放します。
                sqlExecutor.close();
            }
        }
    }

    // SQLExecutor はプールモードで再利用可能です
    public static void ExampleWithPool() {
        // 接続プールを使用してクエリを実行します。
        // Alibaba Cloud アカウントの AccessKey はすべての API オペレーションにアクセス可能で、高いセキュリティリスクがあります。
        // API アクセスまたは日常的な運用管理 (O&M) には、RAM ユーザーを作成して使用することを強く推奨します。RAM コンソールにログインして RAM ユーザーを作成してください。
        // この例では、環境変数に保存された AccessKey および AccessKeySecret を使用しています。ビジネス要件に基づいて、設定ファイルに保存することもできます。
        // コード内に AccessKey および AccessKeySecret を保存しないでください。AccessKey ペアが漏洩する可能性があります。
        Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        Odps odps = new Odps(account);
        odps.setDefaultProject("your_project_name");
        odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

        // 接続プールを準備し、プールサイズおよびデフォルト実行モードを設定します。
        SQLExecutorPool sqlExecutorPool = null;
        SQLExecutor sqlExecutor = null;
        try {
            // 接続プールを準備し、プールサイズおよびデフォルト実行モードを設定します。
            SQLExecutorPoolBuilder builder = SQLExecutorPoolBuilder.builder();
            builder.odps(odps)
                    .initPoolSize(1) // 初期プールエグゼキュータ数
                    .maxPoolSize(5)  // プール内の最大エグゼキュータ数
                    .executeMode(ExecuteMode.INTERACTIVE); // インタラクティブモードで実行

            sqlExecutorPool = builder.build();
            // 接続プールからエグゼキュータを取得します。利用可能なものがなければ、最大制限内で新しいものが作成されます。
            sqlExecutor = sqlExecutorPool.getExecutor();

            // エグゼキュータの使用方法は前の例と同じです。
            sqlExecutor.run("select count(1) from test_table;", new HashMap<>());
            System.out.println("InstanceId:" + sqlExecutor.getId());
            System.out.println("Logview:" + sqlExecutor.getLogView());

            List<Record> records = sqlExecutor.getResult();
            printRecords(records);
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            sqlExecutor.close();
        }
        sqlExecutorPool.close();
    }

    private static void printRecord(Record record) {
        for (int k = 0; k < record.getColumnCount(); k++) {

            if (k != 0) {
                System.out.print("\t");
            }

            if (record.getColumns()[k].getType().equals(OdpsType.STRING)) {
                System.out.print(record.getString(k));
            } else if (record.getColumns()[k].getType().equals(OdpsType.BIGINT)) {
                System.out.print(record.getBigint(k));
            } else {
                System.out.print(record.get(k));
            }
        }
    }

    private static void printRecords(List<Record> records) {
        for (Record record : records) {
            printRecord(record);
            System.out.println();
        }
    }

    public static void main(String args[]) {
        SimpleExample();
        ExampleWithPool();
    }
}