MaxCompute:Query Acceleration (MCQA)

サブスクリプションの MaxCompute インスタンスでプロジェクトを高速化するために、クエリ高速化機能を使用するには、次の手順に従います。

1. MaxCompute コンソールにログインし、左上隅でリージョンを選択します。

2. 左側のナビゲーションウィンドウで、構成の管理 > クォータ管理 を選択します。

3. クォータ管理 ページで、対象のクォータを見つけ、操作 列の クォータ設定 をクリックします。

4. 基本的なクォータ設定を構成します。

   1. クォータ設定 ページで、基本設定 タブを選択し、基本設定の編集 をクリックします。

   2. 新しいレベル2クォータ をクリックするか、既存のレベル 2 クォータの基本パラメーターを設定します。

      カスタムの クォータ名 を入力し、データ型 を インタラクティブ に設定します。パラメーターの詳細については、「クォータの設定」をご参照ください。

5. クォータのスケーリングを設定します。

   1. クォータ設定 ページで、スケーリング設定 タブを選択します。

   2. スケーリング設定 タブで、新しい構成スキーム をクリックするか、既存の設定プランを見つけて 操作 列の 編集 をクリックしてプランを更新します。

   3. 新しい構成スキーム または 設定シナリオの編集 ダイアログボックスで、MCQA リソースグループの 予約cu数量 [mincu、maxcu] を設定します。

      • 最小 CU 数 (minCU) は、最大 CU 数 (maxCU) と等しくなければなりません。

      • 最小 CU 数は 50 以上でなければなりません。インタラクティブリソースが不要な場合は、このパラメーターを 0 に設定します。

      • インタラクティブクォータでは、エラスティック予約 CU はサポートされていません。

   4. OK をクリックしてクォータ設定を保存します。

   5. スケーリング設定 タブで、対象の設定プランを見つけ、操作 列の すぐに有効 をクリックしてプランをすぐに適用します。また、タイムシェアリング管理 を設定する際に既存のプランを使用することもできます。

6. 時間ベースのプランを設定します。

   時間ベースのプランを設定して、1 日の異なる時間に異なるクォータプランを有効にすることができます。これにより、クォータ設定の時間ベースのロジックが実装されます。

MCQA は以下の接続方法をサポートしています：

• 方法 1：MaxCompute クライアントを使用して MCQA を有効にする

• 方法 2：DataWorks のアドホッククエリまたはデータ開発機能を使用して MCQA を有効にする

• 方法 3：JDBC を使用して MCQA を有効にする

• 方法 4：Java SDK を使用して MCQA を有効にする

• 方法 5：PyODPS と SQLAlchemy または他の SQLAlchemy 互換のサードパーティツールを使用してクエリを高速化する

方法 3：JDBC を使用して MCQA を有効にする

方法 4：Java SDK を使用して MCQA を有効にする

Java SDK の詳細については、「Java SDK の概要」をご参照ください。Maven で Pom 依存関係を設定する必要があります。次のコードは設定例です。

<dependency>
  <groupId>com.aliyun.odps</groupId>
  <artifactId>odps-sdk-core</artifactId>
  <version>3.3.0</version>
</dependency>

以下は、Java プログラムを作成するためのコマンド例です。

import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.OdpsType;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.ResultSet;
import com.aliyun.odps.sqa.*;

import java.io.IOException;
import java.util.*;

public class SQLExecutorExample {

  public static void SimpleExample() {
    // アカウントとプロジェクト情報を設定します。
    // Alibaba Cloud アカウントの AccessKey は、すべての API に対して完全な権限を持ち、高いセキュリティリスクをもたらします。RAM ユーザーを作成して使用し、API 呼び出しや O&M を実行することを推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
    // この例では、AccessKey ID と AccessKey Secret を環境変数に保存する方法を示します。必要に応じて、設定ファイルに保存することもできます。
    // コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。これはセキュリティリスクにつながる可能性があります。
    Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // SQLExecutor のビルドを準備します。
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // オフラインモードで実行するか、インタラクティブモードで実行します
      if (false) {
        // デフォルトでオフライン SQL 文を実行するエグゼキュータを作成します。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.OFFLINE).build();
      } else {
        // デフォルトで高速化された SQL クエリを実行し、高速化が失敗した場合は自動的にオフラインクエリモードにフォールバックするエグゼキュータを作成します。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.INTERACTIVE).fallbackPolicy(FallbackPolicy.alwaysFallbackPolicy()).build();
      }
      // 必要に応じて、クエリに特別な設定を渡すことができます。
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // クエリジョブを送信します。ヒントがサポートされています。
      sqlExecutor.run("select count(1) from test_table;", queryHint);

      // 次のコードは、情報を取得するための一般的なメソッドをいくつか提供します。
      // UUID
      System.out.println("ExecutorId:" + sqlExecutor.getId());
      // 現在のクエリジョブの Logview。
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // 現在のクエリジョブの Instance オブジェクト。インタラクティブモードでは、複数のクエリジョブが同じインスタンスを共有する場合があります。
      System.out.println("InstanceId:" + sqlExecutor.getInstance().getId());
      // 現在のクエリジョブのステージ進行状況 (コンソールのプログレスバー)。
      System.out.println("QueryStageProgress:" + sqlExecutor.getProgress());
      // 現在のクエリジョブの実行ステータス変更ログ (フォールバック情報など)。
      System.out.println("QueryExecutionLog:" + sqlExecutor.getExecutionLog());

      // 結果を取得するための 2 つのメソッドが提供されています。
      if(false) {
        // すべてのクエリ結果を直接取得します。これは同期メソッドであり、クエリが成功または失敗するまで現在のスレッドを占有する可能性があります。
        // このメソッドはすべての結果データを一度にメモリに読み込むため、大規模なデータセットにはメモリの問題が発生する可能性があるため推奨されません。
        List<Record> records = sqlExecutor.getResult();
        printRecords(records);
      } else {
        // クエリ結果のイテレータ (ResultSet) を取得します。これは同期メソッドであり、クエリが成功または失敗するまで現在のスレッドを占有する可能性があります。
        // このメソッドはクエリ結果をバッチで読み込むため、大規模なデータセットを取得する際に推奨されます。
        ResultSet resultSet = sqlExecutor.getResultSet();
        while (resultSet.hasNext()) {
          printRecord(resultSet.next());
        }
      }

      // 別のクエリを実行します
      sqlExecutor.run("select * from test_table;", new HashMap<>());
      if(false) {
        // すべてのクエリ結果を直接取得します。これは同期メソッドであり、クエリが成功または失敗するまで現在のスレッドを占有する可能性があります。
        // このメソッドはすべての結果データを一度にメモリに読み込むため、大規模なデータセットにはメモリの問題が発生する可能性があるため推奨されません。
        List<Record> records = sqlExecutor.getResult();
                printRecords(records);
            } else {
                // クエリ結果のイテレータ (ResultSet) を取得します。これは同期メソッドであり、クエリが成功または失敗するまで現在のスレッドを占有する可能性があります。
                // このメソッドはクエリ結果をバッチで読み込むため、大規模なデータセットを取得する際に推奨されます。
                ResultSet resultSet = sqlExecutor.getResultSet();
                while (resultSet.hasNext()) {
                    printRecord(resultSet.next());
                }
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (sqlExecutor != null) {
                // リソースを解放するためにエグゼキュータを閉じます。
                sqlExecutor.close();
            }
        }
    }

    // SQLExecutor はプールモードで再利用できます
    public static void ExampleWithPool() {
        // アカウントとプロジェクト情報を設定します。
      	// Alibaba Cloud アカウントの AccessKey は、すべての API に対して完全な権限を持ち、高いセキュリティリスクをもたらします。RAM ユーザーを作成して使用し、API 呼び出しや O&M を実行することを推奨します。RAM ユーザーを作成するには、RAM コンソールにログインしてください。
		// この例では、AccessKey ID と AccessKey Secret を環境変数に保存する方法を示します。必要に応じて、設定ファイルに保存することもできます。
		// コードに AccessKey ID と AccessKey Secret をハードコーディングしないことを強く推奨します。これはセキュリティリスクにつながる可能性があります。
        Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        Odps odps = new Odps(account);
        odps.setDefaultProject("your_project_name");
        odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

        // 接続プールを使用してクエリを実行します。
        SQLExecutorPool sqlExecutorPool = null;
        SQLExecutor sqlExecutor = null;
        try {
            // 接続プールを準備し、プールサイズとデフォルトの実行モードを設定します。
            SQLExecutorPoolBuilder builder = SQLExecutorPoolBuilder.builder();
            builder.odps(odps)
                    .initPoolSize(1) // プールの初期エグゼキュータ数を設定
                    .maxPoolSize(5)  // プール内の最大エグゼキュータ数を設定
                    .executeMode(ExecuteMode.INTERACTIVE); // インタラクティブモードで実行

            sqlExecutorPool = builder.build();
            // 接続プールからエグゼキュータを取得します。プールが空の場合、最大制限内で新しいエグゼキュータが作成されます。
            sqlExecutor = sqlExecutorPool.getExecutor();

            // エグゼキュータの使用方法は前の例と同じです。
            sqlExecutor.run("select count(1) from test_table;", new HashMap<>());
            System.out.println("InstanceId:" + sqlExecutor.getId());
            System.out.println("Logview:" + sqlExecutor.getLogView());

            List<Record> records = sqlExecutor.getResult();
            printRecords(records);
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            sqlExecutor.close();
        }
        sqlExecutorPool.close();
    }

    private static void printRecord(Record record) {
        for (int k = 0; k < record.getColumnCount(); k++) {

            if (k != 0) {
                System.out.print("\t");
            }

            if (record.getColumns()[k].getType().equals(OdpsType.STRING)) {
                System.out.print(record.getString(k));
            } else if (record.getColumns()[k].getType().equals(OdpsType.BIGINT)) {
                System.out.print(record.getBigint(k));
            } else {
                System.out.print(record.get(k));
            }
        }
    }

    private static void printRecords(List<Record> records) {
        for (Record record : records) {
            printRecord(record);
            System.out.println();
        }
    }

    public static void main(String args[]) {
        SimpleExample();
        ExampleWithPool();
    }
}