MaxCompute：查詢加速（MCQA）

使用查詢加速功能加速訂用帳戶MaxCompute執行個體的專案步驟如下。

1. 登入MaxCompute控制台，在左上方選擇地區。

2. 在左側導覽列，選擇管理配置 > 配额（Quota）管理 。

3. 在Quota管理頁面，單擊目標Quota對應操作列的Quota配置。

4. Quota基礎配置

   1. 在Quota配置頁面，選擇基础配置頁簽，單擊编辑基础配置。

   2. 單擊新增二级Quota或為現有的二級Quota配置基礎參數。

      Quota名称自訂輸入，类型選擇交互式。詳細參數參考配置Quota。

5. Quota伸縮配置

   1. 在Quota配置頁面，選擇伸缩配置頁簽。

   2. 在伸缩配置頁簽，單擊新增配置方案或單擊已有的配置方案對應的操作列的编辑，更新配置方案。

   3. 在新增配置方案或编辑配置方案對話方塊的MCQA資源群組上配置预留CU量[minCU,maxCU]。

      • 最小CU數（minCU）需要等於最大CU數（maxCU）。

      • 最小CU數要大於等於50CU。如果不需要互動式資源，設定為0。

      • 互動式類型的Quota不支援彈性預留CU。

   4. 單擊確定，完成Quota配置錄入。

   5. 在伸缩配置頁簽，單擊目標配置方案對應的操作列的立即生效，可使該配置方案立即生效。也可在分时管理配置時使用已有方案。

6. 配置時間計劃。

   配置時間計劃設定每日不同時間點啟用不同的Quota計劃，以此實現對Quota配置的分時邏輯。

MCQA功能支援的接入方式如下：

• 方式一：基於MaxCompute用戶端啟用MCQA功能

• 方式二：基於DataWorks臨時查詢或資料開發啟用MCQA功能

• 方式三：基於JDBC啟用MCQA功能

• 方式四：基於Java SDK啟用MCQA功能

• 方式五：基於PyODPS，使用SQLAlchemy或其他支援SQLAlchemy介面的第三方工具實現查詢加速

方式三：基於JDBC啟用MCQA功能

方式四：基於Java SDK啟用MCQA功能

Java SDK詳情請參見Java SDK介紹。需要通過Maven配置Pom依賴，配置樣本如下。

<dependency>
  <groupId>com.aliyun.odps</groupId>
  <artifactId>odps-sdk-core</artifactId>
  <version>3.3.0</version>
</dependency>

建立Java程式，命令樣本如下。

import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.OdpsType;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.ResultSet;
import com.aliyun.odps.sqa.*;

import java.io.IOException;
import java.util.*;

public class SQLExecutorExample {

  public static void SimpleExample() {
    // 設定帳號和專案資訊。
    // 阿里雲帳號AccessKey擁有所有API的存取權限，風險很高。強烈建議您建立並使用RAM使用者進行API訪問或日常營運，請登入RAM控制台建立RAM使用者
    // 此處以把AccessKey 和 AccessKeySecret 儲存在環境變數為例說明。您也可以根據業務需要，儲存到設定檔裡
    // 強烈建議不要把 AccessKey 和 AccessKeySecret 儲存到代碼裡，會存在密鑰泄漏風險
    Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // 準備構建SQLExecutor。
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // run in offline mode or run in interactive mode
      if (false) {
        // 建立一個預設執行離線SQL的Executor。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.OFFLINE).build();
      } else {
        // 建立一個預設執行查詢加速SQL的Executor，並且在查詢加速模式失敗後，自動回退到離線查詢。
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.INTERACTIVE).fallbackPolicy(FallbackPolicy.alwaysFallbackPolicy()).build();
      }
      // 如果需要的話可以傳入查詢的特殊設定。
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // 提交一個查詢作業，支援傳入Hint。
      sqlExecutor.run("select count(1) from test_table;", queryHint);

      // 列舉一些支援的常用擷取資訊的介面。
      // UUID
      System.out.println("ExecutorId:" + sqlExecutor.getId());
      // 當前查詢作業的logview。
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // 當前查詢作業的Instance對象(Interactive模式多個查詢作業可能為同一個Instance)。
      System.out.println("InstanceId:" + sqlExecutor.getInstance().getId());
      // 當前查詢作業的階段進度(Console的進度條)。
      System.out.println("QueryStageProgress:" + sqlExecutor.getProgress());
      // 當前查詢作業的執行狀態變化日誌，例如回退資訊。
      System.out.println("QueryExecutionLog:" + sqlExecutor.getExecutionLog());

      // 提供兩種擷取結果的介面。
      if(false) {
        // 直接擷取全部查詢作業結果，同步介面，可能會佔用本線程直到查詢成功或失敗。
        // 一次性讀取全部結果資料到記憶體中，當資料量較大時不建議使用，可能會有記憶體問題。
        List<Record> records = sqlExecutor.getResult();
        printRecords(records);
      } else {
        // 擷取查詢結果的迭代器ResultSet，同步介面，可能會佔用本線程直到查詢成功或失敗。
        // 擷取大量結果資料時推薦使用，分次讀取查詢結果。
        ResultSet resultSet = sqlExecutor.getResultSet();
        while (resultSet.hasNext()) {
          printRecord(resultSet.next());
        }
      }

      // run another query
      sqlExecutor.run("select * from test_table;", new HashMap<>());
      if(false) {
        // 直接擷取全部查詢結果，同步介面，可能會佔用本線程直到查詢成功或失敗。
        // 一次性讀取全部結果資料到記憶體中，當資料量較大時不建議使用，可能會有記憶體問題。
        List<Record> records = sqlExecutor.getResult();
                printRecords(records);
            } else {
                // 擷取查詢結果的迭代器ResultSet，同步介面，可能會佔用本線程直到查詢成功或失敗。
                // 擷取大量結果資料時推薦使用，分次讀取查詢結果。
                ResultSet resultSet = sqlExecutor.getResultSet();
                while (resultSet.hasNext()) {
                    printRecord(resultSet.next());
                }
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (sqlExecutor != null) {
                // 關閉Executor釋放相關資源。
                sqlExecutor.close();
            }
        }
    }

    // SQLExecutor can be reused by pool mode
    public static void ExampleWithPool() {
        // 設定帳號和專案資訊。
      	// 阿里雲帳號AccessKey擁有所有API的存取權限，風險很高。強烈建議您建立並使用RAM使用者進行API訪問或日常營運，請登入RAM控制台建立RAM使用者
				// 此處以把AccessKey 和 AccessKeySecret 儲存在環境變數為例說明。您也可以根據業務需要，儲存到設定檔裡
				// 強烈建議不要把 AccessKey 和 AccessKeySecret 儲存到代碼裡，會存在密鑰泄漏風險
        Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        Odps odps = new Odps(account);
        odps.setDefaultProject("your_project_name");
        odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

        // 通過串連池方式執行查詢。
        SQLExecutorPool sqlExecutorPool = null;
        SQLExecutor sqlExecutor = null;
        try {
            // 準備串連池，設定串連池大小和預設執行模式。
            SQLExecutorPoolBuilder builder = SQLExecutorPoolBuilder.builder();
            builder.odps(odps)
                    .initPoolSize(1) // init pool executor number
                    .maxPoolSize(5)  // max executors in pool
                    .executeMode(ExecuteMode.INTERACTIVE); // run in interactive mode

            sqlExecutorPool = builder.build();
            // 從串連池中擷取一個Executor，如果不夠將會在Max限制內新增Executor。
            sqlExecutor = sqlExecutorPool.getExecutor();

            // Executor具體用法和上一樣本一致。
            sqlExecutor.run("select count(1) from test_table;", new HashMap<>());
            System.out.println("InstanceId:" + sqlExecutor.getId());
            System.out.println("Logview:" + sqlExecutor.getLogView());

            List<Record> records = sqlExecutor.getResult();
            printRecords(records);
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            sqlExecutor.close();
        }
        sqlExecutorPool.close();
    }

    private static void printRecord(Record record) {
        for (int k = 0; k < record.getColumnCount(); k++) {

            if (k != 0) {
                System.out.print("\t");
            }

            if (record.getColumns()[k].getType().equals(OdpsType.STRING)) {
                System.out.print(record.getString(k));
            } else if (record.getColumns()[k].getType().equals(OdpsType.BIGINT)) {
                System.out.print(record.getBigint(k));
            } else {
                System.out.print(record.get(k));
            }
        }
    }

    private static void printRecords(List<Record> records) {
        for (Record record : records) {
            printRecord(record);
            System.out.println();
        }
    }

    public static void main(String args[]) {
        SimpleExample();
        ExampleWithPool();
    }
}