MaxCompute:Percepatan Kueri (MCQA)

Ikuti langkah-langkah berikut untuk mengaktifkan MCQA pada instans MaxCompute dengan paket langganan:

1. Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Pada panel navigasi kiri, pilih Manage Configurations > Quotas.

3. Pada halaman Quotas, klik Quota Configuration pada kolom Actions untuk kuota target.

4. Konfigurasi dasar kuota

   1. Pada halaman Quota Configuration, pilih tab Basic Configurations dan klik Edit Basic Configurations.

   2. Klik Add Level-2 Quota, atau konfigurasi parameter dasar untuk kuota level-2 yang sudah ada.

      Tetapkan Quota Name kustom dan pilih Interactive untuk Type. Konfigurasi kuota.

5. Konfigurasi penskalaan kuota

   1. Pada halaman Quota Configuration, pilih tab Scaling Configuration.

   2. Pada tab Scaling Configuration, klik Add Configuration Plan, atau klik Edit pada kolom Actions untuk rencana yang sudah ada agar diperbarui.

   3. Pada kotak dialog Add Configuration Plan atau Edit Configuration Plan, konfigurasi Reserved CUs [minCU,maxCU] untuk kelompok sumber daya Interactive (MaxQA/MCQA).

      • minCU harus sama dengan maxCU.

      • minCU harus ≥ 50CU. Tetapkan ke 0 jika sumber daya interaktif tidak diperlukan.

      • Kelompok kuota interaktif tidak mendukung CU cadangan elastis.

   4. Klik OK untuk menyimpan konfigurasi kuota.

   5. Pada tab Scaling Configuration, klik Apply Immediately pada kolom Actions untuk rencana target agar diterapkan segera. Anda juga dapat menggunakan rencana yang sudah ada saat mengonfigurasi Scheduled Scaling Management.

6. Konfigurasi rencana waktu.

   Rencana waktu memungkinkan Anda menerapkan konfigurasi kuota berbeda pada waktu berbeda dalam sehari.

MCQA mendukung metode akses berikut:

• Metode 1: Aktifkan MCQA melalui client MaxCompute

• Metode 2: Aktifkan MCQA melalui kueri ad hoc DataWorks atau pengembangan data

• Metode 3: Aktifkan MCQA melalui JDBC

• Metode 4: Aktifkan MCQA melalui Java SDK

• Metode 5: Aktifkan MCQA melalui PyODPS dengan SQLAlchemy atau alat lain yang kompatibel dengan SQLAlchemy

Metode 3: Aktifkan MCQA melalui JDBC

Metode 4: Aktifkan MCQA melalui Java SDK

Ikhtisar Java SDK. Konfigurasikan dependensi POM melalui Maven:

<dependency>
          
  <groupId>com.aliyun.odps</groupId>
  <artifactId>odps-sdk-core</artifactId>
  <version>3.3.0</version>
</dependency>

import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.OdpsType;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.ResultSet;
import com.aliyun.odps.sqa.*;

import java.io.IOException;
import java.util.*;

public class SQLExecutorExample {

  public static void SimpleExample() {
    // Setel informasi akun dan proyek.
    // AccessKey akun Alibaba Cloud memiliki akses ke semua operasi API, yang menimbulkan risiko keamanan tinggi. 
    // Kami sangat menyarankan Anda membuat dan menggunakan Pengguna RAM untuk akses API atau O&M rutin. Login ke konsol RAM untuk membuat Pengguna RAM.
    // Contoh ini menggunakan AccessKey dan AccessKeySecret yang disimpan dalam variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan bisnis Anda.
    // Kami sangat menyarankan Anda tidak menyimpan AccessKey dan AccessKeySecret dalam kode Anda. Hal ini dapat menyebabkan kebocoran pasangan Kunci Akses.
    Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // Siapkan untuk membangun SQLExecutor.
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // jalankan dalam mode offline atau jalankan dalam mode interaktif
      if (false) {
        // Buat Executor yang menjalankan SQL offline secara default.
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.OFFLINE).build();
      } else {
        // Buat Executor yang menjalankan SQL dalam mode percepatan kueri secara default dan secara otomatis kembali ke mode offline saat gagal.
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.INTERACTIVE).fallbackPolicy(FallbackPolicy.alwaysFallbackPolicy()).build();
      }
      // Kirim pengaturan kueri kustom jika diperlukan.
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // Kirim pekerjaan kueri. Hint didukung.
      sqlExecutor.run("select count(1) from test_table;", queryHint);

      // Daftar metode umum untuk mengambil informasi.
      // UUID
      System.out.println("ExecutorId:" + sqlExecutor.getId());
      // Logview dari pekerjaan kueri saat ini.
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // Objek Instans dari pekerjaan kueri saat ini (dalam mode Interaktif, beberapa pekerjaan kueri dapat berbagi Instans yang sama).
      System.out.println("InstanceId:" + sqlExecutor.getInstance().getId());
      // Kemajuan tahap dari pekerjaan kueri saat ini (progress bar konsol).
      System.out.println("QueryStageProgress:" + sqlExecutor.getProgress());
      // Log perubahan status eksekusi dari pekerjaan kueri saat ini, seperti informasi fallback.
      System.out.println("QueryExecutionLog:" + sqlExecutor.getExecutionLog());

      // Dua metode disediakan untuk mengambil hasil.
      if(false) {
        // Ambil semua hasil kueri sekaligus. Metode sinkron ini dapat memblokir thread saat ini hingga kueri berhasil atau gagal.
        // Membaca semua data hasil ke memori sekaligus. Tidak disarankan untuk dataset besar karena potensi masalah memori.
        List<Record> records = sqlExecutor.getResult();
        printRecords(records);
      } else {
        // Ambil iterator ResultSet untuk hasil kueri. Metode sinkron ini dapat memblokir thread saat ini hingga kueri berhasil atau gagal.
        // Disarankan untuk set hasil besar. Membaca hasil kueri secara batch.
        ResultSet resultSet = sqlExecutor.getResultSet();
        while (resultSet.hasNext()) {
          printRecord(resultSet.next());
        }
      }

      // jalankan kueri lain
      sqlExecutor.run("select * from test_table;", new HashMap<>());
      if(false) {
        // Ambil semua hasil kueri sekaligus. Metode sinkron ini dapat memblokir thread saat ini hingga kueri berhasil atau gagal.
        // Membaca semua data hasil ke memori sekaligus. Tidak disarankan untuk dataset besar karena potensi masalah memori.
        List<Record> records = sqlExecutor.getResult();
                printRecords(records);
            } else {
        // Ambil iterator ResultSet untuk hasil kueri. Metode sinkron ini dapat memblokir thread saat ini hingga kueri berhasil atau gagal.
        // Disarankan untuk set hasil besar. Membaca hasil kueri secara batch.
                ResultSet resultSet = sqlExecutor.getResultSet();
                while (resultSet.hasNext()) {
                    printRecord(resultSet.next());
                }
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (sqlExecutor != null) {
                // Tutup Executor untuk melepaskan sumber daya.
                sqlExecutor.close();
            }
        }
    }

    // SQLExecutor dapat digunakan kembali dengan mode pool
    public static void ExampleWithPool() {
        // Jalankan kueri menggunakan kolam koneksi.
        // AccessKey akun Alibaba Cloud memiliki akses ke semua operasi API, yang menimbulkan risiko keamanan tinggi. 
        // Kami sangat menyarankan Anda membuat dan menggunakan Pengguna RAM untuk akses API atau O&M rutin. Login ke konsol RAM untuk membuat Pengguna RAM.
        // Contoh ini menggunakan AccessKey dan AccessKeySecret yang disimpan dalam variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan bisnis Anda.
        // Kami sangat menyarankan Anda tidak menyimpan AccessKey dan AccessKeySecret dalam kode Anda. Hal ini dapat menyebabkan kebocoran pasangan Kunci Akses.
        Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        Odps odps = new Odps(account);
        odps.setDefaultProject("your_project_name");
        odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

        // Siapkan kolam koneksi dan atur ukuran pool serta mode eksekusi default.
        SQLExecutorPool sqlExecutorPool = null;
        SQLExecutor sqlExecutor = null;
        try {
            // Siapkan kolam koneksi dan atur ukuran pool serta mode eksekusi default.
            SQLExecutorPoolBuilder builder = SQLExecutorPoolBuilder.builder();
            builder.odps(odps)
                    .initPoolSize(1) // jumlah executor awal pool
                    .maxPoolSize(5)  // executor maksimum dalam pool
                    .executeMode(ExecuteMode.INTERACTIVE); // jalankan dalam mode interaktif

            sqlExecutorPool = builder.build();
            // Dapatkan Executor dari kolam koneksi. Jika tidak tersedia, executor baru dibuat dalam batas maksimum.
            sqlExecutor = sqlExecutorPool.getExecutor();

            // Penggunaan Executor sama seperti pada contoh sebelumnya.
            sqlExecutor.run("select count(1) from test_table;", new HashMap<>());
            System.out.println("InstanceId:" + sqlExecutor.getId());
            System.out.println("Logview:" + sqlExecutor.getLogView());

            List<Record> records = sqlExecutor.getResult();
            printRecords(records);
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            sqlExecutor.close();
        }
        sqlExecutorPool.close();
    }

    private static void printRecord(Record record) {
        for (int k = 0; k < record.getColumnCount(); k++) {

            if (k != 0) {
                System.out.print("\t");
            }

            if (record.getColumns()[k].getType().equals(OdpsType.STRING)) {
                System.out.print(record.getString(k));
            } else if (record.getColumns()[k].getType().equals(OdpsType.BIGINT)) {
                System.out.print(record.getBigint(k));
            } else {
                System.out.print(record.get(k));
            }
        }
    }

    private static void printRecords(List<Record> records) {
        for (Record record : records) {
            printRecord(record);
            System.out.println();
        }
    }

    public static void main(String args[]) {
        SimpleExample();
        ExampleWithPool();
    }
}