MaxCompute：Percepatan Kueri (MCQA)

Ikuti langkah-langkah berikut untuk menggunakan fitur percepatan kueri guna mempercepat proyek dalam instans MaxCompute subscription.

1. Login ke Konsol MaxCompute dan pilih wilayah di pojok kiri atas.

2. Pada panel navigasi di sebelah kiri, pilih Manage Configurations > Quotas.

3. Pada halaman Quotas, temukan kuota target dan klik Quota Configuration di kolom Actions.

4. Konfigurasi pengaturan dasar kuota.

   1. Pada halaman Quota Configuration, pilih tab Basic Configurations dan klik Edit Basic Configurations.

   2. Klik Add Level-2 Quota atau konfigurasi parameter dasar untuk kuota level-2 yang sudah ada.

      Masukkan Quota Name kustom dan atur Type ke Interactive. Untuk informasi lebih lanjut tentang parameter, lihat Konfigurasi kuota.

5. Konfigurasi penskalaan kuota.

   1. Pada halaman Quota Configuration, pilih tab Scaling Configuration.

   2. Pada tab Scaling Configuration, klik Add Configuration Plan atau temukan rencana konfigurasi yang sudah ada dan klik Edit di kolom Actions untuk memperbarui rencana tersebut.

   3. Pada dialog Add Configuration Plan atau Edit Configuration Plan, konfigurasi Reserved CUs [minCU,maxCU] untuk kelompok sumber daya MCQA.

      • Jumlah minimum CU (minCU) harus sama dengan jumlah maksimum CU (maxCU).

      • Jumlah minimum CU harus lebih besar dari atau sama dengan 50. Jika Anda tidak memerlukan sumber daya interaktif, atur parameter ini ke 0.

      • Cu cadangan elastis tidak didukung untuk kuota interaktif.

   4. Klik OK untuk menyimpan konfigurasi kuota.

   5. Pada tab Scaling Configuration, temukan rencana konfigurasi target dan klik Apply Immediately di kolom Actions untuk segera menerapkan rencana tersebut. Anda juga dapat menggunakan rencana yang sudah ada saat mengonfigurasi Scheduled Scaling Management.

6. Konfigurasi rencana berbasis waktu.

   Anda dapat mengonfigurasi rencana berbasis waktu untuk mengaktifkan rencana kuota berbeda pada waktu berbeda dalam sehari. Hal ini menerapkan logika berbasis waktu untuk konfigurasi kuota.

MCQA mendukung metode koneksi berikut:

• Metode 1: Aktifkan MCQA menggunakan client MaxCompute

• Metode 2: Aktifkan MCQA menggunakan fitur kueri ad hoc atau pengembangan data di DataWorks

• Metode 3: Aktifkan MCQA menggunakan JDBC

• Metode 4: Aktifkan MCQA menggunakan Java SDK

• Metode 5: Gunakan PyODPS dengan SQLAlchemy atau alat pihak ketiga kompatibel SQLAlchemy lainnya untuk mempercepat kueri

Metode 3: Aktifkan MCQA menggunakan JDBC

Metode 4: Aktifkan MCQA menggunakan Java SDK

Untuk informasi lebih lanjut tentang Java SDK, lihat Ikhtisar Java SDK. Anda harus mengonfigurasi dependensi Pom di Maven. Kode berikut memberikan contoh konfigurasi.

<dependency>
  <groupId>com.aliyun.odps</groupId>
  <artifactId>odps-sdk-core</artifactId>
  <version>3.3.0</version>
</dependency>

Berikut adalah contoh perintah untuk membuat program Java.

import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.OdpsType;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.data.ResultSet;
import com.aliyun.odps.sqa.*;

import java.io.IOException;
import java.util.*;

public class SQLExecutorExample {

  public static void SimpleExample() {
    // Atur informasi akun dan proyek.
    // AccessKey Akun Alibaba Cloud memiliki izin penuh pada semua API dan menimbulkan risiko keamanan tinggi. Kami menyarankan Anda membuat dan menggunakan Pengguna RAM untuk melakukan panggilan API atau O&M. Untuk membuat Pengguna RAM, login ke Konsol RAM.
    // Contoh ini menunjukkan cara menyimpan ID AccessKey dan Rahasia AccessKey dalam variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan.
    // Kami sangat menyarankan agar Anda tidak menyematkan ID AccessKey dan Rahasia AccessKey secara langsung dalam kode Anda. Hal ini dapat menimbulkan risiko keamanan.
    Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
    Odps odps = new Odps(account);
    odps.setDefaultProject("<YOUR_PROJECT_NAME>");
    odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

    // Siapkan untuk membangun SQLExecutor.
    SQLExecutorBuilder builder = SQLExecutorBuilder.builder();

    SQLExecutor sqlExecutor = null;
    try {
      // jalankan dalam mode offline atau jalankan dalam mode interaktif
      if (false) {
        // Buat executor yang menjalankan pernyataan SQL offline secara default.
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.OFFLINE).build();
      } else {
        // Buat executor yang menjalankan kueri SQL dipercepat secara default dan secara otomatis fallback ke mode kueri offline jika akselerasi gagal.
        sqlExecutor = builder.odps(odps).executeMode(ExecuteMode.INTERACTIVE).fallbackPolicy(FallbackPolicy.alwaysFallbackPolicy()).build();
      }
      // Anda dapat meneruskan pengaturan khusus untuk kueri jika diperlukan.
      Map<String, String> queryHint = new HashMap<>();
      queryHint.put("odps.sql.mapper.split.size", "128");
      // Kirim pekerjaan kueri. Petunjuk didukung.
      sqlExecutor.run("select count(1) from test_table;", queryHint);

      // Kode berikut memberikan beberapa metode umum untuk mendapatkan informasi.
      // UUID
      System.out.println("ExecutorId:" + sqlExecutor.getId());
      // Logview dari pekerjaan kueri saat ini.
      System.out.println("Logview:" + sqlExecutor.getLogView());
      // Objek Instance dari pekerjaan kueri saat ini. Dalam mode interaktif, beberapa pekerjaan kueri mungkin berbagi instance yang sama.
      System.out.println("InstanceId:" + sqlExecutor.getInstance().getId());
      // Kemajuan tahap dari pekerjaan kueri saat ini (progress bar di konsol).
      System.out.println("QueryStageProgress:" + sqlExecutor.getProgress());
      // Log perubahan status eksekusi dari pekerjaan kueri saat ini, seperti informasi fallback.
      System.out.println("QueryExecutionLog:" + sqlExecutor.getExecutionLog());

      // Dua metode disediakan untuk mendapatkan hasil.
      if(false) {
        // Langsung ambil semua hasil kueri. Ini adalah metode sinkron dan mungkin menduduki thread saat ini hingga kueri berhasil atau gagal.
        // Metode ini membaca semua data hasil ke memori sekaligus. Kami tidak menyarankan menggunakan metode ini untuk dataset besar karena potensi masalah memori.
        List<Record> records = sqlExecutor.getResult();
        printRecords(records);
      } else {
        // Ambil iterator (ResultSet) untuk hasil kueri. Ini adalah metode sinkron dan mungkin menduduki thread saat ini hingga kueri berhasil atau gagal.
        // Kami menyarankan menggunakan metode ini untuk mengambil dataset besar karena membaca hasil kueri secara bertahap.
        ResultSet resultSet = sqlExecutor.getResultSet();
        while (resultSet.hasNext()) {
          printRecord(resultSet.next());
        }
      }

      // jalankan kueri lain
      sqlExecutor.run("select * from test_table;", new HashMap<>());
      if(false) {
        // Langsung ambil semua hasil kueri. Ini adalah metode sinkron dan mungkin menduduki thread saat ini hingga kueri berhasil atau gagal.
        // Metode ini membaca semua data hasil ke memori sekaligus. Kami tidak menyarankan menggunakan metode ini untuk dataset besar karena potensi masalah memori.
        List<Record> records = sqlExecutor.getResult();
                printRecords(records);
            } else {
                // Ambil iterator (ResultSet) untuk hasil kueri. Ini adalah metode sinkron dan mungkin menduduki thread saat ini hingga kueri berhasil atau gagal.
                // Kami menyarankan menggunakan metode ini untuk mengambil dataset besar karena membaca hasil kueri secara bertahap.
                ResultSet resultSet = sqlExecutor.getResultSet();
                while (resultSet.hasNext()) {
                    printRecord(resultSet.next());
                }
            }
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            if (sqlExecutor != null) {
                // Tutup executor untuk melepaskan sumber daya.
                sqlExecutor.close();
            }
        }
    }

    // SQLExecutor dapat digunakan kembali dengan mode pool
    public static void ExampleWithPool() {
        // Atur informasi akun dan proyek.
      	// AccessKey Akun Alibaba Cloud memiliki izin penuh pada semua API dan menimbulkan risiko keamanan tinggi. Kami menyarankan Anda membuat dan menggunakan Pengguna RAM untuk melakukan panggilan API atau O&M. Untuk membuat Pengguna RAM, login ke Konsol RAM.
		// Contoh ini menunjukkan cara menyimpan ID AccessKey dan Rahasia AccessKey dalam variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan.
		// Kami sangat menyarankan agar Anda tidak menyematkan ID AccessKey dan Rahasia AccessKey secara langsung dalam kode Anda. Hal ini dapat menimbulkan risiko keamanan.
        Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"), System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
        Odps odps = new Odps(account);
        odps.setDefaultProject("your_project_name");
        odps.setEndpoint("http://service.<regionid>.maxcompute.aliyun.com/api");

        // Jalankan kueri menggunakan kolam koneksi.
        SQLExecutorPool sqlExecutorPool = null;
        SQLExecutor sqlExecutor = null;
        try {
            // Siapkan kolam koneksi, atur ukuran pool dan mode eksekusi default.
            SQLExecutorPoolBuilder builder = SQLExecutorPoolBuilder.builder();
            builder.odps(odps)
                    .initPoolSize(1) // jumlah executor awal pool
                    .maxPoolSize(5)  // executor maksimum dalam pool
                    .executeMode(ExecuteMode.INTERACTIVE); // jalankan dalam mode interaktif

            sqlExecutorPool = builder.build();
            // Dapatkan executor dari kolam koneksi. Jika pool kosong, executor baru dibuat dalam batas maksimum.
            sqlExecutor = sqlExecutorPool.getExecutor();

            // Penggunaan executor sama seperti pada contoh sebelumnya.
            sqlExecutor.run("select count(1) from test_table;", new HashMap<>());
            System.out.println("InstanceId:" + sqlExecutor.getId());
            System.out.println("Logview:" + sqlExecutor.getLogView());

            List<Record> records = sqlExecutor.getResult();
            printRecords(records);
        } catch (OdpsException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
            sqlExecutor.close();
        }
        sqlExecutorPool.close();
    }

    private static void printRecord(Record record) {
        for (int k = 0; k < record.getColumnCount(); k++) {

            if (k != 0) {
                System.out.print("\t");
            }

            if (record.getColumns()[k].getType().equals(OdpsType.STRING)) {
                System.out.print(record.getString(k));
            } else if (record.getColumns()[k].getType().equals(OdpsType.BIGINT)) {
                System.out.print(record.getBigint(k));
            } else {
                System.out.print(record.get(k));
            }
        }
    }

    private static void printRecords(List<Record> records) {
        for (Record record : records) {
            printRecord(record);
            System.out.println();
        }
    }

    public static void main(String args[]) {
        SimpleExample();
        ExampleWithPool();
    }
}