MaxCompute:Akselerasi Kueri MaxQA

Linimasa ketersediaan berdasarkan wilayah

Catatan

Kelompok kuota interaktif Baru secara default menggunakan mode MaxQA. Instans MaxQA yang sudah ada tidak terpengaruh.

Membuat instans MaxQA

MaxQA hanya tersedia untuk proyek MaxCompute yang menggunakan metode penagihan subscription. Untuk membuat instans MaxQA:

1. Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.

2. Pada panel navigasi sebelah kiri, pilih Manage Configurations > Quotas.

3. Pada halaman Quotas, klik Quota Configuration pada kolom Actions untuk kuota target.

4. Konfigurasi dasar

   1. Pada halaman Quota Configuration, pilih tab Basic Configurations, lalu klik Edit Basic Configurations.

   2. Klik Add Level-2 Quota, masukkan Quota Name, dan pilih Interactive untuk Type.

      • Saat menggunakan MaxQA, tentukan Quota Name. Sebaiknya gunakan nama yang berkaitan dengan atribut bisnis Anda untuk membedakan antarinstans.

      • Kuota Interactive dikhususkan untuk menjalankan pekerjaan akselerasi kueri (MaxQA).

5. Klik OK.

Setelah instans dibuat, status kelompok kuota interaktif terkait akan berubah menjadi Starting. Tunggu selama 5 hingga 8 menit hingga status berubah menjadi Running. Setelah itu, Anda dapat menggunakan instans tersebut.

Menghapus instans MaxQA

1. Pada halaman Quotas, klik Quota Configuration pada kolom Actions untuk kuota target.

2. Pada halaman Quota Configuration, pilih tab Basic Configurations, lalu klik Delete pada kolom Actions untuk kuota interaktif target.

Proses penghapusan berjalan di latar belakang. Halaman tidak akan menampilkan pembaruan status atau progres penghapusan.

Menskalakan instans MaxQA

Anda dapat melakukan scale out atau scale in pada kelompok kuota interaktif sesuai kebutuhan bisnis:

1. Pada halaman Quotas, klik Quota Configuration pada kolom Actions untuk kuota target.

2. Pada halaman Quota Configuration, pilih tab Basic Configurations, lalu klik Edit Basic Configurations.

3. Klik Add Level-2 Quota dan sesuaikan Reserved CUs [minCU,maxCU] dari kelompok kuota interaktif yang ingin Anda skala naik atau turun. Nilai yang lebih besar menunjukkan scale-up, sedangkan nilai yang lebih kecil menunjukkan scale-down.

   Catatan

   • Kenaikan minimum untuk CU adalah 25.

   • CU minimum harus setidaknya 25. Untuk stabilitas, atur CU minimum ke 50 atau lebih. Jika resource interaktif tidak diperlukan, atur nilainya ke 0 atau hapus kelompok kuota tersebut.

   • Batasan kuota interaktif:

     • Elastically Reserved CUs tidak didukung untuk kuota interaktif.

     • Untuk memastikan performa dan stabilitas akselerasi kueri, atur CU minimum sama dengan CU maksimum pada kuota interaktif.

4. Klik OK.

   Penyesuaian reserved CU untuk kelompok kuota interaktif akan dimulai.

Status Scaling Out atau Scaling In akan muncul di kolom Actions untuk kelompok kuota interaktif. Proses scaling out memakan waktu sekitar 5 hingga 8 menit. Proses scaling in mungkin memakan waktu lebih lama, tergantung pada kapan pekerjaan yang sedang berjalan selesai. Dalam skenario terburuk, sistem mungkin perlu menunggu pekerjaan pada mesin yang akan dihapus mengalami timeout sebelum operasi scale-in dimulai. Pekerjaan Anda tidak akan terpengaruh selama operasi penskalaan berlangsung.

Mengonfigurasi penskalaan berbasis waktu untuk MaxQA

Anda dapat mengonfigurasi rencana penskalaan berbasis waktu untuk penjadwalan penskalaan:

1. Pada halaman Quotas, klik Quota Configuration pada kolom Actions untuk kuota target.

2. Pada halaman Quota Configuration, pilih tab Scaling Configuration.

3. Mengonfigurasi rencana penskalaan berbasis waktu

   1. Pada tab Scaling Configuration, klik Add Configuration Plan. Pada kotak dialog Add Configuration Plan, masukkan Configuration Plan Name dan konfigurasikan Reserved CUs [minCU,maxCU] untuk kuota level-2.

   2. Untuk mengubah rencana konfigurasi yang ada:

      Pada tab Scaling Configuration, klik Edit pada kolom Actions dari rencana target untuk memperbaruinya.

4. Mengonfigurasi jadwal berbasis waktu

   1. Pada tab Scaling Configuration, klik Edit Time Plan di bagian Scheduled Scaling Management.

   2. Klik Add Effective Period, lalu pilih Effective start time dan Configuration Plan.

      Hal ini memungkinkan Anda mengaktifkan rencana konfigurasi kuota yang berbeda pada waktu yang berbeda dalam sehari. Untuk informasi selengkapnya, lihat Mengelola resource komputasi dan kuota.

Kebijakan penjadwalan

Saat mengirimkan pekerjaan, tentukan nama kelompok kuota interaktif di client atau string koneksi JDBC. Pekerjaan tersebut kemudian akan dijadwalkan untuk berjalan pada instans MaxQA yang sesuai.

Kebijakan fallback

MaxQA mendukung kebijakan fallback. Saat diaktifkan, tugas MaxQA yang gagal karena pengecualian sistem secara otomatis akan kembali ke mode batch. Anda dapat mengaktifkan kebijakan fallback dengan cara berikut:

• JDBC (versi 3.10.7 atau lebih baru): Fallback diaktifkan secara default. Atur disableFallback untuk menonaktifkannya, dan gunakan fallbackQuota untuk menentukan kuota target.

• Java SDK: MaxQAConnInfo.builder().fallbackInfo(FallbackInfo.enable("<offline_quota>")).build()

• DataWorks: Konfigurasikan aturan fallback di pengaturan penjadwalan DataStudio. Untuk informasi selengkapnya, lihat Menggunakan DataWorks DataStudio.

Anda dapat mengakses MaxQA menggunakan metode berikut:

• Client MaxCompute

• DataWorks: kueri ad-hoc atau DataStudio

• Konsol MaxCompute: SQL Analysis

• MaxCompute Studio

• JDBC

• Alat BI

• Java SDK

• Python SDK

Menggunakan client MaxCompute

1. Instal dan konfigurasikan client MaxCompute (odpscmd) v0.51.1 atau lebih baru. Untuk informasi selengkapnya, lihat Terhubung menggunakan client lokal (odpscmd).

2. Dalam direktori conf pada instalasi client, ubah file odps_config.ini dengan menambahkan perintah berikut pada baris terakhir.

   -- Aktifkan caching informasi koneksi MaxQA.
   enable_interactive_mode=true
   enable_quota_cache=true(Opsional) 

3. Jalankan file skrip di direktori bin untuk memulai client MaxCompute.

   Penting

   • Untuk sistem Linux/macOS: Jalankan file skrip odpscmd.

   • Windows: Klik dua kali file odpscmd.bat.

4. Sebelum menjalankan pekerjaan, eksekusi perintah berikut. Pekerjaan selanjutnya dari client akan berjalan dalam mode MaxQA pada kelompok kuota interaktif yang sesuai.

   USE QUOTA <name_of_the_interactive_quota_group>;

Menggunakan DataWorks DataStudio

1. Login ke Konsol DataWorks, lalu pilih wilayah di pojok kiri atas.

2. Pada panel navigasi sebelah kiri, pilih Data Development and O&M > Data Development.

3. Select Workspace, lalu klik Go to Data Studio.

4. Pada halaman Data Development, klik Run Configuration di sebelah kanan.

5. Pada halaman Debugging Configurations, pilih resource proyek MaxCompute yang terikat ke ruang kerja ini untuk Computing Resource. Tabel berikut menjelaskan cara memilih kuota komputasi untuk setiap skenario:

   Catatan

   • Lingkungan eksekusi: Pekerjaan berjalan di modul analisis data atau pengembangan data. Fallback interaktif-ke-offline tidak berlaku.

   • Lingkungan eksekusi fallback: Pekerjaan berjalan di modul penjadwalan. Jika mode interaktif ditentukan, Anda juga dapat mengonfigurasi fallback ke mode offline jika mode interaktif gagal.

   Pilihan Kuota Komputasi	Kuota / Aturan Routing yang Ditentukan	Mode Eksekusi yang Diharapkan	Konfigurasi Penjadwalan dan Fallback yang Diharapkan
   Kuota default proyek	Jika aturan routing offline ada, aturan routing tersebut berlaku. Aturan routing interaktif tidak berlaku.	Kuota default proyek adalah kuota offline. Pekerjaan berjalan pada kuota offline.	Pekerjaan berjalan pada kuota offline. Fallback tidak berlaku.
   Kuota yang ditentukan	Pilih kuota offline.	Pekerjaan berjalan pada kuota offline.	Pekerjaan berjalan pada kuota offline. Fallback tidak berlaku.
   Kuota yang ditentukan	Pilih kuota interaktif.	Pekerjaan berjalan pada instans MaxQA yang sesuai dengan kelompok kuota interaktif.	Dalam Konfigurasi Penjadwalan: jika fallback dinonaktifkan, tidak ada fallback yang dicoba; jika kuota default proyek dipilih, kuota default proyek digunakan untuk fallback (aturan routing offline tidak berlaku saat fallback); jika kuota tertentu dipilih, kuota offline yang ditentukan digunakan untuk fallback.
   Aturan routing mode interaktif	Hanya aturan routing offline yang ada. Tidak ditemukan aturan routing interaktif yang cocok.	Error dilaporkan: Cannot find MCQA quota to start connection on project *****. Untuk membuatnya, lihat Menggunakan kuota untuk resource komputasi.	Jika fallback dinonaktifkan, tidak ada fallback yang dicoba; jika kuota default proyek dipilih, kuota default proyek digunakan untuk fallback; jika kuota tertentu dipilih, kuota offline yang ditentukan digunakan untuk fallback.
   Aturan routing mode interaktif	Terdapat aturan routing interaktif yang cocok.	Pekerjaan berjalan pada instans MaxQA yang sesuai dengan kelompok kuota interaktif.

6. Setelah konfigurasi selesai, pekerjaan pada node SQL akan dijadwalkan ke instans MaxQA yang sesuai dengan kelompok kuota interaktif.

Untuk informasi selengkapnya, lihat Membuat node SQL MaxCompute di DataWorks.

Menggunakan SQL Analysis di konsol

1. Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.

2. Pada panel navigasi sebelah kiri, pilih Data Exploration > SQL Analysis.

3. Setelah memasukkan Pernyataan SQL Anda di editor SQL, klik Run Configurations di sebelah kanan untuk mengonfigurasi Project dan Computing Quota.

4. Pilih resource komputasi yang sesuai dengan kelompok kuota interaktif.

5. Setelah konfigurasi selesai, pekerjaan pada halaman SQL Analysis akan dijadwalkan ke instans MaxQA yang sesuai dengan kelompok kuota interaktif.

Untuk informasi selengkapnya, lihat SQL Analysis.

Menggunakan MaxCompute Studio

Pastikan Anda telah menginstal MaxCompute Studio dan menghubungkannya ke proyek MaxCompute Anda. Untuk menggunakan MaxQA, jalankan skrip:

1. Instal dan konfigurasikan MaxCompute Studio v4.3.2 atau lebih baru. Untuk informasi selengkapnya, lihat Menginstal MaxCompute Studio.

2. Buat proyek MaxCompute Studio dan hubungkan ke proyek MaxCompute Anda. Untuk informasi selengkapnya, lihat Mengelola koneksi proyek.

3. Buat skrip SQL MaxCompute di dalam proyek. Untuk informasi selengkapnya, lihat Mengembangkan dan mengirimkan skrip SQL.

4. Dalam skrip SQL MaxCompute, masukkan Pernyataan SQL. Dari daftar drop-down Execution Mode, pilih MaxQA.

5. Klik tombol Specify additional parameters , masukkan nama kelompok kuota interaktif, lalu klik OK.

6. Jalankan skrip. Pekerjaan kini menggunakan fitur akselerasi kueri MaxQA.

Menggunakan JDBC

Untuk mengaktifkan MaxQA saat terhubung ke MaxCompute menggunakan JDBC: Untuk informasi selengkapnya tentang koneksi JDBC, lihat Panduan pengguna.

1. Unduh kode sumber dengan dukungan MaxQA.

2. Konfigurasikan dependensi POM di Maven.

   <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-jdbc</artifactId>
      <version>${Latest Version}</version>
   </dependency>

   Penting

   Dalam kode di atas, Latest Version adalah placeholder. Ganti dengan nomor versi SDK tertentu agar proyek berhasil dikompilasi. Kunjungi GitHub Releases untuk melihat semua versi odps-jdbc yang telah dirilis. Sebaiknya gunakan versi terbaru. Format nomor versi adalah X.X.X.

3. Buat program Java dari kode sumber, sesuaikan dengan lingkungan Anda. Untuk informasi selengkapnya, lihat MaxCompute JDBC. Kode berikut memberikan contoh.

   import java.sql.Connection;
   import java.sql.DatabaseMetaData;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.SQLException;
   import java.sql.Statement;
   public class MaxCompute {
       private static final String DRIVER_NAME = "com.aliyun.odps.jdbc.OdpsDriver";
       // AccessKey ID dari Akun Alibaba Cloud memiliki izin untuk memanggil semua Operasi API. Ini adalah operasi berisiko tinggi. Sebaiknya buat dan gunakan RAM user untuk memanggil Operasi API atau melakukan O&M rutin. Untuk membuat RAM user, login ke Konsol RAM.
       // Dalam contoh ini, AccessKey ID dan AccessKey Secret disimpan dalam Variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan bisnis.
       // Sangat disarankan untuk tidak melakukan hard-code AccessKey ID dan AccessKey Secret dalam kode Anda. Hal ini menimbulkan risiko keamanan.
       private static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
       private static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
       public static void main(String[] args) throws SQLException {
           try {
               Class.forName(DRIVER_NAME);
           } catch (ClassNotFoundException e) {
               e.printStackTrace();
               System.exit(1);
           }
           Connection conn = DriverManager.getConnection(
                   "jdbc:odps:https://service.cn-hangzhou.maxcompute.aliyun.com/api?project=maxqatomax&charset=UTF-8&interactiveMode=true&quotaName=maxfor1&autoSelectLimit=1000000000",
                   MaxCompute.accessId, MaxCompute.accessKey);
           // buat tabel
           Statement stmt = conn.createStatement();
           final String tableName = "jdbc_test11";
           stmt.execute("DROP TABLE IF EXISTS " + tableName);
           stmt.execute("CREATE TABLE " + tableName + " (key BIGINT, value STRING)");
           // dapatkan meta data
           DatabaseMetaData metaData = conn.getMetaData();
           System.out.println("product = " + metaData.getDatabaseProductName());
           System.out.println("jdbc version = "
                   + metaData.getDriverMajorVersion() + ", "
                   + metaData.getDriverMinorVersion());
           ResultSet tables = metaData.getTables(null, "default", tableName, null);
           while (tables.next()) {
               String name = tables.getString("TABLE_NAME");
               System.out.println("inspecting table: " + name);
               ResultSet columns = metaData.getColumns(null, null, name, null);
               while (columns.next()) {
                   System.out.println(
                           columns.getString("COLUMN_NAME") + "\t" +
                                   columns.getString("TYPE_NAME") + "(" +
                                   columns.getInt("DATA_TYPE") + ")");
               }
               columns.close();
           }
           tables.close();
           stmt.close();
           conn.close();
       }
   }

Kode berikut menunjukkan contoh string koneksi JDBC.

// your_quota_group_name adalah nama kelompok kuota interaktif yang ingin Anda gunakan.
jdbc:odps:<MaxCompute_endpoint>?
project=<MaxCompute_project_name>&interactiveMode=true&quotaName=your_quota_group_name&enableLimit=false&enableOdpsLogger=true

Menggunakan alat BI

Anda dapat terhubung ke MaxQA menggunakan alat BI seperti Tableau, Quick BI, Guandata BI, dan SQL Workbench/J.

Menggunakan Java SDK

Untuk informasi selengkapnya tentang Java SDK, lihat Pengantar Java SDK.

1. Konfigurasikan dependensi POM di Maven. Kode berikut menunjukkan contohnya.

   <dependency>
     <groupId>com.aliyun.odps</groupId>
     <artifactId>odps-sdk-core</artifactId>
     <version>${Latest Version}</version>
   </dependency>

   Penting

   Dalam kode di atas, Latest Version adalah placeholder. Anda harus menggantinya dengan nomor versi SDK tertentu agar proyek berhasil dikompilasi. Kunjungi GitHub Releases untuk melihat semua versi odps-sdk-core yang telah dirilis. Sebaiknya gunakan versi terbaru. Format nomor versi adalah X.X.X-public.

2. Buat program Java. Kode berikut memberikan contoh.

   import com.aliyun.odps.Odps;
   import com.aliyun.odps.OdpsException;
   import com.aliyun.odps.account.Account;
   import com.aliyun.odps.account.AliyunAccount;
   import com.aliyun.odps.sqa.ExecuteMode;
   import com.aliyun.odps.sqa.SQLExecutor;
   import com.aliyun.odps.sqa.SQLExecutorBuilder;
   import java.util.HashMap;
   import java.util.Map;
   public class MaxCompute {
       public static void main(String args[]) {
           // Atur informasi akun dan proyek.
           // AccessKey ID dari Akun Alibaba Cloud memiliki izin untuk memanggil semua Operasi API. Ini adalah operasi berisiko tinggi. Sebaiknya buat dan gunakan RAM user untuk memanggil Operasi API atau melakukan O&M rutin. Untuk membuat RAM user, login ke Konsol RAM.
           // Dalam contoh ini, AccessKey ID dan AccessKey Secret disimpan dalam Variabel lingkungan. Anda juga dapat menyimpannya dalam file konfigurasi sesuai kebutuhan bisnis.
           // Sangat disarankan untuk tidak melakukan hard-code AccessKey ID dan AccessKey Secret dalam kode Anda. Hal ini menimbulkan risiko keamanan.
           Account account = new AliyunAccount(System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID"),
                           System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET"));
           Odps odps = new Odps(account);
           odps.setDefaultProject("maxqatomax");
           odps.setEndpoint("https://service.cn-hangzhou.maxcompute.aliyun.com/api");
           // Bersiap membangun SQLExecutor.
           SQLExecutorBuilder builder = SQLExecutorBuilder.builder();
           SQLExecutor sqlExecutor = null;
           try {
               // Buat pelaksana yang menggunakan mode MaxQA secara default.
               // enableMcqaV2(true) mengaktifkan mode MaxQA
               sqlExecutor = builder.odps(odps)
                       .executeMode(ExecuteMode.INTERACTIVE)
                       .quotaName("maxfor1")
                       .enableMcqaV2(true)
                       .build();
               // Jika diperlukan, Anda dapat meneruskan pengaturan kustom untuk kueri.
               Map<String, String> queryHint = new HashMap<>();
               queryHint.put("odps.sql.mapper.split.size", "128");
               // Kirimkan pekerjaan kueri. Anda dapat meneruskan petunjuk.
               sqlExecutor.run("select count(1) from test_table;", queryHint);
               // Logview dari pekerjaan kueri saat ini.
               System.out.println("Logview:" + sqlExecutor.getLogView());
               // ID instans dari pekerjaan kueri saat ini.
               System.out.println("InstanceId:" + sqlExecutor.getQueryId());
           } catch (OdpsException e) {
               e.printStackTrace();
           } finally {
               if (sqlExecutor != null) {
                   // Tutup pelaksana untuk melepaskan resource.
                   sqlExecutor.close();
               }
           }
       }
   }

Menggunakan PyODPS

PyODPS v0.12.1 dan yang lebih baru mendukung MaxQA. Kode berikut menunjukkan contohnya.

import os
from odps import ODPS
# Atur informasi akun dan proyek.
# Pastikan Variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID dan ALIBABA_CLOUD_ACCESS_KEY_SECRET 
# diatur ke AccessKey ID dan AccessKey Secret Anda.
# Tidak disarankan menggunakan string AccessKey ID dan AccessKey Secret secara langsung.
o = ODPS(
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
    os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
    project='maxto****',
    endpoint='https://service.cn-hangzhou.maxcompute.aliyun.com/api',
)
# Jika diperlukan, Anda dapat meneruskan pengaturan kustom untuk kueri.
hints = {"odps.sql.mapper.split.size": "128"}
inst = o.execute_sql_interactive(
    'select count(1) from test_table',
    use_mcqa_v2=True,
    quota_name='maxfor1',
    # Atur quota_name ke nama kelompok kuota interaktif untuk instans MaxQA.
    hints=hints,
)
# Logview dari pekerjaan kueri saat ini.
print(inst.get_logview_address())
# ID instans dari pekerjaan kueri saat ini.
print(inst.id)
# Baca data baris demi baris.
with inst.open_reader() as reader:
    result = [res.values for res in reader]

odps://<access_id>:<ACCESS_KEY>@<project>/?endpoint=<endpoint>&quota_name=<YOUR_INTERACTIVE_QUOTA_GROUP_NAME>&interactive_mode=v2&reuse_odps=true

Dari halaman Logview

Setelah pekerjaan selesai, buka halaman Logview-nya untuk memverifikasi bahwa pekerjaan tersebut berjalan dalam mode MaxQA. Periksa hal-hal berikut:

• InstanceId MaxCompute berakhiran _mcqa.

• Nama panggilan kuota adalah nama kuota interaktif yang ditentukan.

• Pada tab Summary, mode eksekusi pekerjaan adalah mcqa 2.0.

Dari halaman O&M Pekerjaan

1. Login ke Konsol MaxCompute, lalu pilih wilayah di pojok kiri atas.

2. Pada panel navigasi sebelah kiri, pilih Observation O&M > Jobs.

3. Pada halaman Jobs, klik tab Regular Job List dan atur Job Type ke MCQA2 untuk melihat pekerjaan MaxQA dalam Time Range yang ditentukan.