Simple Log Service:Tingkatkan performa kueri pada data skala besar dengan materialized views

Mengapa menggunakan materialized views

SLS memungkinkan analisis data real-time menggunakan SQL. Setiap kueri SQL menganalisis seluruh data dalam rentang waktu tertentu. Pada dataset besar, mode eksekusi standar dapat menghasilkan hasil yang tidak akurat, timeout, atau melebihi batas konkurensi.

Kueri dan analisis akurat berperforma tinggi (Dedicated SQL) secara signifikan meningkatkan daya komputasi. Namun, mode ini memiliki batas ukuran data dan dapat menghasilkan waktu eksekusi yang lama untuk dataset yang sangat besar.

Untuk skenario dengan persyaratan ketat terhadap waktu eksekusi SQL—seperti refresh dashboard—pertimbangkan penggunaan materialized views. Materialized views melakukan pre-komputasi secara inkremental dan menyimpan hasil antara dari sub-pernyataan SQL. Saat Anda merefresh laporan, sistem secara otomatis menggunakan hasil yang telah diprekomputasi ini untuk meningkatkan performa secara signifikan.

Cara kerja

Langkah 1: Konfigurasikan izin

Akun Alibaba Cloud memiliki semua izin secara default dan tidak memerlukan otorisasi tambahan. Jika Anda adalah Pengguna Resource Access Management (RAM), pastikan Anda memiliki izin berikut:

Langkah 2: Impor SDK

Impor versi berikut dari SDK SLS untuk Java:

<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>aliyun-log</artifactId>
    <version>0.6.138</version>
</dependency>

Langkah 3: Buat, daftar, ambil, dan hapus materialized views

Contoh berikut menunjukkan cara membuat, mendaftar, mengambil detail, dan menghapus materialized views. Ubah dan jalankan kode sesuai kebutuhan.

Dapatkan parameter:

• Untuk mendapatkan ID AccessKey dan Rahasia AccessKey, lihat Buat pasangan Kunci Akses.

• Untuk mendapatkan titik akhir host:

  1. Masuk ke Konsol Simple Log Service.

  2. Pada daftar Projects, klik project target.

  3. Klik ikon di samping nama project untuk membuka halaman ikhtisar project. Di bagian Endpoint, salin titik akhir publik.

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.exception.LogException;
import com.aliyun.openservices.log.request.CreateMaterializedViewRequest;
import com.aliyun.openservices.log.request.ListMaterializedViewsRequest;
import com.aliyun.openservices.log.response.GetMaterializedViewResponse;
import com.aliyun.openservices.log.response.ListMaterializedViewsResponse;

import java.text.SimpleDateFormat;
import java.util.concurrent.TimeUnit;

public class MvDemo
{
    static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
    /**
     * Titik akhir SLS. Contoh ini menggunakan Hangzhou. Ubah sesuai wilayah Anda.
     */
    static String host = "cn-hangzhou.log.aliyuncs.com";
    /**
     * Buat client SLS.
     */
    static Client client = new Client(host, accessId, accessKey);
    /**
     * Nama project.
     */
    static String projectName = "xxx";
    /**
     * Nama logstore.
     */
    static String logstoreName = "xxx";

    public static void main(String[] args) throws Exception {
        String materializedViewName = "test_mv";

        createMv(materializedViewName); // Buat materialized view dengan nama yang ditentukan.

        listMv(); // Dapatkan daftar materialized views di project saat ini.

        getMv(materializedViewName); // Dapatkan informasi tentang materialized view saat ini.
        
        // deleteMv(materializedViewName); // Hapus materialized view.
    }

    static int dateStrToSecond(String dateStr) throws Exception {
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        return (int)TimeUnit.MILLISECONDS.toSeconds(simpleDateFormat.parse(dateStr).getTime());
    }

    static void createMv(String materializedViewName) throws Exception {
        // Kueri SQL yang akan dipercepat dengan materialized view.
        String originalSql = "* | select count(l1) as cnt, l2 from stability group by l2";
        // Periode materialisasi terjadwal dalam menit.
        int aggIntervalMins = 60;
        // Waktu mulai untuk materialisasi. Berdasarkan waktu penulisan data mentah.
        // Hanya data mentah setelah waktu ini yang dimaterialisasi.
        int startTime = dateStrToSecond("2025-07-30 00:00:00");
        // TTL dari logstore materialisasi.
        // Nilai 0 berarti sama dengan TTL logstore sumber.
        // TTL logstore materialisasi tidak boleh kurang dari TTL logstore sumber.
        int ttl = 0;
        // Jumlah materialized views dalam satu project tidak boleh melebihi 100.
        CreateMaterializedViewRequest request = new CreateMaterializedViewRequest(
            projectName, materializedViewName, logstoreName, originalSql, aggIntervalMins, startTime, ttl);
        client.createMaterializedView(request);
        System.out.println("create materialized view " + materializedViewName);
    }

    static void listMv() throws LogException
    {
        // 0 dan 10 adalah parameter untuk kueri terpaginasi.
        ListMaterializedViewsRequest request = new ListMaterializedViewsRequest(projectName, "", 0, 10);
        ListMaterializedViewsResponse response = client.listMaterializedViews(request);
        System.out.println("total materialized view count: " + response.getTotal());
        for (String materializedView : response.getMaterializedViews()) {
            System.out.println(materializedView);
        }
    }

    static void getMv(String materializedViewName) throws Exception
    {
        GetMaterializedViewResponse response = client.getMaterializedView(projectName, materializedViewName);
        System.out.println("get materialized view detail, name: " + materializedViewName);
        System.out.println("originalSql: " + response.getOriginalSql());
        System.out.println("startTime: " + response.getStartTime());
        System.out.println("ttl: " + response.getTtl());
    }

    static void deleteMv(String materializedViewName) throws LogException {
        client.deleteMaterializedView(projectName, materializedViewName);
        System.out.println("delete materialized view " + materializedViewName);
    }

}