Simple Log Service:マテリアライズドビューによる大規模データでのクエリパフォーマンスの向上

マテリアライズドビューを使用する理由

SLS では、SQL を使用してリアルタイムのデータ分析が可能です。各 SQL クエリは、指定された時間範囲内のすべてのデータを分析します。大規模なデータセットの場合、標準の実行モードでは不正確な結果が返されたり、タイムアウトしたり、同時実行数の上限を超えたりする可能性があります。

高性能完全一致クエリ・分析 (専用 SQL) は、計算能力を大幅に向上させます。ただし、このモードにはデータサイズの上限があり、非常に大規模なデータセットでは実行時間が長くなる可能性があります。

ダッシュボードのリフレッシュなど、SQL の実行時間に厳しい要件があるシナリオでは、マテリアライズドビューの使用を検討してください。マテリアライズドビューは、SQL サブステートメントの中間結果を増分的に事前計算して保存します。レポートをリフレッシュすると、システムはこれらの事前計算された結果を自動的に使用して、パフォーマンスを大幅に向上させます。

仕組み

ステップ 1：権限の設定

Alibaba Cloud アカウントは、デフォルトですべての権限を持っており、追加の権限付与は不要です。Resource Access Management (RAM) ユーザーの場合は、以下の権限があることを確認してください：

ステップ 2：SDK のインポート

以下のバージョンの SLS SDK for Java をインポートします：

<dependency>
    <groupId>com.aliyun.openservices</groupId>
    <artifactId>aliyun-log</artifactId>
    <version>0.6.138</version>
</dependency>

ステップ 3：マテリアライズドビューの作成、一覧表示、取得、削除

以下の例は、マテリアライズドビューの作成、一覧表示、詳細の取得、削除の方法を示しています。必要に応じてコードを修正して実行してください。

パラメーターの取得：

• AccessKey ID と AccessKey Secret を取得するには、「AccessKey ペアの作成」をご参照ください。

• ホストエンドポイントを取得するには：

  1. Simple Log Service コンソールにログインします。

  2. プロジェクトリストで、対象のプロジェクトをクリックします。

  3. プロジェクト名の横にあるアイコンをクリックして、プロジェクトの概要ページに移動します。[Endpoint] セクションで、パブリックエンドポイントをコピーします。

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.exception.LogException;
import com.aliyun.openservices.log.request.CreateMaterializedViewRequest;
import com.aliyun.openservices.log.request.ListMaterializedViewsRequest;
import com.aliyun.openservices.log.response.GetMaterializedViewResponse;
import com.aliyun.openservices.log.response.ListMaterializedViewsResponse;

import java.text.SimpleDateFormat;
import java.util.concurrent.TimeUnit;

public class MvDemo
{
    static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
    /**
     * SLS エンドポイント。この例では中国 (杭州) を使用しています。実際のリージョンに変更してください。
     */
    static String host = "cn-hangzhou.log.aliyuncs.com";
    /**
     * SLS クライアントを作成します。
     */
    static Client client = new Client(host, accessId, accessKey);
    /**
     * プロジェクト名。
     */
    static String projectName = "xxx";
    /**
     * Logstore 名。
     */
    static String logstoreName = "xxx";

    public static void main(String[] args) throws Exception {
        String materializedViewName = "test_mv";

        createMv(materializedViewName); // 指定された名前でマテリアライズドビューを作成します。

        listMv(); // 現在のプロジェクトのマテリアライズドビューのリストを取得します。

        getMv(materializedViewName); // 現在のマテリアライズドビューに関する情報を取得します。
        
        // deleteMv(materializedViewName); // マテリアライズドビューを削除します。
    }

    static int dateStrToSecond(String dateStr) throws Exception {
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        return (int)TimeUnit.MILLISECONDS.toSeconds(simpleDateFormat.parse(dateStr).getTime());
    }

    static void createMv(String materializedViewName) throws Exception {
        // マテリアライズドビューで高速化する SQL クエリ。
        String originalSql = "* | select count(l1) as cnt, l2 from stability group by l2";
        // スケジュールされたマテリアライズの期間 (分)。
        int aggIntervalMins = 60;
        // マテリアライズの開始時刻。生データの書き込み時間に基づきます。
        // この時刻以降の生データのみがマテリアライズされます。
        int startTime = dateStrToSecond("2025-07-30 00:00:00");
        // マテリアライズ Logstore の TTL。
        // 値 0 は、ソース Logstore の TTL と同じであることを意味します。
        // マテリアライズ Logstore の TTL は、ソース Logstore の TTL より短くすることはできません。
        int ttl = 0;
        // 1 つのプロジェクト内のマテリアライズドビューの数は 100 を超えることはできません。
        CreateMaterializedViewRequest request = new CreateMaterializedViewRequest(
            projectName, materializedViewName, logstoreName, originalSql, aggIntervalMins, startTime, ttl);
        client.createMaterializedView(request);
        System.out.println("create materialized view " + materializedViewName);
    }

    static void listMv() throws LogException
    {
        // 0 と 10 はページ分割クエリのパラメーターです。
        ListMaterializedViewsRequest request = new ListMaterializedViewsRequest(projectName, "", 0, 10);
        ListMaterializedViewsResponse response = client.listMaterializedViews(request);
        System.out.println("total materialized view count: " + response.getTotal());
        for (String materializedView : response.getMaterializedViews()) {
            System.out.println(materializedView);
        }
    }

    static void getMv(String materializedViewName) throws Exception
    {
        GetMaterializedViewResponse response = client.getMaterializedView(projectName, materializedViewName);
        System.out.println("get materialized view detail, name: " + materializedViewName);
        System.out.println("originalSql: " + response.getOriginalSql());
        System.out.println("startTime: " + response.getStartTime());
        System.out.println("ttl: " + response.getTtl());
    }

    static void deleteMv(String materializedViewName) throws LogException {
        client.deleteMaterializedView(projectName, materializedViewName);
        System.out.println("delete materialized view " + materializedViewName);
    }

}