Simple Log Service:Créer une tâche SQL planifiée

• Simple Log Service est activé. Pour plus d'informations, consultez la rubrique Activer Simple Log Service.

• Le SDK Simple Log Service pour Java est initialisé. Pour plus d'informations, consultez la rubrique Initialiser le SDK Simple Log Service pour Java.

Par ailleurs, Simple Log Service met à disposition les classes ScheduledSQL, JobSchedule et ScheduledSQLConfiguration afin de simplifier la création de tâches SQL planifiées via le SDK Java.

• ScheduledSQL : Crée une tâche SQL planifiée.

• JobSchedule : Crée une configuration de planification pour la tâche SQL planifiée.

• ScheduledSQLConfiguration : Crée la configuration de base de la tâche SQL planifiée.

Paramètres de requête

ScheduledSQL

Le tableau suivant décrit les paramètres.

JobSchedule

Appelez JobSchedule jobSchedule = new JobSchedule(); pour créer une configuration de planification pour la tâche SQL planifiée. Le tableau suivant décrit les paramètres.

ScheduledSQLConfiguration

Appelez ScheduledSQLConfiguration scheduledSQLConfiguration = generateConfig(); pour créer la configuration de la tâche SQL planifiée. Le tableau suivant décrit les paramètres.

{
  addLabels: "{}",
  hashLabels: "[]",
  labelKeys: "[\"your label1\",\"your label2\"]",
  metricKeys: "[\"your Indicator1\",\"your Indicator2\"]",
  metricName: "",
  timeKey: ""
}

parameters

• Lors de la configuration d'une tâche SQL planifiée d'un Logstore vers un Metricstore, vous devez également configurer les paramètres supplémentaires suivants :

  Tableau 1. Log2MetricParameters

  Nom du paramètre	Exemple	Description
  metricKeys	"[\"a\", \"b\", \"c\"]"	Colonnes de métriques, correspondant aux colonnes de métriques dans la configuration SQL de la console. Simple Log Service agrège les données en fonction de votre instruction de requête et d'analyse. Vous pouvez sélectionner une ou plusieurs colonnes de type numérique parmi les résultats de la requête comme colonnes de métriques. Pour plus d'informations, consultez la rubrique Métriques.
  labelKeys	"[\"d\", \"e\", \"f\"]"	Colonnes d'étiquettes, correspondant aux étiquettes (Labels) dans la configuration SQL de la console. Simple Log Service agrège les données en fonction de votre instruction de requête et d'analyse. Vous pouvez sélectionner une ou plusieurs colonnes parmi les résultats de la requête comme étiquettes. Pour plus d'informations, consultez la rubrique Métriques.
  hashLabels	"[\"d\", \"f\"]"	Correspond à Rehash dans la configuration SQL de la console. Après avoir activé l'option Rehash, vous pouvez configurer des hash columns pour écrire les données ayant la même valeur de colonne dans un seul shard. Cela améliore la localité des données et l'efficacité des requêtes. Les hash columns disponibles dépendent de vos résultats de requête et d'analyse. Vous pouvez sélectionner une ou plusieurs colonnes parmi les résultats comme colonnes de hachage. Par exemple, si vous définissez les hash columns sur status, toutes les données ayant la même valeur status sont écrites dans le même shard.
  addLabels	"[\"m\":\"h\", \"n\":\"i\"]"	Correspond à Additional Labels (Étiquettes supplémentaires) dans la configuration SQL de la console. Ajoutez des étiquettes statiques sous forme de paires clé-valeur pour identifier les attributs des métriques. Par exemple, définissez label_key sur app et label_value sur ingress-nginx.
  timeKey	time	Correspond à Time Column (Colonne temporelle) dans la configuration SQL de la console. Si vous sélectionnez une colonne temporelle parmi les résultats de la requête (avec des valeurs d'horodatage Unix, telles que atime:1627025331), le système utilise cette colonne comme horodatage de la métrique. Si vous sélectionnez empty (vide), le système utilise l'heure de début de la plage temporelle de la requête comme horodatage de la métrique.

• Lors de la configuration d'une tâche SQL planifiée d'un Metricstore vers un autre Metricstore, vous devez également configurer les paramètres supplémentaires suivants :

  Tableau 2. Metric2MetricParameters

  Nom du paramètre	Exemple	Description
  metricName	my-metric	Saisissez un nouveau nom de métrique si vous souhaitez renommer la métrique. Pour plus d'informations, consultez la rubrique Métriques. Important Nous vous recommandons de renommer uniquement lors de l'analyse d'une seule métrique. Si vous analysez plusieurs métriques et les renommez, toutes les métriques partageront le même nouveau nom.
  hashLabels	"{\"m\":\"h\", \"n\":\"i\"}"	Correspond à Rehash dans la configuration SQL de la console. Après avoir activé l'option Rehash, vous pouvez configurer des hash columns pour écrire les données ayant la même valeur d'étiquette dans un seul shard. Cela améliore la localité des données et l'efficacité des requêtes. Les hash columns disponibles dépendent des étiquettes existantes dans les données de la métrique. Par exemple, si les données de la métrique incluent les étiquettes {"alert_id":"alert-1608815762-545495","alert_name":"Alert recovery closed","status":"inactive"}, les hash columns valides sont alert_id, alert_name et status. Si vous définissez les hash columns sur status, toutes les données ayant la même valeur status sont écrites dans le même shard.
  addLabels	"{\"m\":\"h\", \"n\":\"i\"}"	Correspond à Additional Labels (Étiquettes supplémentaires) dans la configuration SQL de la console. Ajoutez des étiquettes statiques sous forme de paires clé-valeur pour identifier les attributs des métriques. Par exemple, définissez label_key sur app et label_value sur ingress-nginx.

Paramètres de réponse

Pour la description des paramètres de réponse, consultez la rubrique Créer une tâche SQL planifiée.

import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.common.*;
import com.aliyun.openservices.log.exception.LogException;
import com.aliyun.openservices.log.request.CreateScheduledSQLRequest;
public class App {
    // This example retrieves the AccessKey ID and AccessKey secret from environment variables.
    static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
    // Set project and Logstore names.
    static String sourceProject="aliyun-test-sourceProject";
    static String destProject="aliyun-test-destProject";
    static String sourceLogstore = "logstore-name";
    static String destLogstore = "project-name";
    static String roleArn = "acs:ram::11111111:role/aliyunlogetlrole";
    // Set the Simple Log Service endpoint. This example uses the China (Hangzhou) region. Replace it with your region.
    static String endpoint = "http://cn-hangzhou.log.aliyuncs.com";
    static String destEndpoint = "http://cn-hangzhou-intranet.log.aliyuncs.com";
    static long fromTime = 1648105200; //2022-03-23 15:00:00
    private static String script = "* | select a,b,c from log";
    private static ScheduledSQLBaseParameters generateParams(String dataFormat) {
        if (dataFormat.equalsIgnoreCase("log2log")) {
            return null;
        } else if (dataFormat.equalsIgnoreCase("log2metric")) {
            Log2MetricParameters params = new Log2MetricParameters();
            params.setMetricKeys("[\"a\", \"b\", \"c\"]");
            params.setLabelKeys("[\"d\", \"e\", \"f\"]");
            params.setHashLabels("[\"d\", \"f\"]");
            params.setAddLabels("{\"m\":\"h\", \"n\":\"i\"}");
            params.setTimeKey("time");
            return params;
        } else if (dataFormat.equalsIgnoreCase("metric2metric")) {
            Metric2MetricParameters params = new Metric2MetricParameters();
            params.setMetricName("name");
            params.setHashLabels("[\"d\", \"f\"]");
            params.setAddLabels("{\"m\":\"h\", \"n\":\"i\"}");
            return params;
        }
        return null;
    }
    private static ScheduledSQLConfiguration generateConfig() {
        ScheduledSQLConfiguration scheduledSQLConfiguration = new ScheduledSQLConfiguration();
        scheduledSQLConfiguration.setScript(script);
        scheduledSQLConfiguration.setSqlType("searchQuery");
        scheduledSQLConfiguration.setResourcePool("enhanced");
        scheduledSQLConfiguration.setRoleArn(roleArn);
        scheduledSQLConfiguration.setDestRoleArn(roleArn);
        scheduledSQLConfiguration.setSourceLogstore(sourceLogstore);
        scheduledSQLConfiguration.setDestEndpoint(destEndpoint);
        scheduledSQLConfiguration.setDestProject(destProject);
        scheduledSQLConfiguration.setDestLogstore(destLogstore);
        scheduledSQLConfiguration.setDataFormat("log2log");
        scheduledSQLConfiguration.setFromTimeExpr("@m-1m");
        scheduledSQLConfiguration.setToTimeExpr("@m");
        scheduledSQLConfiguration.setMaxRetries(20);
        scheduledSQLConfiguration.setMaxRunTimeInSeconds(600);
        scheduledSQLConfiguration.setFromTime(fromTime);
        scheduledSQLConfiguration.setToTime(0L);
        ScheduledSQLBaseParameters params = generateParams(scheduledSQLConfiguration.getDataFormat());
        scheduledSQLConfiguration.setParameters(params);
        return scheduledSQLConfiguration;
    }
    private static ScheduledSQL generateScheduledSQL() {
        ScheduledSQL scheduledSQLStructure = new ScheduledSQL();
        scheduledSQLStructure.setName("job-name");
        scheduledSQLStructure.setDisplayName("display-name");
        scheduledSQLStructure.setDescription("desc-name");
        ScheduledSQLConfiguration scheduledSQLConfiguration = generateConfig();
        scheduledSQLStructure.setConfiguration(scheduledSQLConfiguration);
        JobSchedule jobSchedule = new JobSchedule();
        jobSchedule.setType(JobScheduleType.FIXED_RATE);
        jobSchedule.setInterval("1m");
        jobSchedule.setDelay(10);
        jobSchedule.setRunImmediately(false);
        scheduledSQLStructure.setSchedule(jobSchedule);
        return scheduledSQLStructure;
    }
    public static void main(String[] args) {
        Client client = new Client(endpoint, accessId, accessKey);
        ScheduledSQL scheduledSQL = generateScheduledSQL();
        CreateScheduledSQLRequest request = new CreateScheduledSQLRequest(sourceProject, scheduledSQL);
        try {
            client.createScheduledSQL(request);
        } catch (LogException e) {
            e.printStackTrace();
        }
    }
}