Zamanlanmış SQL görevi oluşturmak için CreateScheduledSQL API'sini çağırın.
Simple Log Service SDK, zamanlanmış SQL ile ilgili API'leri artık güncellememektedir. Zamanlanmış SQL yönetimi için Alibaba Cloud SDK kullanın:
Alibaba Cloud OpenAPI Explorer'daki CreateScheduledSQL API hata ayıklama sayfasında, sağ paneldeki SDK Example sekmesine tıklayın. İlgili SDK örnek kodunu görüntülemek için hedef dilinizi (Java, TypeScript, Go, PHP, Python, .NET, C++ vb.) seçin. Çevrimiçi hata ayıklama için Run Example seçeneğine veya tam projeyi indirmek için Download Full Project seçeneğine tıklayabilirsiniz.
Ön koşullar
Simple Log Service etkinleştirilmiştir. Daha fazla bilgi için bkz. Simple Log Service'i Etkinleştirme.
Java için Simple Log Service SDK başlatılmıştır. Daha fazla bilgi için bkz. Java için Simple Log Service SDK'yı Başlatma.
Arka plan bilgileri
Simple Log Service, verileri düzenli olarak analiz etmek, toplu verileri depolamak ve yansıtma ile filtreleme işlemleri gerçekleştirmek için zamanlanmış SQL özelliğini sunar. Zamanlanmış SQL, standart SQL92 sözdizimini ve Simple Log Service sorgu ve analiz sözdizimini destekler. Zamanlama kurallarına göre periyodik olarak çalışır ve sonuçları bir hedef veritabanına (Logstore veya Metricstore) yazar.
Simple Log Service konsolu, zamanlanmış SQL görevleri oluşturmak için görsel bir arayüz sağlar. Ayrıntılar için bkz. Zamanlanmış SQL görevi oluşturma.
Buna ek olarak, Simple Log Service Java SDK aracılığıyla zamanlanmış SQL görevlerinin oluşturulmasını kolaylaştırmak için ScheduledSQL, JobSchedule ve ScheduledSQLConfiguration sınıflarını sağlar.
ScheduledSQL: Zamanlanmış bir SQL görevi oluşturur.
JobSchedule: Zamanlanmış SQL görevi için zamanlama yapılandırması oluşturur.
ScheduledSQLConfiguration: Zamanlanmış SQL görevi için temel yapılandırmayı oluşturur.
Parametre açıklamaları
İstek parametreleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ScheduledSQL
Aşağıdaki tabloda parametreler açıklanmaktadır.
|
Parametre Adı |
Tür |
Gerekli |
Açıklama |
Örnek |
|
name |
String |
Evet |
Zamanlanmış SQL görevinin adı. Aşağıdaki adlandırma kurallarına uyun:
|
export-123-456 |
|
displayName |
String |
Evet |
Zamanlanmış SQL görevinin görünen adı. Simple Log Service konsolunda, görünen adların listesini görüntülemek için seçeneğini belirleyin. |
my-scheduled-sql-job |
|
description |
String |
Hayır |
Zamanlanmış SQL görevinin açıklaması. |
this is a scheduled sql job. |
|
configuration |
Object |
Evet |
Zamanlanmış SQL yapılandırması. |
- |
|
schedule |
Object |
Evet |
Görev zamanlama yapılandırması. |
- |
JobSchedule
Zamanlanmış SQL görevi için bir zamanlama yapılandırması oluşturmak üzere JobSchedule jobSchedule = new JobSchedule(); komutunu çağırın. Aşağıdaki tabloda parametreler açıklanmaktadır.
|
Parametre adı |
Tür |
Gerekli |
Açıklama |
Örnek |
|
type |
String |
Evet |
Zamanlanmış SQL görevinin zamanlanma sıklığı. Her zamanlama bir yürütme örneği oluşturur. Aralık, her örnek için zamanlanan saati belirler.
|
FixedRate |
|
interval |
String |
Hayır |
type değeri FixedRate olduğunda sabit aralığı belirtir.
|
50m |
|
cronExpression |
String |
Hayır |
type değeri Cron olduğunda cron ifadesini belirtir. Cron ifadesinin minimum hassasiyeti bir dakikadır ve 24 saatlik format kullanılır. Örneğin, Bir saat dilimi yapılandırmak için Cron modunu seçin. Yaygın saat dilimlerinin listesi için bkz. Saat dilimi formatı. |
Yok |
|
runImmediately |
boolean |
Hayır |
Zamanlanmış görevin hemen çalıştırılıp çalıştırılmayacağını belirtir. |
False |
|
timeZone |
String |
Hayır |
Cron ifadesi için saat dilimi. Varsayılan boştur, bu da UTC+8 anlamına gelir. |
+0800 |
|
delay |
int |
Hayır |
Zamanlanan saatten sonra yürütmenin başlamasından önceki gecikme süresi. Geçerli değerler: 0 ila 120. Birim: saniye. Logstore'a yazılan verilerde gecikmeler veya benzer sorunlar yaşanması durumunda, veri bütünlüğünü sağlamak için gecikmeli yürütme kullanabilirsiniz. |
10 |
ScheduledSQLConfiguration
Zamanlanmış SQL görevi için yapılandırma oluşturmak üzere ScheduledSQLConfiguration scheduledSQLConfiguration = generateConfig(); komutunu çağırın. Aşağıdaki tabloda parametreler açıklanmaktadır.
|
Parametre Adı |
Tür |
Gerekli |
Açıklama |
Örnek |
|
script |
String |
Evet |
Sorgu ve analiz deyimi. |
*|select count(1) |
|
sqlType |
String |
Evet |
SQL türü. searchQuery olarak ayarlayın. |
searchQuery |
|
resourcePool |
String |
Evet |
Kaynak havuzu türü. enhanced olarak ayarlayın. Simple Log Service, veri analitiği için geliştirilmiş kaynak havuzları sağlar. |
enhanced |
|
roleArn |
String |
Evet |
Kaynak Logstore'dan veri okumak için kullanılan RAM rolünün ARN'si. ARN edinme talimatları için bkz. Kaynak LogStore'a erişmek için özel bir RAM rolüne izin verme. |
|
|
destRoleArn |
String |
Evet |
Hedef Logstore'a veri yazmak için kullanılan RAM rolünün ARN'si. ARN edinme talimatları için aşağıya bakın:
|
|
|
sourceLogstore |
String |
Evet |
Kaynak Logstore'un adı. |
source-logstore |
|
destEndpoint |
String |
Evet |
Hedef Logstore'un uç noktası. Not
Daha fazla bilgi için bkz. Uç Noktalar. |
|
|
destProject |
String |
Evet |
Hedef projenin adı. |
my-project |
|
destLogstore |
String |
Evet |
Hedef Logstore'un adı. Uyarı
Hedef veritabanını kaynak veritabanıyla aynı olarak ayarlamayın. Bu durum, günlüklerin döngüsel olarak yazılmasına ve ekstra depolama ile trafik ücretlerine neden olabilir. Ortaya çıkan kaynak tüketimi ve ücretlerden siz sorumlusunuz. |
my-logstore |
|
dataFormat |
String |
Evet |
Yazma modu.
|
log2log |
|
fromTimeExpr |
String |
Evet |
SQL zaman penceresi için başlangıç ifadesi. Daha fazla bilgi için bkz. Zaman ifadesi sözdizimi. |
@m - 12s |
|
toTimeExpr |
String |
Evet |
SQL zaman penceresi için bitiş ifadesi. Daha fazla bilgi için bkz. Zaman ifadesi sözdizimi. |
@m |
|
maxRetries |
Long |
Evet |
SQL analiz işlemi başarısız olursa yapılacak maksimum otomatik yeniden deneme sayısı. Yeniden deneme sayısı bu değeri aşarsa, yürütme örneği başarısız durumuyla sonlanır. |
10 |
|
maxRunTimeInSeconds |
Long |
Evet |
SQL analiz işlemi başarısız olursa toplam maksimum yeniden deneme süresi (saniye cinsinden). Yeniden deneme süresi bu değeri aşarsa, yürütme örneği başarısız durumuyla sonlanır. |
60 |
|
fromTime |
Long |
Evet |
Zamanlama başlangıç zamanı. Önemli
Yürütme örnekleri yalnızca bu zaman aralığında oluşturulur. Bu aralığın dışında yeni örnekler oluşturulmaz. |
1653965045 |
|
toTime |
Long |
Evet |
Zamanlama bitiş zamanı. Bitiş zamanı olmaması için 0 olarak ayarlayın. |
1653968045 |
|
parameters |
Object |
Evet |
dataFormat değeri log2metric veya metric2metric olduğunda SQL parametrelerini yapılandırın. Ayrıntılar için bkz. Log2MetricParameters ve Metric2MetricParameters. |
|
parameters
-
Logstore'dan Metricstore'a zamanlanmış bir SQL görevi yapılandırıyorsanız, aşağıdaki ek parametreleri de yapılandırmanız gerekir:
Tablo 1. Log2MetricParameters
Parametre Adı
Örnek
Açıklama
metricKeys
"[\"a\", \"b\", \"c\"]"Metrik sütunları, konsol SQL yapılandırmasındaki metrik sütunlarına karşılık gelir.
Simple Log Service, sorgu ve analiz deyimlerinize göre verileri toplar. Sorgu sonuçlarından bir veya daha fazla sayısal türde sütunu metrik sütunu olarak seçebilirsiniz. Daha fazla bilgi için bkz. Metrikler.
labelKeys
"[\"d\", \"e\", \"f\"]"Etiket sütunları, konsol SQL yapılandırmasındaki Etiketlere karşılık gelir.
Simple Log Service, sorgu ve analiz deyimlerinize göre verileri toplar. Sorgu sonuçlarından bir veya daha fazla sütunu etiket olarak seçebilirsiniz. Daha fazla bilgi için bkz. Metrikler.
hashLabels
"[\"d\", \"f\"]"Konsol SQL yapılandırmasındaki Rehash özelliğine karşılık gelir.
Rehash anahtarını etkinleştirdikten sonra, aynı sütun değerine sahip verileri tek bir parçaya yazmak için hash columns yapılandırabilirsiniz. Bu işlem, veri yerelliğini ve sorgu verimliliğini artırır.
Kullanılabilir hash columns, sorgu ve analiz sonuçlarınıza bağlıdır. Sonuçlardan bir veya daha fazla sütunu hash sütunu olarak seçebilirsiniz. Örneğin, hash columns status olarak ayarlarsanız, aynı status değerine sahip tüm veriler aynı parçaya yazılır.
addLabels
"[\"m\":\"h\", \"n\":\"i\"]"Konsol SQL yapılandırmasındaki Ek Etiketler özelliğine karşılık gelir.
Metrik niteliklerini tanımlamak için statik etiketleri anahtar-değer çiftleri olarak ekleyin.
Örneğin, label_key değerini app ve label_value değerini ingress-nginx olarak ayarlayın.
timeKey
time
Konsol SQL yapılandırmasındaki Zaman Sütunu özelliğine karşılık gelir.
-
Sorgu sonuçlarından bir zaman sütunu seçerseniz (Unix zaman damgası değerleriyle, örneğin
atime:1627025331), sistem o sütunu metrik zaman damgası olarak kullanır. -
empty seçeneğini belirlerseniz, sistem sorgu zaman aralığının başlangıç saatini metrik zaman damgası olarak kullanır.
-
-
Bir Metricstore'dan başka bir Metricstore'a zamanlanmış bir SQL görevi yapılandırıyorsanız, aşağıdaki ek parametreleri de yapılandırmanız gerekir:
Tablo 2. Metric2MetricParameters
Parametre Adı
Örnek
Açıklama
metricName
my-metric
Metriği yeniden adlandırmak istiyorsanız yeni bir metrik adı girin. Daha fazla bilgi için bkz. Metrikler.
ÖnemliYeniden adlandırmayı yalnızca tek bir metriği analiz ederken öneririz.
Birden çok metriği analiz edip yeniden adlandırırsanız, tüm metrikler aynı yeni adı paylaşır.
hashLabels
"{\"m\":\"h\", \"n\":\"i\"}"Konsol SQL yapılandırmasındaki Rehash özelliğine karşılık gelir.
Rehash anahtarını etkinleştirdikten sonra, aynı etiket değerine sahip verileri tek bir parçaya yazmak için hash columns yapılandırabilirsiniz. Bu işlem, veri yerelliğini ve sorgu verimliliğini artırır.
Kullanılabilir hash columns, metrik verilerindeki mevcut etiketlere bağlıdır. Örneğin, metrik verileri
{"alert_id":"alert-1608815762-545495","alert_name":"Alert recovery closed","status":"inactive"}etiketlerini içeriyorsa, geçerli hash columns alert_id, alert_name ve status olur. hash columns status olarak ayarlarsanız, aynı status değerine sahip tüm veriler aynı parçaya yazılır.addLabels
"{\"m\":\"h\", \"n\":\"i\"}"Konsol SQL yapılandırmasındaki Ek Etiketler özelliğine karşılık gelir.
Metrik niteliklerini tanımlamak için statik etiketleri anahtar-değer çiftleri olarak ekleyin.
Örneğin, label_key değerini app ve label_value değerini ingress-nginx olarak ayarlayın.
Yanıt parametreleri
Yanıt parametrelerinin açıklamaları için bkz. Zamanlanmış SQL görevi oluşturma.
Örnek kod
Bu örnekte, kaynak Logstore'dan gelen zamanlanmış analiz sonuçlarının hedef Logstore'a kaydedildiği bir App.java dosyası oluşturulmaktadır. Örnek kod:
import com.aliyun.openservices.log.Client;
import com.aliyun.openservices.log.common.*;
import com.aliyun.openservices.log.exception.LogException;
import com.aliyun.openservices.log.request.CreateScheduledSQLRequest;
public class App {
// This example retrieves the AccessKey ID and AccessKey secret from environment variables.
static String accessId = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
static String accessKey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
// Set project and Logstore names.
static String sourceProject="aliyun-test-sourceProject";
static String destProject="aliyun-test-destProject";
static String sourceLogstore = "logstore-name";
static String destLogstore = "project-name";
static String roleArn = "acs:ram::11111111:role/aliyunlogetlrole";
// Set the Simple Log Service endpoint. This example uses the China (Hangzhou) region. Replace it with your region.
static String endpoint = "http://cn-hangzhou.log.aliyuncs.com";
static String destEndpoint = "http://cn-hangzhou-intranet.log.aliyuncs.com";
static long fromTime = 1648105200; //2022-03-23 15:00:00
private static String script = "* | select a,b,c from log";
private static ScheduledSQLBaseParameters generateParams(String dataFormat) {
if (dataFormat.equalsIgnoreCase("log2log")) {
return null;
} else if (dataFormat.equalsIgnoreCase("log2metric")) {
Log2MetricParameters params = new Log2MetricParameters();
params.setMetricKeys("[\"a\", \"b\", \"c\"]");
params.setLabelKeys("[\"d\", \"e\", \"f\"]");
params.setHashLabels("[\"d\", \"f\"]");
params.setAddLabels("{\"m\":\"h\", \"n\":\"i\"}");
params.setTimeKey("time");
return params;
} else if (dataFormat.equalsIgnoreCase("metric2metric")) {
Metric2MetricParameters params = new Metric2MetricParameters();
params.setMetricName("name");
params.setHashLabels("[\"d\", \"f\"]");
params.setAddLabels("{\"m\":\"h\", \"n\":\"i\"}");
return params;
}
return null;
}
private static ScheduledSQLConfiguration generateConfig() {
ScheduledSQLConfiguration scheduledSQLConfiguration = new ScheduledSQLConfiguration();
scheduledSQLConfiguration.setScript(script);
scheduledSQLConfiguration.setSqlType("searchQuery");
scheduledSQLConfiguration.setResourcePool("enhanced");
scheduledSQLConfiguration.setRoleArn(roleArn);
scheduledSQLConfiguration.setDestRoleArn(roleArn);
scheduledSQLConfiguration.setSourceLogstore(sourceLogstore);
scheduledSQLConfiguration.setDestEndpoint(destEndpoint);
scheduledSQLConfiguration.setDestProject(destProject);
scheduledSQLConfiguration.setDestLogstore(destLogstore);
scheduledSQLConfiguration.setDataFormat("log2log");
scheduledSQLConfiguration.setFromTimeExpr("@m-1m");
scheduledSQLConfiguration.setToTimeExpr("@m");
scheduledSQLConfiguration.setMaxRetries(20);
scheduledSQLConfiguration.setMaxRunTimeInSeconds(600);
scheduledSQLConfiguration.setFromTime(fromTime);
scheduledSQLConfiguration.setToTime(0L);
ScheduledSQLBaseParameters params = generateParams(scheduledSQLConfiguration.getDataFormat());
scheduledSQLConfiguration.setParameters(params);
return scheduledSQLConfiguration;
}
private static ScheduledSQL generateScheduledSQL() {
ScheduledSQL scheduledSQLStructure = new ScheduledSQL();
scheduledSQLStructure.setName("job-name");
scheduledSQLStructure.setDisplayName("display-name");
scheduledSQLStructure.setDescription("desc-name");
ScheduledSQLConfiguration scheduledSQLConfiguration = generateConfig();
scheduledSQLStructure.setConfiguration(scheduledSQLConfiguration);
JobSchedule jobSchedule = new JobSchedule();
jobSchedule.setType(JobScheduleType.FIXED_RATE);
jobSchedule.setInterval("1m");
jobSchedule.setDelay(10);
jobSchedule.setRunImmediately(false);
scheduledSQLStructure.setSchedule(jobSchedule);
return scheduledSQLStructure;
}
public static void main(String[] args) {
Client client = new Client(endpoint, accessId, accessKey);
ScheduledSQL scheduledSQL = generateScheduledSQL();
CreateScheduledSQLRequest request = new CreateScheduledSQLRequest(sourceProject, scheduledSQL);
try {
client.createScheduledSQL(request);
} catch (LogException e) {
e.printStackTrace();
}
}
}
İlgili bilgiler
-
Zamanlanmış SQL görevlerini yönetmek için API'ler hakkında bilgi edinmek için bkz.:
GitHub'daki Alibaba Cloud Simple Log Service SDK for Java.