Simple Log Service：Memproses dan menyimpan data dari logstore ke metricstore

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Proyek, klik proyek yang ingin Anda kelola.

   

3. Pada tab Log Storage > Logstores, klik logstore yang ingin Anda kelola.

   

4. Masukkan pernyataan kueri di kotak pencarian dan klik Last 15 Minutes untuk menentukan rentang waktu kueri.

   Untuk informasi lebih lanjut, lihat Langkah 1: Buat Indeks.

   Catatan

   Langkah ini memungkinkan Anda melihat pratinjau data sebelum membuat pekerjaan Scheduled SQL. Anda dapat memeriksa apakah pernyataan kueri valid dan apakah hasil kueri berisi data.

5. Pada tab Graph, klik Save as Scheduled SQL Job.

   

6. Buat pekerjaan Scheduled SQL.

   1. Di langkah Compute Settings, konfigurasikan parameter dan klik Next.

      Parameter	Deskripsi
      Job Name	Nama pekerjaan Scheduled SQL.
      Display Name	Nama tampilan pekerjaan Scheduled SQL.
      Task Description	Deskripsi pekerjaan Scheduled SQL.
      Resource Pool	Kolam sumber daya yang digunakan untuk analisis data. Simple Log Service menyediakan jenis kolam sumber daya yang ditingkatkan. Jenis kolam sumber daya yang ditingkatkan menggunakan kemampuan komputasi Dedicated SQL. Jenis kolam sumber daya yang ditingkatkan dapat memenuhi persyaratan analisis konkuren dan mengisolasi sumber daya antara Scheduled SQL dan operasi analisis SQL Anda di konsol. Anda akan dikenakan biaya untuk jenis kolam sumber daya yang ditingkatkan berdasarkan waktu CPU yang dikonsumsi oleh operasi analisis SQL Anda. Untuk informasi lebih lanjut, lihat Dedicated SQL: Solusi optimalisasi kueri log tingkat triliun.
      Write Mode	Pilih Import Data from Logstore to Metricstore. Fitur Scheduled SQL memproses data dalam logstore sumber dan menulis data yang telah diproses ke metricstore tujuan.
      SQL Code	Pernyataan kueri. Secara default, sistem menampilkan pernyataan yang Anda masukkan di Langkah 4. Operasi pratinjau yang disediakan untuk parameter ini memiliki efek yang sama dengan operasi pratinjau di Langkah 4. Anda dapat mengklik Pratinjau untuk memeriksa apakah pernyataan kueri valid dan apakah hasil kueri berisi data. Saat pekerjaan Scheduled SQL berjalan, Simple Log Service mengeksekusi pernyataan kueri ini untuk menganalisis data.
      SQL Settings
      Metric Column	Kolom metrik. Simple Log Service menggabungkan data berdasarkan pernyataan kueri yang Anda masukkan. Anda dapat memilih satu atau beberapa kolom tipe data numerik dalam hasil kueri untuk parameter ini. Untuk informasi lebih lanjut, lihat Metrik.
      Labels	Data label. Simple Log Service menggabungkan data berdasarkan pernyataan kueri yang Anda masukkan. Anda dapat memilih satu atau beberapa kolom dalam hasil kueri untuk parameter ini. Untuk informasi lebih lanjut, lihat Metrik.
      Rehash	Saklar untuk hashing. Jika Anda mengaktifkan Rehash, Anda dapat mengonfigurasi parameter Hash Column untuk menulis data yang memiliki nilai yang sama dalam satu kolom ke shard yang sama. Ini meningkatkan lokasi data dan efisiensi kueri. Nilai valid dari parameter Hash Column bervariasi berdasarkan hasil kueri. Anda dapat memilih satu atau beberapa kolom dalam hasil kueri sebagai kolom hash. Misalnya, jika Anda mengatur Hash Column ke status, data yang memiliki nilai yang sama dalam kolom status ditulis ke shard yang sama.
      Time Column	Jika Anda memilih kolom waktu yang nilainya adalah timestamp UNIX dalam hasil kueri untuk parameter ini, sistem menggunakan nilai kolom waktu untuk menunjukkan waktu metrik. Contoh: atime:1627025331. Jika Anda mengatur nilainya menjadi Null, sistem menggunakan waktu mulai pernyataan kueri untuk menunjukkan waktu metrik. Untuk informasi lebih lanjut, lihat Metrik.
      Additional Labels	Label statis yang digunakan untuk mengidentifikasi atribut metrik. Setiap label berada dalam format pasangan kunci-nilai. Sebagai contoh, Anda dapat mengatur label_key ke app dan label_value ke ingress-nginx.
      Source Project/Logstore	Proyek dan logstore tempat data sumber milik.
      Target
      Destination Region	Wilayah tempat proyek tujuan berada.
      Destination Project	Nama proyek tujuan, yang menyimpan hasil pernyataan kueri.
      Target Store	Nama metricstore tujuan, yang menyimpan hasil pernyataan kueri.
      Write Authorization	Metode yang digunakan untuk mengotorisasi pekerjaan Scheduled SQL untuk menulis data ke metricstore tujuan. Nilai valid: Default Role: Pekerjaan Scheduled SQL mengasumsikan peran sistem AliyunLogETLRole untuk menulis hasil analisis ke metricstore tujuan. Custom Role: Pekerjaan Scheduled SQL mengasumsikan peran kustom untuk menulis hasil analisis ke metricstore tujuan. Anda harus memberikan peran kustom izin untuk menulis data ke metricstore tujuan. Kemudian, masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Berikan peran RAM izin untuk menulis data ke logstore tujuan.
      SQL Execution Authorization	Metode yang digunakan untuk mengotorisasi pekerjaan Scheduled SQL untuk membaca data dari logstore sumber dan menganalisis data menggunakan pernyataan kueri dalam proyek saat ini. Nilai valid: Default Role: Pekerjaan Scheduled SQL mengasumsikan peran sistem AliyunLogETLRole untuk melakukan operasi yang diperlukan. Custom Role: Pekerjaan Scheduled SQL mengasumsikan peran kustom untuk melakukan operasi yang diperlukan. Anda harus memberikan peran kustom izin yang diperlukan. Kemudian, masukkan ARN dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Langkah 1: Berikan peran RAM izin untuk menganalisis data log dalam sumber logstore.

   2. Di langkah Scheduling Settings, konfigurasikan parameter berikut dan klik OK.

      Parameter	Deskripsi
      Specify Scheduling Interval	Frekuensi penjadwalan pekerjaan Scheduled SQL. Sebuah instance dihasilkan setiap kali pekerjaan Scheduled SQL dijadwalkan. Parameter ini menentukan waktu yang dijadwalkan untuk setiap instance. Nilai valid: Hourly: Tugas SQL terjadwal dijadwalkan setiap jam. Daily: Tugas SQL terjadwal dijadwalkan pada waktu tetap setiap hari. Weekly: Tugas SQL terjadwal dijadwalkan pada waktu tetap di hari tertentu setiap minggu. Fixed Interval: Tugas SQL terjadwal dijadwalkan pada interval tetap. Cron: Tugas SQL terjadwal dijadwalkan pada interval yang ditentukan menggunakan ekspresi cron. Jika Anda menggunakan ekspresi cron, interval yang ditentukan akurat hingga menit berdasarkan jam 24 jam. Misalnya, ekspresi 0 0/1 * * * menunjukkan bahwa tugas SQL terjadwal dijadwalkan setiap jam mulai pukul 00:00. Jika Anda perlu menentukan zona waktu, pilih Cron. Untuk daftar zona waktu umum, lihat Zona Waktu.
      Scheduling Time Range	Rentang waktu selama pekerjaan Scheduled SQL dijadwalkan. Nilai valid: Start at a specified time: menentukan waktu ketika tugas SQL terjadwal pertama kali dijadwalkan. Within Specific Period: menentukan rentang waktu di mana tugas SQL terjadwal dijadwalkan. Catatan Jika Anda menentukan rentang waktu, instance pekerjaan Scheduled SQL hanya dapat berjalan dalam rentang waktu tersebut. Setelah waktu berakhir, pekerjaan Scheduled SQL tidak lagi menghasilkan instance. Rentang Waktu Penjadwalan adalah bidang __time__. Untuk informasi lebih lanjut, lihat Bidang cadangan.
      SQL Time Window	Jendela waktu log yang dianalisis saat pekerjaan Scheduled SQL berjalan. Parameter ini harus dikonfigurasikan bersama dengan parameter Rentang Waktu Penjadwalan. Durasi yang ditentukan oleh parameter ini bisa mencapai lima kali durasi yang ditentukan oleh Specify Scheduling Interval. Waktu mulai dan akhir jendela waktu SQL harus berada dalam 24 jam. Untuk informasi lebih lanjut, lihat Sintaks ekspresi waktu. Sebagai contoh, Specify Scheduling Interval diatur ke Fixed Interval 10 Minutes, Start Time diatur ke 2021-04-01 00:00:00, Delay Task diatur ke 30 Seconds, dan SQL Time Window diatur ke [@m-10m,@m). Dalam contoh ini, instance pertama pekerjaan Scheduled SQL dihasilkan pada 00:00:30 untuk menganalisis log yang termasuk dalam rentang waktu [23:50:00 hingga 00:00:00). Untuk informasi lebih lanjut, lihat Skenario penjadwalan dan pelaksanaan. Catatan Jendela Waktu SQL adalah bidang __time__. Untuk informasi lebih lanjut, lihat Bidang cadangan. Jika __time__ tidak didefinisikan dalam kode SQL, waktu log __time__ yang ditulis ke metricstore tujuan secara default adalah waktu mulai pekerjaan SQL terjadwal.
      SQL Timeout	Ambang batas ulang otomatis jika operasi analisis SQL gagal. Jika sebuah instance diulang selama periode yang melebihi waktu maksimum yang Anda tentukan atau jumlah percobaan ulang untuk sebuah instance melebihi batas atas yang Anda tentukan, instance tersebut berhenti mencoba dan memasuki status GAGAL. Anda dapat mencoba ulang instance secara manual berdasarkan penyebab kegagalan. Untuk informasi lebih lanjut, lihat Coba ulang instance SQL terjadwal.
      Delay Task	Jumlah detik penundaan instance dari waktu yang dijadwalkan. Nilai valid: 0 hingga 120. Satuan: detik. Jika ada latensi saat data ditulis ke metricstore tujuan, Anda dapat menggunakan parameter ini untuk memastikan integritas data.

      Setelah pekerjaan Scheduled SQL dibuat, Anda dapat melihat hasil eksekusi SQL di metricstore tujuan.

Contoh SDK

Buat Tugas Scheduled SQL