Simple Log Service:Proses dan simpan data dari satu Metricstore ke Metricstore lainnya

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Pada bagian Proyek, klik proyek yang ingin Anda kelola.

   

3. Pada tab Metric Storage > Metricstores, klik metricstore yang ingin Anda kelola.

4. Lakukan operasi kueri dan analisis.

   1. Di pojok kanan atas halaman, klik 15 Minutes(Relative) untuk menentukan rentang waktu kueri.

   2. Masukkan pernyataan PromQL dan klik Execute Now.

      Untuk informasi lebih lanjut, lihat Kueri dan Analisis Data Metrik.

   Catatan

   Langkah ini memungkinkan Anda melihat pratinjau data sebelum membuat tugas Scheduled SQL. Anda dapat memeriksa apakah pernyataan kueri yang dimasukkan valid dan apakah hasil kueri dan analisis berisi data.

5. Pilih More > Save as Scheduled SQL Job.

   

6. Buat tugas Scheduled SQL.

   1. Pada langkah Compute Settings, konfigurasikan parameter dan klik Next. Tabel berikut menjelaskan parameter tersebut.

      Parameter	Deskripsi
      Job Name	Nama tugas Scheduled SQL.
      Display Name	Nama tampilan tugas Scheduled SQL.
      Job Description	Deskripsi tugas Scheduled SQL.
      Resource Pool	Kolam sumber daya yang digunakan untuk analisis data. Simple Log Service menyediakan jenis kolam sumber daya yang ditingkatkan. Jenis kolam sumber daya yang ditingkatkan menggunakan kemampuan komputasi dari Dedicated SQL. Jenis kolam sumber daya yang ditingkatkan dapat memenuhi persyaratan analisis konkuren dan mengisolasi sumber daya antara Scheduled SQL dan operasi analisis SQL Anda di konsol. Anda dikenakan biaya untuk jenis kolam sumber daya yang ditingkatkan berdasarkan waktu CPU yang digunakan oleh operasi analisis SQL Anda. Untuk informasi lebih lanjut, lihat Dedicated SQL: Solusi optimalisasi kueri log skala triliun.
      Write Mode	Pilih Import Data from Metricstore to Metricstore. Tugas Scheduled SQL memproses data dalam Metricstore sumber dan menyimpan data yang telah diproses ke Metricstore tujuan.
      SQL Code	Pernyataan kueri. Secara default, sistem menampilkan pernyataan yang Anda masukkan di Langkah 4. Operasi pratinjau yang disediakan untuk parameter ini memiliki efek yang sama dengan operasi pratinjau di Langkah 4. Anda dapat mengklik Pratinjau untuk memeriksa apakah pernyataan kueri valid dan apakah hasil kueri dan analisis berisi data. Saat tugas Scheduled SQL berjalan, Simple Log Service mengeksekusi pernyataan kueri untuk menganalisis data. Penting Kami merekomendasikan Anda menggunakan fungsi promql_query untuk mengimpor data metrik titik waktu saat ini ke Metricstore tujuan. Jika Anda menggunakan fungsi promql_query_range, sejumlah besar data akan berkembang.
      SQL Settings
      Result Metric Name	Nama baru dari metrik yang Anda pilih untuk analisis. Jika Anda ingin mengubah nama metrik, Anda dapat menentukan nama baru untuk metrik dalam parameter ini. Untuk informasi lebih lanjut, lihat Metrik. Penting Jika Anda memilih satu metrik untuk analisis, kami merekomendasikan Anda mengonfigurasi parameter ini untuk mengganti nama metrik. Jika Anda memilih beberapa metrik untuk analisis dan Anda mengonfigurasi parameter ini, semua metrik akan diganti namanya dengan nama yang Anda tentukan.
      Rehash	Menentukan apakah penghashan diaktifkan. Jika Anda mengaktifkan Rehash, Anda dapat mengonfigurasi parameter Hash Column untuk menulis data dengan label yang sama ke satu shard. Ini meningkatkan lokalitas data dan efisiensi kueri. Nilai valid dari parameter Hash Column bervariasi berdasarkan informasi label yang ada dari metrik Anda. Misalnya, jika informasi label yang ada dari metrik Anda adalah {"alert_id":"alert-1608815762-545495","alert_name":"Alert clearance disabled","status":"inactive"}, nilai valid dari parameter Hash Column adalah alert_id, alert_name, dan status. Jika Anda mengatur Hash Column ke status, metrik yang memiliki nilai yang sama untuk status akan ditulis ke shard yang sama.
      Additional Labels	Label statis yang digunakan untuk mengidentifikasi atribut metrik. Setiap label adalah pasangan kunci-nilai. Sebagai contoh, Anda dapat mengatur label_key ke app dan label_value ke ingress-nginx.
      Target
      Target Region	Wilayah tempat proyek tujuan berada.
      Target Project	Nama proyek tujuan yang menyimpan hasil dari pernyataan kueri.
      Target Store	Nama Metricstore tujuan yang menyimpan hasil dari pernyataan kueri.
      Write Authorization	Metode yang digunakan untuk memberi otorisasi tugas Scheduled SQL untuk menulis data ke Metricstore tujuan. Nilai valid: Default Role: Tugas Scheduled SQL mengasumsikan peran sistem AliyunLogETLRole untuk menulis hasil analisis ke Metricstore tujuan. Penting Pertama kali Anda membuat tugas Scheduled SQL, otorisasi diperlukan dan harus diselesaikan menggunakan akun Alibaba Cloud yang memiliki proyek tujuan. Anda tidak perlu melakukan otorisasi saat membuat tugas Scheduled SQL berikutnya. Custom Role: Tugas Scheduled SQL mengasumsikan peran kustom untuk menulis hasil analisis ke Metricstore tujuan. Anda harus memberikan peran kustom izin untuk menulis data ke Metricstore tujuan. Kemudian, masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Berikan peran RAM izin untuk menulis data ke logstore tujuan.
      SQL Execution Authorization	Metode yang digunakan untuk memberi otorisasi tugas Scheduled SQL untuk membaca data dari Metricstore sumber dan menganalisis data menggunakan pernyataan kueri dalam proyek saat ini. Nilai valid: Default Role: Tugas Scheduled SQL mengasumsikan peran sistem AliyunLogETLRole untuk melakukan operasi yang diperlukan. Penting Pertama kali Anda membuat tugas Scheduled SQL, otorisasi diperlukan dan harus diselesaikan menggunakan akun Alibaba Cloud yang memiliki proyek tujuan. Anda tidak perlu melakukan otorisasi saat membuat tugas Scheduled SQL berikutnya. Custom Role: Tugas Scheduled SQL mengasumsikan peran kustom untuk melakukan operasi yang diperlukan. Anda harus memberikan peran kustom izin yang diperlukan. Kemudian, masukkan ARN dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Berikan peran-a izin untuk menganalisis data dalam logstore sumber.

   2. Pada langkah Scheduling Settings, konfigurasikan parameter berikut dan klik OK.

      Parameter	Deskripsi
      Specify Scheduling Interval	Frekuensi penjadwalan tugas Scheduled SQL. Sebuah instance dihasilkan setiap kali tugas Scheduled SQL dijadwalkan. Parameter ini menentukan waktu penjadwalan untuk setiap instance. Nilai valid: Hourly: Tugas SQL terjadwal dijadwalkan setiap jam. Daily: Tugas SQL terjadwal dijadwalkan pada waktu tetap setiap hari. Weekly: Tugas SQL terjadwal dijadwalkan pada waktu tetap pada hari tertentu setiap minggu. Fixed Interval: Tugas SQL terjadwal dijadwalkan pada interval tetap. Cron: Tugas SQL terjadwal dijadwalkan pada interval yang ditentukan menggunakan ekspresi cron. Jika Anda menggunakan ekspresi cron, interval yang ditentukan akurat hingga menit berdasarkan jam 24-jam. Misalnya, ekspresi 0 0/1 * * * menunjukkan bahwa tugas SQL terjadwal dijadwalkan setiap jam mulai pukul 00:00. Jika Anda perlu menentukan zona waktu, pilih Cron. Untuk daftar zona waktu umum, lihat Zona Waktu.
      Scheduling Time Range	Rentang waktu selama tugas Scheduled SQL dijadwalkan. Nilai valid: Start at a specified time: menentukan waktu ketika tugas SQL terjadwal pertama kali dijadwalkan. Within Specific Period: menentukan rentang waktu di mana tugas SQL terjadwal dijadwalkan. Catatan Jika Anda menentukan rentang waktu, instance tugas Scheduled SQL hanya dapat berjalan dalam rentang waktu tersebut. Setelah waktu berakhir, tugas Scheduled SQL tidak lagi menghasilkan instance. Rentang Waktu Penjadwalan adalah bidang __time__. Untuk informasi lebih lanjut, lihat Bidang yang dicadangkan.
      SQL Time Window	Jendela waktu log yang dianalisis saat tugas Scheduled SQL berjalan. Parameter ini harus dikonfigurasi bersama dengan parameter Rentang Waktu Penjadwalan. Durasi yang ditentukan oleh parameter ini bisa mencapai lima kali durasi yang ditentukan oleh Specify Scheduling Interval. Waktu mulai dan akhir jendela waktu SQL harus berada dalam 24 jam. Untuk informasi lebih lanjut, lihat Sintaks ekspresi waktu. Sebagai contoh, Specify Scheduling Interval diatur ke Fixed Interval 10 Minutes, Start Time diatur ke 2021-04-01 00:00:00, Delay Task diatur ke 30 Seconds, dan SQL Time Window diatur ke [@m-10m,@m). Dalam contoh ini, instance pertama dari tugas Scheduled SQL dihasilkan pada 00:00:30 untuk menganalisis log yang termasuk dalam rentang waktu [23:50:00 hingga 00:00:00). Untuk informasi lebih lanjut, lihat Skenario penjadwalan dan pelaksanaan. Catatan Jendela Waktu SQL adalah bidang __time__. Untuk informasi lebih lanjut, lihat Bidang yang dicadangkan. Jika __time__ tidak didefinisikan dalam kode SQL, waktu log __time__ yang ditulis ke metricstore tujuan secara default adalah waktu mulai tugas SQL terjadwal.
      SQL Timeout	Ambang batas ulang otomatis jika operasi analisis SQL gagal. Jika sebuah instance diulang selama periode yang melebihi waktu maksimum yang Anda tentukan atau jumlah percobaan ulang untuk sebuah instance melebihi batas atas yang Anda tentukan, instance berhenti mencoba dan masuk ke status GAGAL. Anda dapat mencoba ulang instance secara manual berdasarkan penyebab kegagalan. Untuk informasi lebih lanjut, lihat Coba ulang instance SQL terjadwal.
      Delay Task	Jumlah detik penundaan instance dari waktu yang dijadwalkan. Nilai valid: 0 hingga 120. Unit: detik. Jika ada latensi saat data ditulis ke metricstore tujuan, Anda dapat menggunakan parameter ini untuk memastikan integritas data.

      Setelah tugas Scheduled SQL dibuat, Anda dapat melihat hasil eksekusi SQL di metricstore tujuan.

Contoh SDK

Buat Tugas Scheduled SQL