Simple Log Service:Impor data antar MetricStore menggunakan Scheduled SQL

Prosedur

1. Masuk ke Simple Log Service console.

2. Pada bagian Projects, klik proyek target.

   

3. Pada tab Metric Storage > Metricstores, klik MetricStore target.

4. Kueri dan analisis data.

   1. Di pojok kanan atas, klik 15 Minutes (Relative) untuk menetapkan rentang waktu kueri Anda.

   2. Masukkan pernyataan PromQL dan klik Execute Now.

      Untuk informasi selengkapnya, lihat Query and analyze time series data.

   Catatan

   Langkah ini memungkinkan Anda melihat pratinjau hasil kueri sebelum membuat pekerjaan Scheduled SQL. Anda dapat memverifikasi bahwa pernyataan kueri Anda valid dan mengembalikan data yang diharapkan.

5. Pilih More > Save as Scheduled SQL Job.

   

6. Buat pekerjaan Scheduled SQL.

   1. Pada wizard Compute Settings, konfigurasikan parameter berikut lalu klik Next.

      Parameter	Description
      Task Name	Nama unik pekerjaan Scheduled SQL.
      Display Name	Nama tampilan pekerjaan Scheduled SQL.
      Job Description	Deskripsi pekerjaan Scheduled SQL.
      Resource Pool	Simple Log Service menyediakan kolam sumber daya yang ditingkatkan untuk analisis data. Kolam sumber daya ini menggunakan kembali daya komputasi dari kolam sumber daya SQL eksklusif, menyediakan konkurensi yang cukup untuk analisis, serta mengisolasi sumber daya dari operasi analisis SQL Anda di konsol. Anda dikenai biaya untuk kolam sumber daya yang ditingkatkan berdasarkan waktu CPU yang dikonsumsi oleh analisis SQL. Untuk informasi selengkapnya, lihat High-performance and high-accuracy query and analysis (exclusive SQL).
      Write Mode	Pilih Import Data from Metricstore to Metricstore untuk memproses data dari MetricStore sumber dengan pekerjaan Scheduled SQL dan menuliskan hasilnya ke MetricStore target.
      SQL Code	Menampilkan pernyataan kueri dan analisis yang Anda masukkan pada Langkah 4. Operasi pratinjau ini sama seperti pada Langkah 4 dan digunakan untuk memverifikasi bahwa pernyataan kueri dan analisis Anda benar serta eksekusi mengembalikan data. Saat pekerjaan Scheduled SQL dijalankan, Simple Log Service mengeksekusi pernyataan ini untuk menganalisis data. Penting Saat mengimpor metrik ke MetricStore, kami merekomendasikan agar Anda hanya mengimpor nilai metrik untuk titik waktu saat ini pada setiap eksekusi. Untuk melakukan hal ini, gunakan fungsi promql_query. Fungsi promql_query_range dapat menyebabkan inflasi data yang signifikan.
      SQL Settings
      Result Metric Name	Jika Anda ingin mengganti nama metrik yang sedang dianalisis, masukkan nama baru. Untuk informasi selengkapnya, lihat Time series data (Metric). Penting Kami merekomendasikan agar Anda hanya menggunakan parameter ini untuk mengganti nama metrik ketika menganalisis satu metrik saja. Jika Anda menganalisis beberapa metrik, parameter ini akan mengganti nama semuanya menjadi nama yang sama.
      Rehash	Aktifkan Rehash dan konfigurasikan Hash Column untuk menuliskan data yang memiliki nilai label yang sama ke satu shard. Hal ini meningkatkan lokalitas data dan performa kueri. Nilai yang tersedia untuk Hash Column bergantung pada label yang sudah ada pada data deret waktu Anda. Misalnya, jika labelnya adalah {"alert_id":"alert-1608815762-545495","alert_name":"Alert recovery closed","status":"inactive"}, nilai yang tersedia untuk Hash Column adalah alert_id, alert_name, dan status. Jika Anda menetapkan Hash Column ke status, data dengan nilai yang sama untuk label status akan dituliskan ke shard yang sama.
      Additional Labels	Tambahkan label statis sebagai pasangan kunci-nilai untuk mengidentifikasi atribut suatu metrik. Misalnya, tetapkan label_key ke app dan label_value ke ingress-nginx.
      Target
      Destination Region	Wilayah tempat proyek target berada.
      Destination Project	Nama proyek target yang menyimpan hasil analisis SQL.
      Target Store	Nama MetricStore target yang menyimpan hasil analisis SQL. Peringatan Jangan mengonfigurasi store tujuan sebagai store sumber saat ini (konfigurasi sumber yang sama). Jika tidak, log dapat dituliskan secara berulang-ulang, sehingga menimbulkan biaya penyimpanan dan trafik tambahan. Anda bertanggung jawab atas konsumsi sumber daya dan biaya yang timbul.
      Write Authorization	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan Scheduled SQL agar dapat menuliskan data ke MetricStore target. Default Role: Pekerjaan Scheduled SQL mengasumsikan role sistem Default Role untuk menuliskan hasil ke MetricStore target. Penting Akun Alibaba Cloud yang memiliki proyek target harus memberikan otorisasi ini. Anda hanya perlu memberikan otorisasi ini untuk pekerjaan pertama yang Anda buat. Custom Role: Pekerjaan Scheduled SQL mengasumsikan role kustom untuk menuliskan hasil ke MetricStore target. Anda harus terlebih dahulu memberikan izin kepada role kustom tersebut untuk menuliskan data ke MetricStore target. Kemudian, pada bidang Role ARN, masukkan ARN dari role kustom tersebut. Untuk informasi selengkapnya, lihat Grant a custom RAM role the permissions to write data to a destination Logstore.
      SQL Execution Authorization	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan Scheduled SQL agar dapat membaca data dari MetricStore sumber dan melakukan analisis SQL di proyek saat ini. Default Role: Pekerjaan Scheduled SQL mengasumsikan role sistem Default Role untuk melakukan operasi yang diperlukan. Penting Akun Alibaba Cloud yang memiliki proyek target harus memberikan otorisasi ini. Anda hanya perlu memberikan otorisasi ini untuk pekerjaan pertama yang Anda buat. Custom Role: Pekerjaan Scheduled SQL mengasumsikan role kustom untuk melakukan operasi yang diperlukan. Anda harus memberikan izin yang diperlukan kepada role kustom tersebut. Kemudian, pada bidang Role ARN, masukkan ARN dari role kustom tersebut. Untuk informasi selengkapnya, lihat Grant a custom RAM role the permissions to analyze data in a source Logstore.

   2. Pada wizard Scheduling Settings, konfigurasikan parameter berikut lalu klik OK.

      Parameter	Description
      Scheduling Interval	Frekuensi eksekusi pekerjaan Scheduled SQL. Setiap eksekusi menghasilkan satu instans pekerjaan. Fixed Interval: Menjalankan pekerjaan pada interval tetap. Cron: Tentukan ekspresi cron untuk menjalankan pekerjaan. Persisi minimum adalah 1 menit. Format menggunakan jam 24 jam. Misalnya, 0 0/1 * * * menjalankan pekerjaan sekali setiap jam, dimulai pukul 00:00. Saat Anda perlu mengonfigurasi zona waktu, Anda harus memilih mode Cron. Untuk daftar zona waktu umum, lihat Time zone formats.
      Scheduling Time Range	Rentang waktu selama pekerjaan dijalankan. From Specific Time: Menentukan waktu mulai untuk instans pekerjaan pertama. Specific Time Range: Menentukan waktu mulai dan akhir. Pekerjaan hanya dieksekusi dalam rentang waktu ini. Catatan Waktu terjadwal suatu instans harus berada dalam rentang ini. Pekerjaan berhenti menghasilkan instans baru setelah waktu akhir. Rentang waktu penjadwalan mengacu pada bidang __time__. Untuk informasi selengkapnya, lihat Reserved fields.
      SQL Time Window	Rentang waktu data yang dianalisis dalam setiap eksekusi. Pengaturan ini bekerja bersama waktu terjadwal instans. Rentang waktu tidak boleh lebih dari 5 kali Scheduling Interval dan tidak boleh melebihi 1 hari. Untuk informasi selengkapnya, lihat Time expression syntax. Misalnya, jika Scheduling Interval adalah fixed interval of 10 minutes, Start At adalah 2021-04-01 00:00:00, Delay Task adalah 30 seconds, dan SQL Time Window adalah [@m-10m,@m), instans eksekusi pertama dihasilkan pada pukul 00:00:30 dan menganalisis data dalam rentang waktu [23:50:00, 00:00:00). Untuk informasi selengkapnya, lihat Scheduling and execution scenarios. Catatan Rentang waktu SQL mengacu pada bidang __time__. Untuk informasi selengkapnya, lihat Reserved fields. Jika bidang __time__ tidak didefinisikan dalam kode SQL, nilai __time__ yang dituliskan ke MetricStore target secara default adalah waktu mulai rentang waktu untuk eksekusi tersebut.
      SQL Timeout	Parameter ini menentukan timeout untuk analisis SQL. Jika terjadi kegagalan, pekerjaan akan mencoba ulang secara otomatis hingga timeout terlampaui atau jumlah percobaan ulang maksimum tercapai, yang menyebabkan instans eksekusi gagal. Anda dapat mencoba ulang secara manual instans yang gagal setelah mengidentifikasi penyebabnya. Untuk informasi selengkapnya, lihat Retry a failed instance of a Scheduled SQL job.
      Delay Task	Penundaan setelah waktu terjadwal. Nilai yang valid: 0 hingga 120. Satuan: detik. Gunakan pengaturan ini untuk mengimbangi keterlambatan ingesti data dan memastikan kelengkapan data.

      Setelah Anda membuat pekerjaan Scheduled SQL, Anda dapat melihat hasil eksekusi di MetricStore target.

Contoh SDK

Create a Scheduled SQL job