Simple Log Service:Buat pekerjaan SQL terjadwal untuk mengimpor data Logstore ke Metricstore

Prosedur

1. Masuk ke Simple Log Service console.

2. Pada daftar Project, klik project yang dituju.

3. Pada tab Log Storage > Logstore, klik Logstore yang dituju.

4. Masukkan pernyataan kueri dan analisis, lalu klik Last 15 Minutes untuk menetapkan rentang waktu bagi kueri dan analisis.

   Untuk informasi selengkapnya, lihat Langkah 1: Konfigurasikan indeks.

   Catatan

   Gunakan langkah ini untuk melihat pratinjau pekerjaan Scheduled SQL dan memverifikasi bahwa pernyataan kueri dan analisis Anda valid serta mengembalikan data.

5. Pada tab Graph, klik Save as Scheduled SQL Job.

6. Buat pekerjaan Scheduled SQL.

   1. Pada wizard Compute Settings, konfigurasikan parameter berikut dan klik Next.

      Parameter	Deskripsi
      Task Name	Nama unik pekerjaan Scheduled SQL.
      Display Name	Nama tampilan pekerjaan Scheduled SQL.
      Job Description	Deskripsi pekerjaan Scheduled SQL.
      Resource Pool	Simple Log Service menyediakan kolam sumber daya tingkat lanjut untuk analisis data. Kolam sumber daya tingkat lanjut menggunakan kembali daya komputasi Dedicated SQL, menyediakan konkurensi yang cukup untuk analisis, dan mengisolasi sumber daya dari operasi analisis SQL Anda di konsol. Anda dikenai biaya untuk kolam sumber daya tingkat lanjut berdasarkan waktu CPU yang dikonsumsi oleh analisis SQL. Untuk informasi selengkapnya, lihat Kueri dan analisis berkinerja tinggi serta akurat (Dedicated SQL).
      Write Mode	Pilih Import Data from Logstore to Metricstore untuk memproses data dari Logstore sumber dan menyimpannya di Metricstore tujuan.
      SQL Code	Menampilkan pernyataan kueri dan analisis yang Anda masukkan pada Langkah 4. Anda dapat melihat pratinjau hasilnya untuk memverifikasi bahwa pernyataan tersebut valid dan mengembalikan data. Saat pekerjaan dijalankan, Simple Log Service mengeksekusi pernyataan ini untuk menganalisis data.
      SQL Settings
      Metric Column	Simple Log Service mengagregasi data berdasarkan pernyataan kueri dan analisis Anda. Anda dapat memilih satu atau beberapa kolom dengan nilai numerik dari hasil kueri dan analisis sebagai kolom metrik. Untuk informasi selengkapnya, lihat data deret waktu.
      Labels	Simple Log Service mengagregasi data berdasarkan pernyataan kueri dan analisis Anda. Anda dapat memilih satu atau beberapa kolom dari hasil kueri dan analisis sebagai label. Untuk informasi selengkapnya, lihat data deret waktu.
      Rehash	Mengaktifkan Rehash memungkinkan Anda mengonfigurasi Hash Column. Hal ini menulis data dengan nilai yang sama pada kolom hash ke satu shard, meningkatkan lokalitas data dan efisiensi kueri. Nilai Hash Column bergantung pada hasil kueri dan analisis. Anda dapat memilih satu atau beberapa kolom dari hasil kueri dan analisis untuk digunakan sebagai kolom hash. Misalnya, jika Anda menetapkan Hash Column ke status, data dengan nilai bidang status yang sama ditulis ke shard yang sama.
      Time Column	Jika Anda memilih kolom yang berisi timestamp Unix (misalnya, atime:1627025331), sistem menggunakan nilai-nilai tersebut sebagai timestamp untuk data deret waktu. Jika Anda memilih Null, sistem menggunakan waktu mulai dari rentang waktu kueri dan analisis sebagai timestamp data deret waktu. Untuk informasi selengkapnya, lihat data deret waktu.
      Additional Labels	Tambahkan label statis dalam pasangan kunci-nilai untuk mengidentifikasi atribut terkait metrik. Misalnya, atur label_key ke app dan label_value ke ingress-nginx.
      Source Project/Logstore	Menampilkan Project dan Logstore tempat data sumber berada.
      Target
      Destination Region	Wilayah tempat Project tujuan berada.
      Destination Project	Nama Project tujuan tempat hasil analisis SQL disimpan.
      Target Store	Nama Metricstore tujuan tempat hasil analisis SQL disimpan. Peringatan Jangan mengonfigurasi store tujuan sebagai store sumber saat ini (konfigurasi sumber yang sama). Jika tidak, log dapat ditulis secara berulang-ulang, sehingga menimbulkan biaya penyimpanan dan trafik tambahan. Anda bertanggung jawab atas konsumsi sumber daya dan biaya yang timbul.
      Write Authorization	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan Scheduled SQL agar dapat menulis data ke Metricstore tujuan. Default Role: Memberikan otorisasi kepada pekerjaan Scheduled SQL untuk menggunakan role sistem AliyunLogETLRole guna menulis hasil eksekusi ke Metricstore tujuan. Custom Role: Memberikan otorisasi kepada pekerjaan Scheduled SQL untuk menggunakan role kustom guna menulis hasil eksekusi ke Metricstore tujuan. Anda harus terlebih dahulu memberikan izin yang diperlukan kepada role RAM kustom, lalu memasukkan ARN-nya di bidang Role ARN. Untuk informasi selengkapnya, lihat Berikan role RAM kustom izin untuk menulis data ke Logstore tujuan.
      SQL Execution Authorization	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan Scheduled SQL agar dapat membaca data dari Logstore sumber dan menjalankan operasi analisis SQL di Project saat ini. Default Role: Memberikan otorisasi kepada pekerjaan Scheduled SQL untuk menggunakan role sistem AliyunLogETLRole guna melakukan operasi yang diperlukan. Custom Role: Memberikan otorisasi kepada pekerjaan Scheduled SQL untuk menggunakan role kustom guna melakukan operasi yang diperlukan. Anda harus terlebih dahulu memberikan izin yang diperlukan kepada role kustom, lalu memasukkan ARN-nya di bidang Role ARN. Untuk informasi selengkapnya, lihat Berikan role RAM kustom izin untuk menganalisis data di Logstore sumber.

   2. Pada wizard Scheduling Settings, konfigurasikan parameter berikut dan klik OK.

      Parameter	Deskripsi
      Scheduling Interval	Seberapa sering pekerjaan dijalankan. Setiap eksekusi terjadwal menghasilkan instans eksekusi, dan interval menentukan kapan setiap instans dijadwalkan. Fixed Interval: Menjadwalkan pekerjaan pada interval tetap. Cron: Menjadwalkan pekerjaan berdasarkan ekspresi cron. Persisi minimum untuk ekspresi cron adalah satu menit. Waktu menggunakan format 24 jam. Misalnya, 0 0/1 * * * menunjukkan bahwa pekerjaan dijalankan setiap jam, dimulai dari pukul 00.00. Pilih Cron jika Anda perlu mengonfigurasi zona waktu. Untuk daftar zona waktu umum, lihat Format zona waktu.
      Scheduling Time Range	Rentang waktu selama pekerjaan dijadwalkan. Opsi berikut tersedia: From Specific Time: Tentukan waktu mulai untuk instans eksekusi pertama. Specific Time Range: Tentukan waktu mulai dan akhir untuk penjadwalan. Pekerjaan hanya dapat dieksekusi dalam rentang waktu ini. Catatan Waktu terjadwal instans eksekusi harus berada dalam rentang ini. Pekerjaan berhenti menghasilkan instans baru jika waktu terjadwal berada di luar rentang ini. Rentang waktu penjadwalan berkorespondensi dengan bidang terbatas __time__. Untuk informasi selengkapnya, lihat Bidang terbatas.
      SQL Time Window	Rentang waktu log yang akan dianalisis saat pekerjaan Scheduled SQL dijalankan. Jendela waktu SQL bekerja bersamaan dengan waktu terjadwal instans eksekusi. Rentang waktu tidak boleh lebih dari lima kali Scheduling Interval dan tidak boleh melebihi satu hari. Untuk informasi selengkapnya, lihat Sintaks ekspresi waktu. Misalnya, jika Scheduling Interval adalah fixed interval of 10 minutes, Start At adalah 2021-04-01 00:00:00, Delay Task adalah 30 seconds, dan SQL Time Window adalah [@m-10m,@m), instans eksekusi pertama dihasilkan pada pukul 00:00:30. Instans tersebut menganalisis log dari rentang waktu [23:50:00, 00:00:00). Untuk informasi selengkapnya, lihat Skenario penjadwalan dan eksekusi. Catatan Jendela waktu SQL berkorespondensi dengan bidang terbatas __time__. Untuk informasi selengkapnya, lihat Bidang terbatas. Jika __time__ tidak didefinisikan dalam kode SQL, __time__ dari data yang ditulis ke Metricstore tujuan secara default menggunakan waktu mulai jendela waktu SQL.
      SQL Timeout	Timeout untuk mencoba ulang operasi analisis SQL yang gagal. Jika suatu operasi gagal, sistem akan mencoba ulang secara otomatis. Instans berhenti dan statusnya berubah menjadi Failed jika jumlah percobaan ulang melebihi timeout ini atau jumlah maksimum percobaan ulang. Anda kemudian dapat mencoba ulang instans secara manual berdasarkan penyebab kegagalannya. Untuk informasi selengkapnya, lihat Coba ulang instans pekerjaan Scheduled SQL.
      Delay Task	Waktu penundaan eksekusi setelah waktu terjadwal, dalam satuan detik. Nilainya harus berupa bilangan bulat antara 0 hingga 120. Gunakan penundaan eksekusi untuk memastikan kelengkapan data ketika ingesti data ke Metricstore tertunda.

      Setelah Anda membuat pekerjaan Scheduled SQL, Anda dapat melihat hasil eksekusinya di Metricstore tujuan.

Contoh SDK

Buat pekerjaan Scheduled SQL