创建从LogStore到LogStore的定时SQL任务 - Simple Log Service

Anda dapat menggunakan fitur Scheduled SQL untuk menganalisis data secara berkala, menyimpan hasil agregasi, serta melakukan proyeksi dan penyaringan data. Topik ini menjelaskan cara membuat tugas Scheduled SQL di Simple Log Service guna memproses data dari Logstore sumber dan menuliskannya ke Logstore tujuan.

Penting

Fitur Scheduled SQL sedang dalam pratinjau publik dan tidak dikenai biaya. Setelah masa pratinjau publik berakhir, Anda akan dikenai biaya atas resource komputasi dari pool SQL eksklusif. Untuk informasi lebih lanjut mengenai harga, lihat Pay-by-feature.

Prasyarat

Persiapkan Logstore sumber.

Buat proyek Simple Log Service dan Logstore standar, lalu selesaikan pengumpulan data dan pengindeksan. Untuk informasi selengkapnya, lihat Manage a project, Create a standard Logstore, Data collection overview, dan Create an index.

Persiapkan Logstore tujuan.

Di Akun Alibaba Cloud tempat Anda ingin menyimpan hasil tugas Scheduled SQL, buat proyek Simple Log Service dan Logstore standar, lalu aktifkan pengindeksan.

Prosedur

Masuk ke Log Service console untuk proyek yang berisi source Logstore. Gunakan Akun Alibaba Cloud (akun utama) atau pengguna RAM dengan izin untuk membuat tugas Scheduled SQL.
Di bagian Projects, klik proyek yang berisi source Logstore.
Di panel navigasi kiri, klik Log Storage. Di daftar Logstore, klik Logstore yang ingin Anda analisis. Logstore ini berfungsi sebagai source Logstore untuk tugas Scheduled SQL.
Masukkan pernyataan kueri dan analisis, lalu klik Last 15 Minutes untuk menetapkan rentang waktu bagi kueri dan analisis tersebut.

Catatan
Langkah ini memungkinkan Anda melihat pratinjau tugas Scheduled SQL guna memverifikasi pernyataan kueri dan analisis serta memastikan bahwa pernyataan tersebut mengembalikan data.
Di tab Graph, klik Save as Scheduled SQL Job.

Buat tugas Scheduled SQL.

Di wizard Compute Settings, konfigurasikan parameter dan klik Next.

Parameter

Deskripsi

Task Name

Nama unik untuk tugas Scheduled SQL. Anda dapat menggunakan nama default.

Write Mode

Pilih Import Data from Logstore to Logstore. Opsi ini menjalankan tugas Scheduled SQL untuk memproses data dari Logstore sumber dan menuliskan hasilnya ke Logstore tujuan.

SQL Code

Pernyataan kueri dan analisis dari Langkah 4 ditampilkan.
Anda juga dapat menentukan pernyataan baru. Setelah memasukkan pernyataan tersebut, pilih rentang waktu dan klik Preview untuk mengonfirmasi hasilnya.

Saat tugas Scheduled SQL dijalankan, Simple Log Service mengeksekusi pernyataan tersebut untuk menganalisis data.

Target

Peringatan

Jangan mengonfigurasi store tujuan sebagai store sumber saat ini (konfigurasi sumber yang sama). Jika tidak, log dapat ditulis secara berulang-ulang, sehingga menimbulkan biaya tambahan untuk penyimpanan dan traffic. Anda bertanggung jawab atas konsumsi resource dan biaya yang timbul.

Akun yang sama

Parameter	Deskripsi
Destination Region	Pilih wilayah untuk Destination Project.
Destination Project	Pilih Destination Project dari daftar drop-down.
Target Store	Pilih destination Logstore dari daftar drop-down.
Write Authorization	Tugas Scheduled SQL mengasumsikan Default Role atau Custom Role untuk menulis data ke destination Logstore. Anda harus memilih salah satu peran ini. Default Role: Peran ini memberikan izin untuk melakukan analisis SQL pada Logstore sumber atau MetricStore sumber dan menuliskan hasilnya ke Logstore tujuan atau MetricStore tujuan. Untuk informasi selengkapnya, lihat Create a Scheduled SQL task by using a default role. Custom Role: Anda dapat membuat peran kustom dan kebijakan kustom untuk menerapkan kontrol akses detail halus. Untuk informasi selengkapnya, lihat Grant a custom RAM role the permissions to write data to a destination Logstore.

Lintas akun

Parameter	Deskripsi
Destination Region	Pilih wilayah lain dan setujui Data Cross-border Compliance Commitment.
Destination Project	Masukkan nama destination project, misalnya, `test-project`.
Target Store	Masukkan nama destination Logstore, misalnya, `test-logstore`.
Write Authorization	Pilih Custom Role. Untuk informasi selengkapnya, lihat Grant a custom RAM role the permissions to write data to a destination Logstore.

SQL Execution Authorization

Tugas Scheduled SQL mengasumsikan Default Role atau Custom Role untuk mengkueri dan menganalisis data di source Logstore. Anda harus memilih salah satu peran ini.

Default Role: Peran ini memberikan izin untuk melakukan analisis SQL pada Logstore sumber atau MetricStore sumber dan menuliskan hasilnya ke Logstore tujuan atau MetricStore tujuan. Untuk informasi selengkapnya, lihat Create a Scheduled SQL task by using a default role.
Custom Role: Anda dapat membuat peran kustom dan kebijakan kustom untuk menerapkan kontrol akses detail halus. Untuk informasi selengkapnya, lihat Grant a custom RAM role the permissions to analyze data in a source Logstore.

Di wizard Scheduling Settings, konfigurasikan parameter dan klik OK.

Parameter	Deskripsi
Scheduling Interval	Frekuensi eksekusi tugas Scheduled SQL. Setiap eksekusi menghasilkan satu instans. Interval penjadwalan menentukan waktu terjadwal setiap instans. Fixed Interval: Tugas dijadwalkan dengan interval tetap. Cron: Menjadwalkan tugas berdasarkan ekspresi Cron. Ekspresi Cron menggunakan format 24 jam dengan presisi minimum 1 menit. Misalnya, `0 0/1 * * ` menjalankan tugas setiap jam, dimulai pukul 00:00. Untuk mengonfigurasi zona waktu, Anda harus memilih mode Cron*. Daftar zona waktu umum tersedia di Time zone formats.
Scheduling Time Range	Rentang waktu untuk menjadwalkan tugas. Nilai yang valid: From Specific Time: Waktu pertama kali instans dijadwalkan untuk dijalankan. Specific Time Range: Waktu mulai dan akhir untuk menjadwalkan instans. Tugas Scheduled SQL hanya dijalankan dalam rentang waktu ini. Catatan Waktu terjadwal suatu instans harus berada dalam rentang ini. Jika waktunya di luar rentang tersebut, sistem tidak akan menghasilkan instans baru. Rentang waktu penjadwalan berkorespondensi dengan `__time__`. Untuk informasi selengkapnya, lihat Reserved fields.
SQL Time Window	Saat tugas Scheduled SQL dijalankan, hanya log dalam jendela waktu ini yang dianalisis. Jendela waktu SQL bekerja bersama interval penjadwalan. Jendela waktu tidak boleh lebih dari 5 kali Scheduling Interval dan tidak boleh melebihi satu hari. Untuk informasi selengkapnya, lihat Time expression syntax. Sebagai contoh, jika Scheduling Interval adalah interval tetap 10 menit, Start At adalah `2021-04-01 00:00:00`, Delay Task adalah 30 detik, dan SQL Time Window adalah `[@m-10m,@m)`, sistem akan menghasilkan instans eksekusi pertama pada pukul 00:00:30 dan menganalisis log dalam rentang waktu `[23:50:00~00:00:00)`. Untuk informasi selengkapnya, lihat Scheduling and execution scenarios. Catatan Jendela waktu SQL berkorespondensi dengan `__time__`. Untuk informasi selengkapnya, lihat Reserved fields. Jika Anda tidak menentukan bidang `__time__` dalam kode SQL, bidang `__time__` dari log yang ditulis ke Logstore tujuan akan menggunakan waktu mulai jendela penjadwalan secara default.
SQL Timeout	Ambang batas untuk percobaan ulang otomatis ketika operasi analisis SQL gagal. Jika durasi percobaan ulang melebihi waktu maksimum yang ditentukan atau jumlah percobaan ulang melebihi jumlah maksimum, instans eksekusi akan gagal. Anda dapat mencoba ulang secara manual instans yang gagal berdasarkan penyebab kegagalannya. Untuk informasi selengkapnya, lihat Retry a Scheduled SQL task instance.
Delay Task	Penundaan antara waktu terjadwal dan waktu pelaksanaan tugas. Nilai yang valid: 0 hingga 120 detik. Jika data ditulis ke Logstore dengan penundaan, Anda dapat mengonfigurasi parameter ini untuk memastikan integritas data.

Setelah membuat tugas Scheduled SQL, Anda dapat melihatnya di bagian Job Management > Scheduled SQL. Untuk informasi selengkapnya, lihat Manage Scheduled SQL tasks.

Contoh SDK

Create a Scheduled SQL task