Dedicated SQL untuk analisis log berkinerja tinggi berskala besar - Simple Log Service

SQL Standar dapat mengembalikan hasil yang tidak lengkap untuk volume data besar. Dedicated SQL menambahkan sumber daya komputasi untuk meningkatkan performa kueri tunggal dan menaikkan batas volume data.

Mengapa menggunakan Dedicated SQL

Batasan kueri standar

Kueri standar memiliki batasan berikut untuk data berskala besar:

Hasil tidak akurat: Batasan sumber daya (time slice, I/O, dan volume data) dapat mencegah pemuatan data secara penuh, sehingga memengaruhi akurasi statistik.
Hambatan performa: Satu shard hanya mendukung 400 MB data, membatasi analisis log tingkat TB dan skenario konkurensi tinggi.
Persaingan sumber daya: Beberapa tenant berbagi sumber daya, menyebabkan contention.

Nilai inti Dedicated SQL

Mode Ditingkatkan: Performa tinggi dan konkurensi tinggi

Mode Enhanced ditujukan untuk performa real-time dan konkurensi tinggi:

Performa: Satu node memproses hingga 2 GB data dengan hingga 100 kueri konkuren.
Skalabilitas elastis: Sumber daya penyimpanan dan komputasi diskalakan secara dinamis sesuai kebutuhan.
Skenario khas: Peringatan tingkat keberhasilan API, pemantauan waktu nyata, dan kueri titik berkonkurensi tinggi.

Mode Full precision

Mode Full Precision ditujukan untuk skenario yang memerlukan hasil eksak:

Jaminan bebas error: Memastikan data dimuat sepenuhnya dengan menukar waktu demi sumber daya.
Sumber daya khusus: Menjamin operasi stabil hingga tugas selesai atau terjadi timeout.
Skenario khas: Rekonsiliasi finansial, audit keamanan, analisis periode sangat panjang, dan analisis tren berskala besar.

Penting

Waktu eksekusi maksimum untuk kueri SQL adalah 55 detik, dan konkurensi maksimum adalah 5.

Aspek	Enhanced Mode	Mode Full precision
Tujuan utama	Akselerasi performa	Akurasi hasil
Kebijakan resource	Kolam sumber daya bersama dan skalabilitas elastis	Kolam sumber daya khusus dan pertukaran waktu demi akurasi
Skenario khas	Pemantauan waktu nyata dan analisis berkonkurensi tinggi	Skenario analisis ketat, seperti rekonsiliasi finansial, audit keamanan, analisis periode sangat panjang, dan analisis tren berskala besar.
Toleransi akurasi	Galat terbatas diperbolehkan	Tidak boleh ada galat

Cara kerja Dedicated SQL

SQL enhancement

Data dalam Simple Log Service disimpan dalam shard. Setiap shard memiliki kapasitas pemrosesan terbatas — jika volume data terlalu besar, kueri mungkin terpotong. Menambahkan shard meningkatkan throughput tetapi hanya untuk data baru, serta meningkatkan klien real-time consumption. SQL enhancement menskalakan sumber daya komputasi secara dinamis untuk meningkatkan analisis. Skenario khas:

Analitik data real-time yang memerlukan analisis berkinerja tinggi.
Analisis periode panjang, seperti analitik data bulanan.
Analisis berskala besar ratusan miliar baris.
Analisis berkonkurensi tinggi (lebih dari 15 kueri SQL konkuren), seperti laporan multi-dimensi dan kueri titik.

SQL complete accuracy

Saat melakukan analitik berskala besar, pemuatan data dapat terganggu oleh:

Habisnya time slice: Sumber daya waktu yang dialokasikan habis.
Ambang batas volume data: Total data yang dimuat melebihi batas.
Ambang batas jumlah baris: Jumlah baris yang dimuat melebihi batas.
Ambang batas I/O: Pembacaan disk melebihi batas.

Gangguan ini dapat menyebabkan pemuatan data tidak lengkap, sehingga memengaruhi akurasi hasil. SQL complete accuracy mengatasi masalah tersebut. Skenario khas:

Pemantauan dan peringatan bisnis: Pemantauan kritis memerlukan hasil analisis yang akurat.
Analisis operasional bisnis: Analisis metrik kunci yang melibatkan pendapatan, keuangan, retensi, dan konversi.
Layanan data online: Melayani pengguna eksternal dengan hasil SQL yang harus sepenuhnya akurat.

Informasi penagihan

Ditagih berdasarkan waktu CPU yang digunakan untuk analisis SQL, diukur dalam core-hour. Satu core-hour merepresentasikan penggunaan eksklusif satu core CPU selama satu jam. Untuk informasi lebih lanjut, lihat contoh penagihan Dedicated SQL.

Pay-as-you-go: Biaya Dedicated SQL = Waktu CPU (jam) × Harga satuan per jam
Paket sumber daya: Prepaid Plan, di mana penggunaan dikonversi dan dipotong dalam Cost Unit (CU).

Batasan

Batasan	Instans Tujuan Umum	Dedicated SQL
Batasan	Instans Tujuan Umum	SQL Enhancement	Full Precision
Konkurensi	Hingga 15 kueri konkuren per proyek.	Hingga 100 kueri konkuren per proyek.	Hingga 5 kueri konkuren per proyek.
Volume data	Hingga 400 MB per kueri (tidak termasuk data cache). Data berlebih dipotong dengan penanda incomplete query result.	Hingga 2 GB per kueri (tidak termasuk data cache). Data berlebih dipotong dengan penanda incomplete query result.	Tanpa Batas.
Pengaktifan mode	Diaktifkan secara default.	Aktifkan melalui toggle. SQL enhancement.	Aktifkan melalui toggle. SQL complete accuracy.
Biaya	Gratis.	Ditagih berdasarkan waktu CPU aktual yang digunakan.	Ditagih berdasarkan waktu CPU aktual yang digunakan.
Efektivitas data	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.
Hasil pengembalian	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.
Ukuran nilai field	Panjang maksimum nilai field default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.	Panjang maksimum nilai field default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.	Panjang maksimum nilai field default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Buat indeks.
Periode timeout	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.
Jumlah bit untuk nilai field bertipe double	Maksimum 52 bit untuk nilai field bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.	Maksimum 52 bit untuk nilai field bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.	Maksimum 52 bit untuk nilai field bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan presisi.