Dedicated SQL untuk analisis log berkinerja tinggi pada skala besar - Simple Log Service

SQL Standar dapat mengembalikan hasil yang tidak lengkap untuk volume data besar. Dedicated SQL menambahkan sumber daya komputasi untuk meningkatkan kinerja kueri tunggal dan menaikkan batas volume data.

Mengapa menggunakan Dedicated SQL

Batasan kueri standar

Kueri standar memiliki batasan berikut untuk data skala besar:

Hasil tidak akurat: Batasan sumber daya (time slice, I/O, dan volume data) dapat mencegah pemuatan data secara penuh, sehingga memengaruhi akurasi statistik.
Hambatan kinerja: Satu shard hanya mendukung 400 MB data, membatasi analisis log tingkat TB dan skenario konkurensi tinggi.
Persaingan sumber daya: Sumber daya dibagi oleh beberapa penyewa, menyebabkan contention.

Nilai inti Dedicated SQL

Mode Ditingkatkan: Performa tinggi dan konkurensi tinggi

Mode Enhanced ditujukan untuk kinerja real-time dan konkurensi tinggi:

Kinerja: Satu node memproses hingga 2 GB data dengan hingga 100 kueri konkuren.
Skalabilitas elastis: Sumber daya penyimpanan dan komputasi diskalakan secara dinamis sesuai kebutuhan.
Skenario khas: Peringatan tingkat keberhasilan API, Pemantauan waktu nyata, dan kueri titik konkurensi tinggi.

Mode Full precision

Mode Full Precision ditujukan untuk skenario yang memerlukan hasil eksak:

Jaminan bebas error: Memastikan data dimuat sepenuhnya dengan menukar waktu demi sumber daya.
Sumber daya khusus: Menjamin operasi stabil hingga tugas selesai atau terjadi timeout.
Skenario khas: Rekonsiliasi finansial, audit keamanan, analisis periode sangat panjang, dan analisis tren skala besar.

Penting

Waktu eksekusi maksimum untuk kueri SQL adalah 55 detik, dan konkurensi maksimum adalah 5.

Aspek	Enhanced Mode	Full Precision Mode
Tujuan utama	Akselerasi kinerja	Akurasi hasil
Kebijakan resource	Kolam sumber daya bersama dan skalabilitas elastis	Kolam sumber daya khusus dan pertukaran waktu demi akurasi
Skenario khas	Pemantauan waktu nyata dan analisis konkurensi tinggi	Skenario analisis ketat, seperti rekonsiliasi finansial, audit keamanan, analisis periode sangat panjang, dan analisis tren skala besar.
Toleransi akurasi	Error terbatas diperbolehkan	Tidak boleh ada error

Cara kerja Dedicated SQL

SQL enhancement

Data dalam Simple Log Service disimpan dalam shard. Setiap shard memiliki kapasitas pemrosesan terbatas — jika volume data terlalu besar, kueri mungkin terpotong. Menambahkan shard meningkatkan throughput tetapi hanya untuk data baru, serta meningkatkan klien real-time consumption. SQL enhancement secara dinamis menskalakan sumber daya komputasi untuk meningkatkan analisis. Skenario khas:

Analisis data real-time yang memerlukan analisis berkinerja tinggi.
Analisis periode panjang, seperti analisis data bulanan.
Analisis skala besar ratusan miliar baris.
Analisis konkurensi tinggi (lebih dari 15 kueri SQL konkuren), seperti laporan multi-dimensi dan kueri titik.

SQL complete accuracy

Saat melakukan analisis skala besar, pemuatan data dapat terganggu oleh:

Time slice habis: Sumber daya waktu yang dialokasikan habis.
Ambang batas volume data: Total data yang dimuat melebihi batas.
Ambang batas jumlah baris: Jumlah baris yang dimuat melebihi batas.
Ambang batas I/O: Pembacaan disk melebihi batas.

Gangguan ini dapat menyebabkan pemuatan data tidak lengkap, sehingga memengaruhi akurasi hasil. SQL complete accuracy mengatasi masalah tersebut. Skenario khas:

Pemantauan dan peringatan bisnis: Pemantauan kritis memerlukan hasil analisis yang akurat.
Analisis operasional bisnis: Analisis metrik kunci yang melibatkan pendapatan, keuangan, retensi, dan konversi.
Layanan data online: Melayani pengguna eksternal dengan hasil SQL yang harus sepenuhnya akurat.

Informasi penagihan

Biaya dihitung berdasarkan waktu CPU aktual yang digunakan untuk analisis SQL. Satuannya adalah core-hour, yang merepresentasikan pekerjaan yang dilakukan oleh satu core CPU selama satu jam. Untuk informasi lebih lanjut, lihat contoh penagihan Dedicated SQL.

Pay-as-you-go: Biaya Dedicated SQL = Waktu CPU (jam) × Harga satuan per jam
Paket sumber daya: Penggunaan dikonversi menjadi Cost Unit (CU) dan dipotong dari paket prabayar Anda.

Batasan

Batas	Instans Tujuan Umum	Dedicated SQL
Batas	Instans Tujuan Umum	SQL Enhancement	Full Precision
Konkurensi	Hingga 15 kueri konkuren per Proyek.	Hingga 100 kueri konkuren per Proyek.	Hingga 5 kueri konkuren per Proyek.
Volume data	Hingga 400 MB per kueri (tidak termasuk data cache). Data yang melebihi akan terpotong dengan penanda incomplete query result.	Hingga 2 GB per kueri (tidak termasuk data cache). Data yang melebihi akan terpotong dengan penanda incomplete query result.	Tanpa Batas.
Mengaktifkan mode	Diaktifkan secara default.	Aktifkan melalui toggle. SQL enhancement.	Aktifkan melalui toggle. SQL complete accuracy.
Biaya	Gratis.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.	Dikenakan biaya berdasarkan waktu CPU aktual yang digunakan.
Efektivitas data	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.	Hanya berlaku untuk data yang ditulis setelah fitur diaktifkan. Untuk menganalisis data historis, Anda harus melakukan reindex.
Mengembalikan hasil	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.	Secara default, kueri mengembalikan hingga 100 baris dan 100 MB. Kueri yang melebihi 100 MB mengembalikan error. Untuk mengembalikan lebih banyak data, gunakan klausa LIMIT.
Ukuran nilai bidang	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan Pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Create an index.	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan Pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Create an index.	Panjang maksimum nilai bidang default adalah 2 KB (2.048 byte), dapat dikonfigurasi hingga 16 KB (16.384 byte). Konten yang melebihi batas tidak termasuk dalam analisis dan Pengambilan. Catatan Untuk mengubah batas, atur Maximum Length of Text Field. Pengaturan yang diperbarui hanya berlaku untuk data inkremental. Create an index.
Panjang pernyataan kueri	Parameter query pada API `GetLogs` dibatasi hingga 65.536 byte (64 KB). Kueri yang melebihi batas ini mengembalikan error `ParameterInvalid`: "The length of query cannot be greater than 65536". Pisahkan kueri panjang menjadi beberapa kueri yang lebih pendek dan jalankan secara Batch. Batasan ini berlaku baik untuk instans tujuan umum maupun Dedicated SQL.
Periode timeout	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.	Timeout maksimum: 55 detik.
Jumlah bit untuk nilai bidang bertipe double	Maksimum 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan Presisi.	Maksimum 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan Presisi.	Maksimum 52 bit untuk nilai bidang bertipe double. Bilangan floating-point yang dikodekan dengan lebih dari 52 bit kehilangan Presisi.