Dedicated SQL for high-performance log analysis at scale - Simple Log Service

Neden Özel SQL kullanmalısınız?

Standart sorguların sınırlamaları

Standart sorgular, büyük ölçekli verilerde aşağıdaki sınırlamalara sahiptir:

Hatalı sonuçlar: Kaynak sınırları (zaman dilimleri, G/Ç ve veri hacmi), verilerin tamamen yüklenmesini engelleyerek istatistiksel doğruluğu etkileyebilir.
Performans darboğazları: Tek bir parça yalnızca 400 MB veriyi destekler; bu durum TB düzeyindeki günlük analizlerini ve yüksek eşzamanlılık senaryolarını kısıtlar.
Kaynak rekabeti: Birden çok kiracı kaynağı paylaşır ve bu durum kaynak çekişmesine neden olur.

Özel SQL'in temel değerleri

Geliştirilmiş mod: Yüksek performans ve yüksek eşzamanlılık

Geliştirilmiş mod, gerçek zamanlı performans ve yüksek eşzamanlılık gereksinimlerine odaklanır:

Performans: Tek bir düğüm, en fazla 100 eşzamanlı sorguyla birlikte 2 GB'a kadar veriyi işler.
Esnek ölçeklendirme: Depolama ve hesaplama kaynakları ihtiyaç duyulduğunda dinamik olarak ölçeklendirilir.
Tipik senaryolar: API başarı oranı uyarıları, gerçek zamanlı izleme ve yüksek eşzamanlı nokta sorguları.

Tam hassasiyet modu

Tam hassasiyet modu, kesin sonuçların gerekli olduğu senaryolara yöneliktir:

Sıfır hata garantisi: Zaman karşılığında kaynak kullanarak verilerin tamamen yüklenmesini sağlar.
Ayrılmış kaynaklar: Görev tamamlanana veya zaman aşımına uğrayana kadar kararlı çalışmayı garanti eder.
Tipik senaryolar: Finansal mutabakat, güvenlik denetimleri, ultra uzun dönem analizleri ve büyük ölçekli trend analizleri.

Önemli

Bir SQL sorgusunun maksimum çalışma süresi 55 saniye, maksimum eşzamanlılık sayısı ise 5'tir.

Yön	Geliştirilmiş mod	Tam hassasiyet modu
Temel amaç	Performans hızlandırma	Sonuç doğruluğu
Kaynak ilkesi	Paylaşılan kaynak havuzu ve esnek ölçeklendirme	Ayrılmış kaynak havuzu ve doğruluk için zaman takası
Tipik senaryolar	Gerçek zamanlı izleme ve yüksek eşzamanlılık analizi	Finansal mutabakat, güvenlik denetimleri, ultra uzun dönem analizleri ve büyük ölçekli trend analizleri gibi titiz analiz senaryoları.
Hata toleransı	Sınırlı hatalara izin verilir	Sıfır hata gereklidir

Özel SQL nasıl çalışır?

SQL geliştirme

Simple Log Service içindeki veriler parça larda saklanır. Her parçanın sınırlı işleme kapasitesi vardır; veri hacmi çok büyük olduğunda sorgular kesilebilir. Parça sayısını artırmak aktarım hızını iyileştirir ancak yalnızca yeni veriler için geçerlidir ve gerçek zamanlı tüketim istemcilerini artırır. SQL geliştirme özelliği, analizi iyileştirmek amacıyla hesaplama kaynaklarını dinamik olarak ölçeklendirir. Tipik senaryolar şunlardır:

Yüksek performanslı analiz gerektiren gerçek zamanlı veri analitiği.
Aylık veri analitiği gibi uzun dönemli analizler.
Yüz milyarlarca satırın büyük ölçekli analizi.
Yüksek eşzamanlılık analizi (15'ten fazla eşzamanlı SQL sorgusu); örneğin çok boyutlu raporlar ve nokta sorguları.

SQL tam doğruluğu

Büyük ölçekli analizler sırasında veri yüklemesi şu nedenlerle kesintiye uğrayabilir:

Zaman dilimi tükenmesi: Ayrılan zaman kaynakları biter.
Veri hacmi eşiği: Toplam yüklenen veri limiti aşar.
Satır sayısı eşiği: Yüklenen satır sayısı limiti aşar.
G/Ç eşiği: Disk okuma işlemleri limiti aşar.

Bu kesintiler eksik veri yüklemesine neden olarak sonuçların doğruluğunu etkileyebilir. SQL tam doğruluğu özelliği bu sorunları çözer. Tipik senaryolar şunlardır:

İş izleme ve uyarı: Kritik izleme için doğru analiz sonuçları gerekir.
İş operasyonları analizi: Gelir, finans, elde tutma ve dönüşüm içeren temel ölçüm analizleri.
Çevrimiçi veri hizmetleri: Tamamen doğru olması gereken SQL sonuçlarının harici kullanıcılara sunulması.

Faturalandırma bilgileri

Ücretler, SQL analizi için kullanılan gerçek CPU zamanına göre hesaplanır. Birim, bir CPU çekirdeğinin bir saat boyunca çalışarak yaptığı işi temsil eden çekirdek-saattir. Daha fazla bilgi için bkz. Özel SQL faturalandırma örnekleri.

Kullandıkça öde: Özel SQL ücreti = CPU süresi (saat) × Saatlik birim fiyat
Kaynak planı: Kullanım Maliyet Birimlerine (CU) dönüştürülür ve peşin ödeme planınızdan düşülür.

Sınırlamalar

Sınır	Genel Amaçlı Örnek	Özel SQL
Sınır	Genel Amaçlı Örnek	SQL geliştirme	Tam Hassasiyet
Eşzamanlılık	Proje başına en fazla 15 eşzamanlı sorgu.	Proje başına en fazla 100 eşzamanlı sorgu.	Proje başına en fazla 5 eşzamanlı sorgu.
Veri hacmi	Sorgu başına en fazla 400 MB (önbelleğe alınmış veriler hariç). Aşan veriler eksik sorgu sonucu işaretçisi ile kesilir.	Sorgu başına en fazla 2 GB (önbelleğe alınmış veriler hariç). Aşan veriler eksik sorgu sonucu işaretçisi ile kesilir.	Sınırsız.
Modun etkinleştirilmesi	Varsayılan olarak etkindir.	Anahtar üzerinden etkinleştirin. SQL geliştirme.	Anahtar üzerinden etkinleştirin. SQL tam doğruluğu.
Ücret	Ücretsiz.	Kullanılan gerçek CPU zamanına göre ücretlendirilir.	Kullanılan gerçek CPU zamanına göre ücretlendirilir.
Veri geçerliliği	Yalnızca özellik etkinleştirildikten sonra yazılan verilere uygulanır. Geçmiş verileri analiz etmek için verileri yeniden dizine almanız gerekir.	Yalnızca özellik etkinleştirildikten sonra yazılan verilere uygulanır. Geçmiş verileri analiz etmek için verileri yeniden dizine almanız gerekir.	Yalnızca özellik etkinleştirildikten sonra yazılan verilere uygulanır. Geçmiş verileri analiz etmek için verileri yeniden dizine almanız gerekir.
Dönen sonuçlar	Varsayılan olarak bir sorgu en fazla 100 satır ve 100 MB veri döndürür. 100 MB'ı aşan sorgular hata döndürür. Daha fazla veri döndürmek için LIMIT yan tümcesini kullanın.	Varsayılan olarak bir sorgu en fazla 100 satır ve 100 MB veri döndürür. 100 MB'ı aşan sorgular hata döndürür. Daha fazla veri döndürmek için LIMIT yan tümcesini kullanın.	Varsayılan olarak bir sorgu en fazla 100 satır ve 100 MB veri döndürür. 100 MB'ı aşan sorgular hata döndürür. Daha fazla veri döndürmek için LIMIT yan tümcesini kullanın.
Alan değeri boyutu	Varsayılan maksimum alan değeri uzunluğu 2 KB'dir (2.048 bayt), 16 KB'a (16.384 bayt) kadar yapılandırılabilir. Limiti aşan içerik analiz ve erişim dışında bırakılır. Not Limiti değiştirmek için Maximum Length of Text Field ayarını yapın. Güncellenen ayar yalnızca artımlı veriler için geçerlidir. Dizin oluşturun.	Varsayılan maksimum alan değeri uzunluğu 2 KB'dir (2.048 bayt), 16 KB'a (16.384 bayt) kadar yapılandırılabilir. Limiti aşan içerik analiz ve erişim dışında bırakılır. Not Limiti değiştirmek için Maximum Length of Text Field ayarını yapın. Güncellenen ayar yalnızca artımlı veriler için geçerlidir. Dizin oluşturun.	Varsayılan maksimum alan değeri uzunluğu 2 KB'dir (2.048 bayt), 16 KB'a (16.384 bayt) kadar yapılandırılabilir. Limiti aşan içerik analiz ve erişim dışında bırakılır. Not Limiti değiştirmek için Maximum Length of Text Field ayarını yapın. Güncellenen ayar yalnızca artımlı veriler için geçerlidir. Dizin oluşturun.
Sorgu deyimi uzunluğu	`GetLogs` API'sinin sorgu parametresi 65.536 bayt (64 KB) ile sınırlıdır. Bu limiti aşan sorgular `ParameterInvalid` hatası döndürür: "The length of query cannot be greater than 65536". Uzun sorguları daha kısa parçalara bölün ve toplu iş halinde çalıştırın. Bu sınır hem genel amaçlı örnekler hem de Özel SQL için geçerlidir.
Zaman aşımı süresi	Maksimum zaman aşımı: 55 saniye.	Maksimum zaman aşımı: 55 saniye.	Maksimum zaman aşımı: 55 saniye.
Double türündeki alan değerleri için bit sayısı	Double türündeki alan değerleri için maksimum 52 bit. 52 bitten fazla ile kodlanan kayan noktalı sayılar hassasiyet kaybına uğrar.	Double türündeki alan değerleri için maksimum 52 bit. 52 bitten fazla ile kodlanan kayan noktalı sayılar hassasiyet kaybına uğrar.	Double türündeki alan değerleri için maksimum 52 bit. 52 bitten fazla ile kodlanan kayan noktalı sayılar hassasiyet kaybına uğrar.