Database Autonomy Service (DAS) Auto Scaling, veritabanı örneklerinin gerçek zamanlı performans verilerini izleyerek trafik anormalliklerini tespit eder ve depolama, hesaplama teknik özellikleri ile bant genişliğini manuel müdahale gerektirmeden otomatik olarak ölçeklendirir.
Auto Scaling ne zaman kullanılır?
DAS Auto Scaling, talebin öngörülemez veya değişken olduğu iş yükleri için tasarlanmıştır. Aşağıdaki tablo, Auto Scaling ile manuel kapasite yönetimini karşılaştırır.
| Auto Scaling | Manuel yönetim | |
|---|---|---|
| Trafik deseni | Öngörülemeyen ani yükselmeler, periyodik yoğunluklar veya aralıklı yüksek yük | Kararlı, öngörülebilir iş yükleri |
| Ölçeklendirme eylemi | Eşiklere veya makine öğrenimi tabanlı tahminlere göre otomatik tetikleme | Manuel teknik özellik değişiklikleri |
| Yanıt süresi | Gerçek zamanlı algılama ve ölçeklendirme | BT operasyonları yanıt hızına bağlıdır |
| Geri ölçeklendirme | Trafik normalleştiğinde otomatik geri alma | Manuel |
| En uygun kullanım alanı | Yeni ürün lansmanları, flaş satışlar, günlük giriş pikleri, viral etkinlikler | Bilinen, kararlı trafiğe sahip uzun süreli iş yükleri |
Nasıl çalışır?
DAS Auto Scaling, sırayla çalışan altı modülden oluşan kapalı döngü bir sistem kullanır:
Performans verisi toplama — Çalışan veritabanı örneklerinden gerçek zamanlı performans ölçümlerini, teknik özellik yapılandırmalarını ve oturum bilgilerini toplar.
Karar verme merkezi — Mevcut performans verilerini ve oturum listesini analiz ederek uygun eyleme karar verir: SQL kısıtlamayı etkinleştirin (yavaş sorgular kök neden olduğunda) veya ölçeklendirmeye devam edin (trafik gerçekten kapasiteyi aştığında).
Algoritma modeli — Çekirdek modül. İş trafiği üzerinde anormallik tespiti gerçekleştirir ve kapasite teknik özellikleri önerileri oluşturur.
Teknik özellik önerisi ve doğrulama — Önerilen teknik özelliklerin örneğin dağıtım türü, çalışma ortamı ve mevcut bölgedeki kullanılabilir teknik özelliklerle eşleştiğini doğrular.
Yönetim — Teknik özellik değişikliklerini dağıtır ve uygular.
Durum takibi — Teknik özellik değişikliklerinden önceki ve sonraki performansı ölçerek sonuçları değerlendirir.
Özellikler
DAS Auto Scaling üç ölçeklendirme yeteneği sağlar.
Otomatik depolama genişletme
Otomatik depolama genişletme, disk kapasitesi limite ulaşmadan önce genişleterek diskin dolmasını önler.
Tetikleme koşulları:
Aşağıdaki koşullardan biri gerçekleştiğinde depolama genişletme tetiklenir:
Disk kullanımı yapılandırılmış eşiği aşarsa (varsayılan: %90). Bu varsayılanı geçersiz kılmak için özel bir eşik yapılandırabilirsiniz.
Zaman serisi tahmin algoritması, geçmiş disk kullanım eğilimlerine dayanarak disk alanının yakın vadede tükeneceğini öngörürse.
Genişletme kuralları:
Her genişletme işlemi disk alanını en az 5 GB ve en fazla %15 oranında artırır.
Gönderilen bildirimler:
Teknik özellik önerileri — mevcut disk boyutunu ve önerilen genişletilmiş boyutu açıklar
Görev durumu — genişletmenin ilerlemesini ve sonucunu bildirir
Teknik özellikler için otomatik ölçeklendirme
Teknik özellikler için otomatik ölçeklendirme, trafik ani yükselmelerine yanıt olarak örnek teknik özelliklerini (CPU çekirdekleri ve bellek) otomatik olarak değiştirir ve trafik normalleştiğinde orijinal teknik özelliklere geri döner.
Ölçeklendirme kararı nasıl verilir:
Anormallik algılama modülü, gerçek trafik ani yükselmelerini belirlemek için QPS (saniye başına sorgu), TPS (saniye başına işlem), aktif oturumlar ve IOPS dahil olmak üzere birden çok performans ölçümünü aynı anda izler. Karar verme merkezi daha sonra uygun eylemi belirler:
Yavaş SQL sorguları görev kuyruğunu tıkıyorsa, ölçeklendirmek yerine acil durum önlemi olarak SQL kısıtlama uygulanır.
Gerçek iş trafiği mevcut kapasiteyi aşarsa, ölçeklendirme süreci devam eder.
Yatay ölçeklendirme vs. dikey ölçeklendirme:
| Yöntem | Ne zaman uygulanır | Nasıl çalışır |
|---|---|---|
| Yatay ölçeklendirme (Scale-out) | Okuma yoğunluklu trafik | Okuma yükünü dağıtmak için salt okunur düğümler ekler |
| Dikey ölçeklendirme (Scale-up) | Yazma yoğunluklu trafik | Örnek teknik özelliklerini yükseltir; etkiyi en aza indirmek için önce ikincil düğümü yükseltir, ardından birincil/ikincil anahtar değiştirmesi gerçekleştirir |
Teknik özellik öneri algoritması, aşırı kaynak tahsisini ve gereksiz tekrarlanan değişiklikleri önlemek amacıyla eğitilmiş bir model ile mevcut ve geçmiş performans verilerini birleştirerek en uygun hedef teknik özellikleri önerir.
Geri alma:
Trafik anormalliği sona erdikten sonra, DAS gözlem penceresi içinde ölçümlerin normale döndüğünü algılar ve meta verilerde saklanan orijinal teknik özelliklere otomatik olarak geri döner.
Yapılandırılabilir parametreler:
Anilik düzeyi — anormallik algılamanın hassasiyeti
Trafik yükünün süresi — tetikleme ve geri alma için gözlem penceresi
Maksimum teknik özellikler — dikey ölçeklendirme için üst sınır
Ölçeklendirmeden sonra geri alınıp alınmayacağı
Otomatik bant genişliği ayarlama
Otomatik bant genişliği ayarlama, giden ve gelen trafik kullanımındaki anormallikleri algılar ve mevcut bant genişliği yetersiz kaldığında bant genişliği teknik özelliklerini yükseltir. Trafik normalleştiğinde, DAS orijinal bant genişliği teknik özelliklerine geri döner.
Desteklenen veritabanı motorları
| Özellik | Desteklenen veritabanı motorları |
|---|---|
| Teknik özellikler için otomatik ölçeklendirme | ApsaraDB RDS for MySQL Yüksek Kullanılabilirlik Sürümü (standart SSD'ler veya ESSD'ler); genel amaçlı ApsaraDB RDS for MySQL Yüksek Kullanılabilirlik Sürümü (yerel diskler); genel amaçlı ApsaraDB RDS for MySQL Enterprise Sürümü; PolarDB for MySQL Küme Sürümü; ApsaraDB for Redis Community Sürümü; bellek optimizasyonlu ApsaraDB for Redis Enhanced Sürümü (Tair) |
| Otomatik depolama genişletme | ApsaraDB RDS for MySQL Yüksek Kullanılabilirlik Sürümü (standart SSD'ler veya ESSD'ler); ApsaraDB RDS for MySQL Küme Sürümü; ApsaraDB RDS for PostgreSQL Yüksek Kullanılabilirlik Sürümü (standart SSD'ler veya ESSD'ler); ApsaraDB MyBase for MySQL Yüksek Kullanılabilirlik Sürümü (standart SSD'ler veya ESSD'ler); ApsaraDB MyBase for MySQL Yüksek Kullanılabilirlik Sürümü (yerel diskler) |
| Otomatik bant genişliği ayarlama | ApsaraDB for Redis (yerel diskler) |
Çekirdek teknolojiler
DAS Auto Scaling, Alibaba Cloud veritabanı ekibi tarafından geliştirilen beş temel teknoloji üzerine inşa edilmiştir:
Tüm ağda gerçek zamanlı izleme — Tüm ağdaki veritabanı örneklerinden saniyeler düzeyinde gecikme süresi ile performans verilerini toplar. Saniyede 10 milyondan fazla izleme ölçümünü gerçek zamanlı olarak işleyerek tüm ölçeklendirme kararları için veri temeli sağlar.
Birleşik yönetim görev akışları — Ölçeklendirme değişikliklerini güvenilir bir şekilde uygulamak üzere tüm Alibaba Cloud ağında BT operasyonlarını yürütür.
Zaman serisi anormallik algılama algoritması — Makine öğrenimini kullanarak periyodik algılama gerçekleştirir, dönüm noktalarını belirler ve sürekli anormallik aralıklarını tespit eder. 700.000'den fazla çevrimiçi veritabanı örneğini kapsar. Ertesi gün tahminleri için örneklerin %99'undan fazlasında tahmin hatası %5'in altındadır. 14 günlük tahminler için ise %94'ten fazlası aynı eşiği karşılar.
Derin öğrenme tabanlı yanıt süresi (RT) tahmin modeli — CPU kullanımı, mantıksal okumalar, fiziksel okumalar ve IOPS gibi performans ölçümlerine dayanarak veritabanı RT'sini tahmin eder. Bu model, Alibaba Cloud veritabanlarında buffer pool bellek kullanımını 27 TB azaltmıştır — bu, toplam belleğin yaklaşık %17'sine eşittir.
Yeni nesil PolarDB for MySQL — Hesaplama düğümlerinin depolama düğümlerinden ayrıldığı cloud mimarisi üzerine inşa edilmiş bir ilişkisel veritabanı. Bu ayrılık, veri çoğaltma ve depolamanın neden olduğu ek yükleri önleyerek Auto Scaling için güçlü teknik destek sağlar ve kullanıcı deneyimini önemli ölçüde iyileştirir.
Örnek
Aşağıdaki örnek, 15 dakikalık bir gözlem penceresi ve %80 CPU kullanımı eşiği ile yapılandırılmış bir ApsaraDB RDS for MySQL örneğinde DAS Auto Scaling'in iki ardışık trafik olayına nasıl yanıt verdiğini gösterir.
Olay 1 — 07:10: Bir trafik ani yükselmesi nedeniyle CPU kullanımı ve aktif oturumlar artar. CPU %80'e ulaşır. Trafik analizi iş yükünün okuma yoğunluklu olduğunu gösterdiğinden, DAS iki salt okunur düğüm ekler. CPU %60'a düşer ve örnek kararlı hale gelir.
Olay 2 — 09:00: İş hacmi arttıkça CPU yeniden yükselir. Trafik analizi iş yükünün artık yazma yoğunluklu olduğunu gösterdiğinden, DAS salt okunur düğümler eklemek yerine hesaplama teknik özelliklerini yükseltir. CPU %50'ye düşer ve örnek tekrar kararlı hale gelir.
Bu örnek, karar verme merkezinin tek tip bir yaklaşım yerine trafik özelliklerine göre uygun ölçeklendirme yöntemini nasıl seçtiğini göstermektedir.