Realtime Compute for Apache Flink:İş kaynaklarını yapılandırma

Kaynak gereksinimlerini hesaplamak için aşağıdaki formülleri kullanabilirsiniz:

• CU Sayısı = MAKS(JobManager ve TaskManager'lar için Toplam CPU, JobManager ve TaskManager'lar için Toplam Bellek / 4)

• Gerçek TaskManager sayısı = tavan(Paralellik / TaskManager Başına Yuva)

• TaskManager başına gerçek yuva sayısı = Paralellik / Gerçek TaskManager sayısı

Örneğin, paralelliği 12 ve TaskManager başına yuva sayısını 4 olarak ayarladığınızı varsayalım.

Bu örnekte Job Manager CPU 2 çekirdek, JobManager Belleği 4 GiB, Task Manager CPU 2 çekirdek ve TaskManager Belleği 4 GiB'dir.

Realtime Compute for Apache Flink konsolunda gerçek TaskManager sayısı 3'tür ve her TaskManager'ın 4 yuvası vardır.

Gerçek TaskManager sayısı ve TaskManager başına yuva sayısı aşağıdaki gibi hesaplanır:

1. Gerçek TaskManager sayısı = tavan(Yapılandırılan paralellik / Yapılandırılan TaskManager başına yuva) = tavan(12 / 4) = 3.

2. TaskManager başına gerçek yuva sayısı = Paralellik / Gerçek TaskManager sayısı = 12 / 3 = 4.

Temel kaynakları yapılandırma

Yuva kaynaklarını yapılandırma

1. Expert alanında kaynak planı grafiğini getirmek için Get Plan Now seçeneğine tıklayın.

2. Bir yuva kutusundaki Düzenle simgesine tıklayın. Oluşturulan kaynak planı grafiği, her biri VERTEX operatör bilgileri ve bir PARALLELISM değeri içeren birden çok slot kutusu görüntüler.

3. Yuva yapılandırmasını değiştirin. İletişim kutusunda CPU, Heap Memory, Off-Heap Memory ve parallelism parametrelerini yapılandırabilirsiniz.

   Burada ayarladığınız paralellik, bu Slot Paylaşım Grubu içindeki tüm operatörlere uygulanır. Yapılandırmayı kaydettikten sonra sistem otomatik olarak:

   • Bu Slot Paylaşım Grubundaki tüm operatörler için aynı paralelliği ayarlar.

   • İşin hesaplama mantığına göre durum arka ucu, Python ve operatörler için gereken belleği ayırır. Bu tahsis otomatiktir.

   Not

   • Bir Source düğümü için bölme sayısıyla orantılı bir paralellik ayarlamanız önerilir. Diğer bir deyişle, paralellik bölme sayısının bir böleni olmalıdır. Örneğin, bir Kafka konusunun 16 bölmesi varsa veri eğriliğini önlemek için paralelliği 16, 8 veya 4 olarak ayarlayın.

   • Bir Source düğümünün paralelliğini çok düşük ayarlamak bir darboğaza neden olabilir çünkü tek bir Source çok fazla veri okuyarak iş aktarım hızını düşürebilir.

   • Diğer düğümler için veri trafiğine göre paralelliği ayarlayın ve daha fazla trafiği olan düğümlere daha yüksek paralellik atayın.

   Not

   Uzman modda, yuva yapılandırma iletişim kutusu manuel yapılandırma için CPU, Heap Memory ve Off-Heap Memory seçeneklerini sunar. JVM Ek Yükü, ağ arabellekleri ve çerçeve belleği dahil diğer bellek bileşenleri, varsayılan oranlarında sistem tarafından otomatik olarak ayrılır. Bu bileşenler, TaskManager başladığında önceden ayrılır ve iş yürütme sırasında dinamik olarak ayarlanmaz.

   Bu otomatik olarak ayrılan bileşenlerden kaynaklanan yetersiz bellek hatalarıyla karşılaşırsanız Running Parameters Configuration altındaki Other Configurations alanında aşağıdaki parametreleri yapılandırın:

   • taskmanager.memory.jvm-overhead.fraction: Toplam TaskManager belleğinin bir kesri olarak JVM Ek Yükü boyutu. Varsayılan: 0.1 (%10).

   • taskmanager.memory.jvm-overhead.max: JVM Ek Yükü için maksimum boyut.

   • taskmanager.memory.jvm-overhead.min: JVM Ek Yükü için minimum boyut.

4. OK seçeneğine tıklayın.

Operatör kaynaklarını yapılandırma

Varsayılan olarak tüm operatörler tek bir Slot Paylaşım Grubunu paylaşır; bu da kaynaklarını ayrı ayrı yapılandırmanızı engeller. Belirli bir operatör için kaynakları yapılandırmak üzere Multiple SSG özelliğini etkinleştirin. Bu özellik, her operatöre bağımsız bir yuva atayarak kaynaklarını o yuvada yapılandırmanıza olanak tanır.

1. Configuration sekmesinde, Resources bölümündeki Edit seçeneğine tıklayın ve Mode değerini Expert olarak ayarlayın.

2. (İsteğe bağlı) Kaynak planı görüntülenmiyorsa Get Plan Now seçeneğine tıklayın.

   Varsayılan olarak, oluşturulan kaynak planı grafiği tüm operatörleri tek bir slot kutusu içinde gösterir.

3. Multiple SSG anahtarını açın ve ardından Re-fetch seçeneğine tıklayın.

   Bu işlem, paylaşım grubundaki operatörleri bireysel yuvalara böler.

4. Hedef operatöre karşılık gelen yuva kutusundaki Düzenle simgesine tıklayın ve ardından operatör kaynaklarını değiştirin.

   Modify slot iletişim kutusunda CPU, Heap Memory, Off-Heap Memory ve parallelism parametrelerini yapılandırabilirsiniz.

5. OK seçeneğine tıklayın.

Operatör paralelliği, zincirleme stratejisi ve Durum Son Kullanma Süresi Ayarları

Tek tek operatörler için paralellik, zincirleme stratejisi ve State Expiration Time Settings yapılandırabilirsiniz.

1. Hedef VERTEX kutusundaki Genişlet simgesine tıklayın.

   Genişletmeden sonra VERTEX kutusu her operatör düğümünü, PARALLELISM değerini ve her operatörün yanındaki bir Düzenle simgesini görüntüler.

   Not

   Bir VERTEX üzerindeki Düzenle simgesine tıklayarak o VERTEX içindeki tüm operatörlerin paralelliğini toplu olarak ayarlayabilirsiniz.

2. Operatör için Düzenle simgesine tıklayın.

3. Operatör kaynaklarını yapılandırın.

   Aşağıdaki tabloda parametreler açıklanmaktadır.

   Parametre	Açıklama
   Paralellik	Operatör için paralellik.
   Zincirleme stratejisi	Zincirleme, birden çok operatörü tek bir görevde birleştirerek veri aktarımını ve serileştirme ek yükünü azaltıp performansı iyileştirir. Ancak, yürütme akışı üzerinde daha hassas kontrol sağlamak için bir zinciri kırabilirsiniz. Aşağıdaki stratejiler kullanılabilir: ALWAYS (Varsayılan): Operatör her zaman upstream ve downstream operatörlerle zincirlenebilir. HEAD: Geçerli operatör bir zincirin başı olarak hareket eder. Upstream operatörlerle zincirlenmez ancak downstream operatörlerle zincirlenmeye devam eder. NEVER: Geçerli operatör herhangi bir upstream veya downstream operatörle zincirlenmez.
   State Expiration Time Settings	Son kullanma süresini saniye, dakika, saat veya gün cinsinden ayarlayabilirsiniz. Varsayılan olarak operatör, işin durum son kullanma süresini devralır; bu süre varsayılan olarak 1,5 gündür. İş düzeyindeki son kullanma süresini yapılandırmak için bkz. Çalışma parametrelerini yapılandırma. Not Bu özellik yalnızca Ververica Runtime (VVR) 8.0.7 ve sonraki sürümlerde desteklenir. TTL yapılandırması yalnızca durum bilgisi tutan operatörler için desteklenir. Durum sona erme, yaklaşık bir temizleme mekanizmasıdır. Sistem, TTL süresi dolduktan sonra süresi dolmuş durumun hemen kaldırılacağını garanti etmez. Gerçek temizleme süresi, arka plandaki duruma erişim kalıplarına ve temizleme ilkelerine bağlıdır.

4. OK seçeneğine tıklayın.

Paralelliği ayarlamak aynı sayıda CU tüketmek anlamına mı gelir?

Hayır. Paralellik, bir işte çalışan eşzamanlı görevlerin sayısını ifade eder. CU (Compute Unit), Realtime Compute for Apache Flink tarafından kullanılan faturalandırma ve kaynak birimidir. Bunlar 1:1 ilişki içinde değildir.

Toplam CU tüketimi aşağıdaki formülle hesaplanır:

Toplam CU tüketimi = Paralellik × Görev başına CU

Her görevin tükettiği CU, iş için yapılandırılan yuva başına kaynak teknik özelliklerine göre belirlenir. Paralelliği artırmak toplam CU tüketimini artırır ancak artış, görev başına CU teknik özelliklerine orantılıdır; basit bir 1:1 oranı değildir.

SQL işlerinde SET 'parallelism.default' neden etkili olmuyor?

SQL iş deyimlerinde doğrudan SET 'parallelism.default' = 'N'; kullanımı Realtime Compute for Apache Flink'te etkili değildir. Paralelliği yapılandırmak için aşağıdaki yöntemlerden birini kullanın:

1. İlgili SQL deyiminin WITH yan tümcesinde paralelliği ayarlayın.

2. O&M > Deployments sayfasındaki kaynak yapılandırma düzenleme arayüzünde paralelliği değiştirin.

Print Sink veya Join operatörü yetersiz kaynağa veya düşük performansa neden olduğunda ne yapmalıyım?

Uygun eylem belirli semptoma bağlıdır:

• Print Sink, TaskManager kaynak kıtlığına neden oluyor — Bu sorun yalnızca parametre ayarıyla çözülemez. Gerçek veri hacmine göre kaynak gereksinimlerinizi değerlendirin, kaynak tablo alan türlerinin doğru tanımlandığından emin olun (örneğin, uygun olduğunda STRING yerine BIGINT kullanın) ve Print Sink'in hata ayıklama ek yükünü desteklemek için yeterli TaskManager kaynağı ayırın.

• Düşük bellek kullanımına rağmen Join performansı kötü — CU sayısını artırın. Ancak temel neden veri eğriliğiyse daha fazla kaynak eklemek sorunu çözmeyebilir. Önce veri eğriliği sorununu çözün, ardından ek kaynağa ihtiyaç olup olmadığını değerlendirin.

• İş sık sık yeniden başlıyor ve uçtan uca gecikme süresi yüksek — İş, durumsuz bir yeniden başlatmanın ardından tam durum senkronizasyon aşamasındaysa yuva sayısını 1'e ayarlamayı, paralelliği ayrı olarak yapılandırmayı ve 1 çekirdek 4 GiB TaskManager teknik özellikleriyle orta düzeyde eşzamanlılık (örneğin, 10) kullanarak performansı test edip optimize etmeyi deneyin.