Realtime Compute for Apache Flink:Dinamik ölçeklendirme ve dinamik parametre güncellemeleri

Arka plan

Geleneksel olarak Flink parametrelerini güncellemek işin yeniden başlatılmasını gerektirir. Bu süreç hizmet kesintilerine, veri geri doldurma gecikmelerine ve kaynak kullanımında ani artışlara neden olabilir; bu durum çalışma dışı kalma süresini uzatır ve iş sürekliliğini etkiler.

Dinamik parametre güncelleme özelliği çalışan bir işe REST isteği gönderir. İşin mevcut JobManager ve TaskManager konteynerlerini yeniden kullanmasına ve güncellemeleri yerinde yeniden başlatma yoluyla veya bazı durumlarda yeniden başlatmaya gerek kalmadan uygulamasına olanak tanır; böylece yeniden başlatma maliyeti azalır. Kaynak ön tahsisi ve durum tembel yükleme gibi yeteneklerle birleştirildiğinde bu özellik, güncelleme sonrası işin başlatılma hızını önemli ölçüde artırarak çalışma dışı kalma süresini dakikalardan saniyelere düşürür. Tipik bir Source -> Map -> Sink işi için dinamik ölçeklendirmede dinamik parametre güncellemelerinin kullanılması hizmet kesintisi süresini büyük ölçüde azaltır. Aşağıdaki şekilde çalışma dışı kalma süreleri karşılaştırılmaktadır.

Sınırlamalar

• Yalnızca aşağıdaki parametreler dinamik güncellemeyi destekler: parallelism, Checkpointing Interval, Checkpointing Timeout ve Min Interval Between Checkpoints. Dinamik güncellemeyi desteklemeyen parametreleri de değiştirirseniz bu değişiklikler yalnızca iş yeniden başlatıldıktan sonra etkili olur.

• Bu özellik yalnızca Ververica Runtime (VVR) 8.0.1 veya sonraki sürümlerde çalışan işler için kullanılabilir.

• Uzman modunda (ince taneli) paralelliğin dinamik olarak güncellenmesi desteklenmez.

Kullanım notları

• Dinamik parametre güncelleme deneysel bir özelliktir ve güncelleme süreci sırasında yine de hizmet kesintileri yaşanabilir. Geleneksel parametre değişikliğine kıyasla dinamik güncellemeler çalışma dışı kalma süresini önemli ölçüde azaltabilir. Ancak genellikle 5 saniye ile 1 dakika arasında değişen kesinti süresi iş topolojisi ve durum boyutu gibi faktörlere bağlıdır.

• Dinamik parametre güncellemelerini yalnızca çalışan bir işe uygulayabilirsiniz.

• Paralelliği dinamik olarak güncellediğinizde Realtime Compute for Apache Flink paralelliğin açıkça ayarlandığı düğümleri atlar. Bunun nedeni belirli operatörlerin özel paralellik gereksinimlerine sahip olmasıdır. Örneğin genel bir operatörün paralelliği 1 olmalıdır ve Kafka kaynağının paralelliği bölüm sayısını aşmamak için genellikle açıkça ayarlanır. Bir operatörün paralelliğinin dinamik olarak güncellenebilmesini sağlamak için DataStream#setParallelism veya source/sink yapılandırma parametreleri gibi yöntemler kullanarak bunu açıkça ayarlamayın.

• Hot-update düğmesi yalnızca desteklenen parametrelerden birini değiştirdikten sonra görünür: parallelism, Checkpointing Interval, Checkpointing Timeout veya Min Interval Between Checkpoints. Düğmeyi tıkladıktan sonra değişiklikler etkili olur. Dinamik güncellemeyi desteklemeyen parametreleri de değiştirirseniz bu değişiklikler yalnızca iş yeniden başlatıldıktan sonra etkili olur.

Yordam

1. O&M > Deployments sayfasına gidin.

   1. Realtime Compute for Apache Flink konsoluna giriş yapın.

   2. Hedef çalışma alanının Actions sütununda Console öğesini tıklayın.

   3. Sol gezinme bölmesinde O&M > Deployments seçeneğini belirleyin. Hedef running işin adını tıklayın.

2. Configuration sekmesinde Resources veya Parameters bölümünde Edit seçeneğini tıklayın.

3. Dinamik güncellemeyi destekleyen parametrelerin değerlerini değiştirin ve ardından Save öğesini tıklayın.

4. Sayfanın sağ üst köşesinde Hot-update seçeneğini tıklayın.

   Önemli

   Yalnızca aşağıdaki parametreler dinamik güncellemeyi destekler: parallelism, Checkpointing Interval, Checkpointing Timeout ve Min Interval Between Checkpoints. Dinamik güncellemeyi desteklemeyen parametreleri de değiştirirseniz bu değişiklikler yalnızca iş yeniden başlatıldıktan sonra etkili olur.

5. Açılan iletişim kutusunda bilgileri gözden geçirin ve OK öğesini tıklayın.

   OK öğesini tıkladıktan sonra güncellemenin devam ettiğini gösteren bir simge görünür.

İlgili belgeler

• Dinamik güncellemeyi desteklemeyen parametreleri güncellemek için bunları Configuration sekmesinde yapılandırın ve ardından işi yeniden başlatın. Daha fazla bilgi için bkz. İş dağıtımını yapılandırma ve İşi başlatma.

• Otomatik performans iyileştirme özelliği iş paralelliğini ve kaynak yapılandırmasını optimize etmenize yardımcı olabilir. Daha fazla bilgi için bkz. Otomatik ayarlamayı yapılandırma.

• Akıllı iş tanılama hizmeti iş sağlığını izlemenize, hataları ve anormallikleri analiz etmenize yardımcı olur ve uygulanabilir tanılama önerileri sunar. Daha fazla bilgi için bkz. Akıllı iş tanılama.