Realtime Compute for Apache Flink:GeminiStateBackend

Le calcul avec état représente un scénario complexe dans le traitement en continu. L'accès aux données pour ce type de traitement présente les caractéristiques suivantes :

• De nombreux accès aléatoires sont effectués, tandis que les requêtes de plage sont rares.

• Le trafic de données et les points chauds évoluent fréquemment. Dans ce cas, différents threads parallèles du même opérateur utilisent des modes d'accès aux données distincts.

GeminiStateBackend offre les avantages suivants :

• Utilise une nouvelle architecture et une conception de structure de données pour améliorer les performances globales du traitement des données.

  L'architecture globale de GeminiStateBackend repose sur la structure de données LSM tree (log-structured merge-tree). GeminiStateBackend propose trois fonctionnalités principales : l'adaptation aux variations du volume de données et des caractéristiques d'accès, le stockage hiérarchisé des données chaudes et froides, ainsi que le basculement entre les architectures anti-caching et caching. GeminiStateBackend prend également en charge la structure de stockage hachée permettant l'accès aléatoire. La comparaison des performances à l'aide de Nexmark montre que GeminiStateBackend offre de meilleures performances que RocksDBStateBackend. Pour environ la moitié des cas d'utilisation de GeminiStateBackend, les performances sont supérieures de plus de 70 % à celles observées avec RocksDBStateBackend.

• Prend en charge la séparation calcul-stockage pour supprimer la dépendance des données d'état vis-à-vis des disques locaux.

  L'espace disponible sur les disques locaux étant limité, les déploiements gérant un volume important de données d'état rencontrent souvent des problèmes d'espace disque insuffisant. La plupart du temps, lorsqu'un déploiement exécuté avec RocksDBStateBackend fait face à ce problème, vous devez augmenter le parallélisme des threads ou recourir à d'autres méthodes pour accroître les ressources. GeminiStateBackend prend en charge la séparation calcul-stockage, permettant ainsi au stockage d'état de s'affranchir des disques locaux. Cela évite les échecs de déploiement causés par un volume excessif de données d'état locales. Pour plus d'informations sur la configuration liée à la séparation calcul-stockage, consultez la section Paramètres pour la séparation calcul-stockage.

• Prend en charge la séparation adaptative clé-valeur pour améliorer significativement les performances des déploiements impliquant des jointures DOUBLE-STREAM JOIN ou MULTI-STREAM JOIN.

  Les jointures double-stream ou multi-stream constituent l'un des scénarios les plus complexes du traitement en continu et représentent un cas typique où le stockage d'état atteint ses limites. GeminiStateBackend propose la fonctionnalité de séparation clé-valeur afin de s'adapter aux situations où le taux de réussite des opérations JOIN est faible ou lorsque la longueur des valeurs des données d'état est importante. Cela améliore considérablement les performances des déploiements impliquant des jointures double-stream ou multi-stream. La fonctionnalité de séparation clé-valeur permet un ajustement adaptatif sans nécessiter de configuration ni d'optimisation manuelle. Les vérifications effectuées lors du Festival des achats du Double 11 d'Alibaba Group montrent que l'activation de cette fonctionnalité peut augmenter le débit des déploiements de 50 % à 70 %, voire davantage, et améliorer l'utilisation des ressources de calcul de 50 % en moyenne. Dans les scénarios typiques, l'utilisation des ressources de calcul peut progresser de 100 % à 200 %. Pour plus d'informations sur la configuration liée à la séparation clé-valeur, consultez la section Paramètres pour la séparation clé-valeur.

• Utilise des savepoints légers, ce qui accélère considérablement la création de checkpoints et de savepoints pour les déploiements contenant un grand volume de données d'état.

  GeminiStateBackend prend en charge des savepoints de déploiement plus granulaires et découple la fonctionnalité de checkpoint du mécanisme de compaction de l'arbre LSM. Cette approche accélère et stabilise la création des checkpoints et des savepoints. GeminiStateBackend prend également en charge la fonctionnalité Native Incremental Savepoint. Utilisée conjointement avec les savepoints natifs de Realtime Compute for Apache Flink, elle offre des performances similaires à celles des checkpoints, améliorant ainsi la disponibilité des savepoints.

• Prend en charge le réglage adaptatif des paramètres, éliminant ainsi la charge de travail liée au réglage manuel.

  Dans les tâches de traitement en continu, les différents opérateurs présentent des modes d'accès à l'état variés. Il est souvent nécessaire de combiner plusieurs paramètres pour obtenir des performances optimales du stockage d'état. La configuration de ces paramètres implique des technologies sous-jacentes complexes, rendant le réglage manuel coûteux en apprentissage et en compréhension. Pour résoudre ce problème, GeminiStateBackend intègre la technologie de réglage adaptatif des paramètres. Lorsqu'un déploiement est en cours d'exécution, les configurations des paramètres sont automatiquement ajustées en fonction du mode d'accès aux données actuel et du trafic, afin d'atteindre des performances optimales du stockage d'état dans divers scénarios. Les vérifications réalisées lors du Festival des achats du Double 11 d'Alibaba Group indiquent que cette technologie permet de réduire le réglage manuel des paramètres de plus de 95 % et d'augmenter le débit par cœur de 10 % à 40 %. Pour plus d'informations sur la configuration liée au réglage adaptatif des paramètres, consultez la section Paramètres pour le réglage adaptatif des paramètres.

Cet exemple utilise les cas d'utilisation liés aux goulots d'étranglement d'état et aux ressources matérielles issus de Nexmark pour comparer les performances de RocksDBStateBackend et de GeminiStateBackend.

Les résultats de la comparaison montrent que GeminiStateBackend optimise considérablement les performances globales (débit par cœur) des déploiements. Le tableau ci-dessous présente ces résultats.