Realtime Compute for Apache Flink:Présentation de Realtime Compute for Apache Flink

Domaine

Apache Flink

Realtime Compute for Apache Flink

Avantages

Performances et coûts

• Aucune évolutivité élastique native.

• L'utilisation des ressources dépend d'un réglage manuel.

• Des performances doublées par rapport à Apache Flink dans les tests de référence Nexmark, grâce à l'optimisation des opérateurs SQL et à GeminiStateBackend.

• Autopilot surveille et ajuste automatiquement l'allocation des ressources des jobs, résolvant les goulots d'étranglement du débit, la contre-pression dans l'ensemble du pipeline et le gaspillage de ressources sans intervention manuelle.

• Une configuration granulaire du processeur/mémoire au niveau de l'opérateur améliore l'utilisation des ressources jusqu'à 100 % pour les jobs à grande échelle.

• Facturation flexible : Abonnement, Paiement à l'utilisation et Facturation hybride pour la consommation d'unités de calcul (CU).

• Réduction des coûts grâce à une mise à l'échelle intelligente des CU et à des modèles de facturation flexibles.

Compatibilité et intégration

• API natives Flink SQL et DataStream.

• Intégration manuelle avec des systèmes tels que MySQL, Apache Kafka et Paimon ; les mises à jour fréquentes des versions peuvent entraîner des problèmes de compatibilité.

• Entièrement compatible avec les API SQL, DataStream, PyFlink et Flink CDC.

• Plus de 30 connecteurs intégrés couvrant les bases de données, les files d'attente de messages, les entrepôts de données, les data lakes et les systèmes de fichiers, notamment MySQL, Apache Kafka, Hologres et Paimon.

• Connecteurs personnalisés pris en charge pour l'intégration avec des systèmes externes.

• Barrière à l'entrée plus faible et migration plus fluide pour les charges de travail Flink existantes.

Développement et débogage

• Absence de plateforme de gestion du développement tout-en-un.

• Outils de débogage limités.

• Synchronisation de base de données complète avec CDAS/CTAS, prenant en charge l'évolution du schéma et la lecture depuis des réplicas de base de données pour le CDC incrémentiel.

• Gestion des versions brouillon avec comparaison de code, restauration et intégration avec des dépôts Git distants (GitHub, GitLab, Gitee).

• Fonctions Apache Flink natives et fonctions personnalisées, ainsi que plus de 20 modèles de script Flink SQL pour les cas d'utilisation courants.

• Gestion des données de test, débogage rapide, affichage des résultats intermédiaires, isolation développement-production et un outil de développement local Visual Studio Code.

• Itération plus rapide du développement à la production avec des coûts de débogage réduits.

Opérations et gestion

• Aucune surveillance ni alerte complète intégrée.

• Aucune interface utilisateur graphique (GUI).

• Mise à l'échelle manuelle des ressources avec une planification complexe.

• Interface graphique pour la gestion des jobs, la surveillance de l'état et le suivi des journaux.

• Métriques de surveillance multidimensionnelles avec agrégation intelligente pour identifier rapidement les problèmes de latence élevée, de déséquilibre et de contre-pression.

• Alertes en temps réel intégrées via DingTalk, e-mail et SMS, avec intégration Prometheus pour la surveillance d'entreprise.

• Modifications dynamiques de la configuration sans redémarrage des jobs, ainsi qu'un diagnostic intelligent des déconnexions TaskManager et des suggestions de réglage.

• Charge opérationnelle réduite grâce à une meilleure observabilité des jobs.

Stabilité et fiabilité

• Le déploiement du cluster présente des limitations régionales.

• La tolérance aux pannes doit être configurée manuellement.

• Haute disponibilité inter-zones sur plusieurs régions.

• La tolérance aux pannes automatique de bout en bout et la haute disponibilité de JobManager éliminent les points de défaillance uniques.

• Gestion des checkpoints et des savepoints avec vérifications de compatibilité de l'état et prise en charge de la migration des données.

Fiabilité de niveau entreprise pour les jobs de production à grande échelle.

Support entreprise

• S'appuie sur la documentation d'Apache Flink et le support communautaire.

• Aucune équipe de support technique dédiée.

• Support technique professionnel 24h/24 et 7j/7 fourni par les ingénieurs de Realtime Compute for Apache Flink, avec un SLA de 99,9 %.

• Réponse rapide, prise en charge de fonctionnalités personnalisées, mises à jour continues et maintenance des versions à long terme.

Résolution plus rapide des incidents et service fiable pour les déploiements en production.

Sécurité et contrôle d'accès

• Mécanismes d'authentification de base tels que Kerberos.

• Le contrôle d'accès nécessite une intégration avec des systèmes externes.

• Contrôle d'accès basé sur les rôles (RBAC) d'Alibaba Cloud.

• Isolation des ressources et des fichiers de code au niveau du locataire et du projet pour la collaboration inter-équipes.

• Sécurité des identifiants grâce à la gestion des variables.

• Audit complet des actions couvrant toutes les modifications de l'environnement de production.

Gestion unifiée des identités et des accès pour la sécurité des données et la conformité.

Extensibilité et écosystème

• Étend les fonctionnalités via des plug-ins.

• L'écosystème dépend de la communauté Apache Flink.

• Prend en charge les cas d'utilisation émergents, notamment l'analyse intelligente des données et l'IA.

• Prend en charge l'intégration avec les data lakes (Iceberg, Hudi) et les entrepôts de données (ClickHouse, Hologres, MaxCompute).

• SDK et API RESTful pour le développement secondaire.

Une plateforme flexible et extensible pour divers cas d'utilisation en temps réel.