Realtime Compute for Apache Flink:Qu'est-ce que Realtime Compute for Apache Flink ?

Domaine

Apache Flink

Realtime Compute for Apache Flink

Avantages

Performances et coûts

• Aucune mise à l'échelle élastique intégrée.

• L'utilisation des ressources dépend d'un ajustement manuel.

• Des performances deux fois supérieures à celles d'Apache Flink lors des tests de référence Nexmark, grâce à l'optimisation des opérateurs SQL et à GeminiStateBackend.

• Autopilot surveille et ajuste automatiquement l'allocation des ressources des jobs, résolvant les goulets d'étranglement de débit, la contre-pression dans l'ensemble du pipeline et le gaspillage de ressources sans intervention manuelle.

• Une configuration fine du CPU et de la mémoire au niveau de l'opérateur améliore l'utilisation des ressources jusqu'à 100 % pour les jobs à grande échelle.

• Facturation flexible : Abonnement, Paiement à l'utilisation et Facturation hybride pour la consommation d'unités de calcul (CU).

• Réduction des coûts grâce à une mise à l'échelle intelligente des CU et à des modèles de facturation flexibles.

Compatibilité et intégration

• API Flink SQL et DataStream natives.

• Intégration manuelle avec des systèmes tels que MySQL, Apache Kafka et Paimon ; les mises à jour fréquentes des versions peuvent entraîner des problèmes de compatibilité.

• Entièrement compatible avec les API SQL, DataStream, PyFlink et Flink CDC.

• Plus de 30 connecteurs intégrés couvrant les bases de données, les files d'attente de messages, les entrepôts de données, les lacs de données et les systèmes de fichiers, y compris MySQL, Apache Kafka, Hologres et Paimon.

• Connecteurs personnalisés pris en charge pour l'intégration avec des systèmes externes.

• Barrière à l'entrée plus faible et migration plus fluide pour les charges de travail Flink existantes.

Développement et débogage

• Aucune plateforme de gestion du développement tout-en-un.

• Outils de débogage limités.

• Prise en charge de la synchronisation complète de la base de données, de la synchronisation fragmentée de la base de données et des tables, ainsi que de l'évolution du schéma, et intègre les lectures complètes depuis les réplicas de base de données avec les lectures incrémentielles depuis le primaire (ingestion de données Flink CDC).

• Gestion des versions brouillon avec comparaison de code, restauration et intégration avec des dépôts Git distants (GitHub, GitLab, Gitee).

• Fonctions Apache Flink natives et fonctions personnalisées, ainsi que plus de 20 modèles de script Flink SQL pour les cas d'utilisation courants.

• Gestion des données de test, débogage rapide, affichage des résultats intermédiaires, isolation développement-production et un outil de développement local Visual Studio Code.

• Itération plus rapide du développement à la production avec des coûts de débogage réduits.

Opérations et gestion

• Aucune surveillance ni aucune alerte intégrées complètes.

• Aucune interface utilisateur graphique (GUI).

• Mise à l'échelle manuelle des ressources avec une planification complexe.

• Interface graphique pour la gestion des jobs, la surveillance de l'état et le suivi des journaux.

• Métriques de surveillance multidimensionnelles avec agrégation intelligente pour identifier rapidement les problèmes de latence élevée, de déséquilibre et de contre-pression.

• Alertes en temps réel intégrées via DingTalk, e-mail et SMS, avec intégration Prometheus pour la surveillance entreprise.

• Modifications dynamiques de la configuration sans redémarrage des jobs, ainsi que diagnostics intelligents pour les déconnexions TaskManager et suggestions d'ajustement.

• Charge opérationnelle réduite avec une meilleure observabilité des jobs.

Stabilité et fiabilité

• Le déploiement de cluster présente des limitations régionales.

• La tolérance aux pannes doit être configurée manuellement.

• Haute disponibilité inter-zones sur plusieurs régions.

• La tolérance aux pannes automatique de bout en bout et la haute disponibilité du JobManager éliminent les points de défaillance uniques.

• Gestion des checkpoints et des savepoints avec vérifications de compatibilité de l'état et prise en charge de la migration des données.

Fiabilité de niveau entreprise pour les jobs de production à grande échelle.

Support entreprise

• S'appuie sur la documentation Apache Flink et le support communautaire.

• Aucune équipe de support technique dédiée.

• Support technique professionnel 24h/24 et 7j/7 fourni par les ingénieurs Realtime Compute for Apache Flink, garanti par un SLA de 99,9 %.

• Réponse rapide, prise en charge de fonctionnalités personnalisées, mises à jour continues et maintenance des versions à long terme.

Résolution plus rapide des incidents et service fiable pour les déploiements en production.

Sécurité et contrôle d'accès

• Mécanismes d'authentification de base tels que Kerberos.

• Le contrôle d'accès nécessite une intégration avec des systèmes externes.

• Contrôle d'accès basé sur les rôles (RBAC) Alibaba Cloud.

• Isolation des ressources et des fichiers de code au niveau du locataire et du projet pour la collaboration inter-équipes.

• Sécurité des identifiants via la gestion des variables.

• Audit complet des actions couvrant toutes les modifications de l'environnement de production.

Gestion unifiée des identités et des accès pour la sécurité des données et la conformité.

Extensibilité et écosystème

• Étend les fonctionnalités via des plug-ins.

• L'écosystème dépend de la communauté Apache Flink.

• Prend en charge les cas d'utilisation émergents, y compris l'analyse intelligente des données et l'IA.

• Prend en charge l'intégration avec les lacs de données (Iceberg, Hudi) et les entrepôts de données (ClickHouse, Hologres, MaxCompute).

• SDK et API RESTful pour le développement secondaire.

Une plateforme flexible et extensible pour divers cas d'utilisation en temps réel.