DataHub est une plateforme de traitement de données en continu proposée par Alibaba Cloud. Elle vous permet de publier, de vous abonner et de distribuer des flux de données pour l'analyse et les applications en temps réel.
Présentation du produit
DataHub est une plateforme de traitement de données en continu fournie par Alibaba Cloud. Ses fonctionnalités principales — publication, abonnement et distribution — vous permettent de concevoir des solutions d'analyse et des applications dédiées aux données en flux continu.
Fonctionnalités clés
Collecte de données : Collectez, stockez et traitez en continu de grands volumes de données en provenance d'appareils mobiles, d'applications, de services web et de capteurs.
Traitement en temps réel : Traitez les flux de données (journaux d'accès web, événements applicatifs) à l'aide de Flink ou d'applications personnalisées afin de générer des graphiques, des alertes et des statistiques en temps réel.
Architecture globale
S'appuie sur Apsara, la plateforme distribuée propriétaire d'Alibaba Cloud. Offre une haute disponibilité, une faible latence, une grande évolutivité et un débit élevé.
Met à disposition une API REST unifiée accompagnée de SDK pour plusieurs langages.
S'intègre à MaxCompute, Flink et à d'autres services cloud pour analyser les flux avec le langage SQL.
Distribue les données en continu vers MaxCompute (anciennement ODPS) et OSS.
Avantages
Débit élevé : Prend en charge jusqu'à 160 millions d'écritures par jour sur un seul Shard.
Réactivité : Collecte et traite les données provenant de diverses sources en temps réel pour une réponse rapide aux besoins métier.
-
Facilité d'utilisation
SDK disponibles pour C++, Java, Python et Go.
API RESTful pour les intégrations personnalisées.
Plug-ins clients pour Fluentd, Logstash et Flume.
Prise en charge des données structurées avec schémas (en créant un topic de type TUPLE) et des données non structurées (en créant un topic de type BLOB).
-
Haute disponibilité
La disponibilité du service est d'au moins 99,9 %.
La durabilité des données est d'au moins 99,999 %.
Mise à l'échelle automatique sans impact sur les services externes.
Sauvegarde automatique pour la redondance.
-
Mise à l'échelle dynamique
Ajustez le débit de chaque Topic à la hausse ou à la baisse, jusqu'à 256 000 Records/s par Topic.
-
Sécurité renforcée
Sécurité multicouche de niveau entreprise avec isolation des ressources multi-utilisateurs.
Plusieurs méthodes d'authentification et d'autorisation, notamment les listes d'autorisation et Resource Access Management (RAM).
Cas d'utilisation
Combinez DataHub avec d'autres services Alibaba Cloud pour élaborer des solutions de traitement des données de bout en bout.
Calcul en flux continu (StreamCompute)
Real-time Compute for Apache Flink est un moteur de calcul en flux continu d'Alibaba Cloud qui propose un langage de type SQL pour le traitement des flux. DataHub s'intègre à Flink en tant que source de données et destination de sortie. Calcul en temps réel (calcul en flux).
Applications de traitement de flux
Les applications personnalisées s'abonnent aux données DataHub, les traitent en temps réel et produisent des résultats. Les résultats d'une application peuvent être réinjectés dans DataHub pour traitement par une autre, formant ainsi un workflow en graphe acyclique dirigé (DAG).
Archivage des données en continu
Archivez les données en continu vers MaxCompute (anciennement ODPS). Créez un connecteur DataHub pour configurer des tâches de synchronisation périodiques qui archivent automatiquement les flux.