DataWorks s'intègre à Hologres pour vous permettre de construire un entrepôt de données en temps réel ou un système d'analyse ad hoc sans gérer d'infrastructure complexe. Depuis une seule console, configurez les tâches Hologres, définissez une planification périodique et gérez les métadonnées.
Cette rubrique couvre l'intégralité du processus de développement : prérequis, facturation, préparation de l'environnement, gestion des autorisations, intégration des données, développement et surveillance des tâches, gouvernance des données, analyse et intégration avec la plateforme ouverte.
Conseil : Pour automatiser les workflows ou déclencher des tâches DataWorks depuis des systèmes externes, les modules de la Open Platform (OpenAPI, OpenEvent, Extensions) permettent de le faire par programmation, sans se limiter aux opérations manuelles dans la console.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Une instance DataWorks activée. Pour plus de détails, consultez la section Activation de DataWorks.
Un espace de travail DataWorks. Pour plus de détails, consultez la section Création et gestion des espaces de travail.
Notes d'utilisation
| Domaine | Point clé à considérer |
|---|---|
| Facturation | Le développement de tâches Hologres dans DataWorks entraîne des frais pour les ressources DataWorks et pour les autres services Alibaba Cloud utilisés pendant le développement et l'exécution. |
| Préparation de l'environnement | Achetez une édition DataWorks et un groupe de ressources, ajoutez une source de données Hologres et associez cette source de données à votre espace de travail. |
| Gestion des autorisations | Accordez aux utilisateurs RAM des autorisations sur le moteur de calcul Hologres, la source de données et les tables associées. Attribuez des rôles au niveau de l'espace de travail avant le début du développement. |
| Intégration des données | Lisez et écrivez dans Hologres en utilisant la synchronisation par lots, en temps réel, complète ou incrémentielle. |
| Modélisation et développement des données | Utilisez Data Modeling pour une gouvernance des données de bout en bout, DataStudio pour le développement et la planification des tâches, et Operation Center pour la surveillance et les opérations. |
| Gouvernance des données | Gérez les métadonnées Hologres et appliquez la gouvernance des données Hologres via Data Map, Security Center et Data Governance Center. |
| Analyse et services de données | Exécutez des analyses basées sur SQL et exposez les données via des API en utilisant DataAnalysis et DataService Studio. |
| Open Platform | Intégrez des systèmes d'applications externes à DataWorks en utilisant OpenAPI, OpenEvent et Extensions. |
Facturation
Le développement de tâches Hologres dans DataWorks génère deux catégories de frais : les frais facturés via DataWorks et les frais facturés séparément par d'autres services Alibaba Cloud.
Frais liés aux ressources DataWorks
Pour la liste complète des éléments facturables, consultez la section Vue d'ensemble.
| Frais | Description |
|---|---|
| Édition DataWorks | L'activation de l'édition Standard, Professionnelle ou Entreprise est facturée au moment de l'achat. |
| Ressources de planification | La planification périodique des tâches nécessite un groupe de ressources serverless (recommandé) ou un groupe de ressources exclusif d'ancienne version. Un seul groupe de ressources serverless couvre à la fois la planification des tâches et la synchronisation des données. |
| Ressources de synchronisation des données | Les tâches de synchronisation consomment à la fois des ressources de planification et des ressources de synchronisation. Achetez un groupe de ressources serverless ou un groupe de ressources exclusif d'ancienne version pour Data Integration. |
L'exécution manuelle des tâches — en cliquant sur Run ou Run with Parameters dans la barre d'outils DataStudio — n'entraîne aucun frais de planification. Les tâches ayant échoué et les tâches de test à sec ne sont pas facturées non plus.
Pour plus de détails sur le calcul des frais de planification, consultez la section Logique de soumission des tâches planifiées dans DataWorks.
Frais liés aux autres services Alibaba Cloud
Ces frais sont facturés par les services Alibaba Cloud respectifs, et non via votre facture DataWorks. Consultez la documentation de facturation de chaque service que vous utilisez.
| Frais | Description |
|---|---|
| Frais de base de données | L'exécution de tâches de synchronisation de données qui lisent ou écrivent dans des bases de données peut générer des frais de base de données. |
| Frais de calcul et de stockage | L'exécution de tâches sur un moteur de calcul — par exemple, une tâche SQL Hologres — peut générer des frais de calcul et de stockage. Pour connaître les tarifs Hologres, consultez la section Éléments facturables de Hologres. |
| Frais de services réseau | L'établissement de connexions réseau entre DataWorks et d'autres services en utilisant Express Connect, Elastic IP Address (EIP) ou Internet Shared Bandwidth peut générer des frais réseau. |
Préparation de l'environnement
Avant de développer des tâches Hologres, achetez l'édition DataWorks et le groupe de ressources appropriés, puis connectez votre instance Hologres à un espace de travail.
Préparation des ressources
L'édition Basic de DataWorks prend en charge les workflows de développement Hologres de base, notamment la migration des données, le développement de tâches, la planification et la gouvernance des données. Passez à l'édition Standard, Professionnelle ou Entreprise pour bénéficier de fonctionnalités avancées de gouvernance et de sécurité.
| Élément | Options | Référence |
|---|---|---|
| DataWorks edition | L'édition Basic couvre les workflows de développement Hologres de base. Passez à l'édition Standard, Professionnelle ou Entreprise pour une gouvernance et une sécurité avancées. | Comparaison entre l'édition Basic de DataWorks et les éditions avancées de DataWorks et description de la mise à niveau |
| Resource group | Groupe de ressources serverless (recommandé) : Un seul groupe couvre la synchronisation des données, la planification et DataService Studio. Allouez les ressources en fonction de la charge de travail. Groupe de ressources d'ancienne version : Répond aux besoins de planification de base mais sera bientôt obsolète. | Vue d'ensemble des groupes de ressources DataWorks |
Préparation de l'environnement de développement
Ajoutez une instance Hologres à votre espace de travail en tant que source de données, puis associez-la à DataStudio. Ajoutez des membres de l'équipe à l'espace de travail pour permettre le développement collaboratif.
| Élément | Description | Référence |
|---|---|---|
| Data synchronization environment | Ajoutez une instance Hologres à un espace de travail DataWorks en tant que source de données avant d'exécuter des tâches de synchronisation. | Association d'une ressource de calcul Hologres |
| Data development and analysis environment | Associez la source de données à DataStudio pour activer le développement des données, l'analyse et la planification périodique. | Association d'une ressource de calcul Hologres ; Préparatifs avant le développement des données : Association d'une ressource de calcul ou d'un cluster à DataStudio |
| Collaborative development environment | Ajoutez des utilisateurs RAM à l'espace de travail avec le rôle Development. Accordez à chaque utilisateur des autorisations sur l'instance du moteur de calcul Hologres, la source de données Hologres et toutes les bases de données auxquelles ils doivent accéder dans l'environnement de production. | Ajout de membres à un espace de travail ; Configuration des autorisations sur le moteur de calcul Hologres pour un membre de l'espace de travail |
Gestion des autorisations
DataWorks utilise deux systèmes d'autorisation complémentaires qui contrôlent l'accès à différents niveaux.
Autorisations d'accès aux données
Pour développer des tâches Hologres en tant qu'utilisateur RAM dans un espace de travail DataWorks, accordez à l'utilisateur RAM :
Des autorisations sur l'instance du moteur de calcul Hologres
Des autorisations sur la source de données Hologres associée à l'espace de travail
Des autorisations sur les tables associées
Pour plus de détails, consultez la section Gestion des autorisations pour Hologres.
Autorisations de service et de fonctionnalité
Attribuez un rôle au niveau de l'espace de travail à chaque utilisateur RAM avant qu'il ne commence le développement. Deux mécanismes d'autorisation sont disponibles :
Autorisation basée sur les politiques RAM : Contrôle les autorisations sur les modules de service DataWorks (par exemple, restriction de l'accès à Data Map) et les opérations au niveau de la console (par exemple, autorisation de la suppression de l'espace de travail). Consultez la section Autorisation basée sur les politiques RAM.
Contrôle d'accès basé sur les rôles (RBAC) : Contrôle les autorisations sur les modules au niveau de l'espace de travail (par exemple, octroi de l'accès à DataStudio) et les modules au niveau global (par exemple, restriction de l'accès à Data Security Guard). Consultez la section Contrôle d'accès basé sur les rôles (RBAC).
Pour un guide étape par étape, consultez la section Bonnes pratiques : Octroi d'autorisations aux utilisateurs RAM.
Prise en main
DataWorks couvre l'intégralité du cycle de vie de développement : intégration des données, création et planification des tâches dans DataStudio, surveillance dans Operation Center, gouvernance des données, analyse des résultats et exposition des données via des API. Chaque étape est décrite ci-dessous.
Intégration des données
Data Integration de DataWorks lit et écrit dans Hologres, prenant en charge la synchronisation entre une source de données Hologres et d'autres types de sources de données. Choisissez le scénario adapté à votre charge de travail :
Synchronisation par lots — pour les chargements de données volumineux planifiés
Synchronisation en temps réel — pour les pipelines de données continus à faible latence
Synchronisation complète — pour les chargements initiaux complets de données
Synchronisation incrémentielle — pour les mises à jour delta continues
Pour une vue d'ensemble de tous les scénarios pris en charge, consultez la section Vue d'ensemble de Data Integration.
Modélisation et développement des données
| Module | Fonction | Références |
|---|---|---|
| Data Modeling | Première étape de la gouvernance des données de bout en bout. Data Modeling structure les données de l'entreprise en utilisant la méthodologie Alibaba data mid-end — couvrant la planification de l'entrepôt de données, les normes de données, la modélisation dimensionnelle et les métriques de données — afin que les équipes puissent interpréter et partager les données métier de manière cohérente. | Vue d'ensemble de Data Modeling |
| DataStudio | Développez et planifiez des tâches Hologres sans lignes de commande complexes. Prend en charge les nœuds SQL Hologres, les nœuds de synchronisation de schéma et les types de nœuds polyvalents (Shell, Assignment, Branch, Do-while, For-each, etc.) pour gérer une logique complexe. Prend également en charge la synchronisation des données entre Hologres et d'autres sources de données — bien qu'un sous-ensemble seulement des scénarios de synchronisation par lots et en temps réel soit disponible dans DataStudio. Consultez la section Intégration des données pour la liste complète. | Normes de développement Hologres ; Création d'un nœud SQL Hologres ; Création d'un nœud pour synchroniser les schémas des tables MaxCompute ; Création d'un nœud pour synchroniser les données MaxCompute |
| Operation Center | Une plateforme complète de surveillance et d'exploitation. Consultez l'état des tâches, exécutez des diagnostics intelligents, relancez les tâches ayant échoué et utilisez la fonctionnalité de ligne de base intelligente pour garantir la ponctualité des sorties pour les tâches critiques. | Exécution des opérations de base sur les tâches planifiées |
| Data Quality | Surveille la qualité des données tout au long du processus de R&D en utilisant des règles configurables qui s'intègrent à la planification des tâches. Détecte et signale les problèmes de qualité des données avant qu'ils n'affectent les consommateurs en aval. | Vue d'ensemble de Data Quality |
Après avoir développé des tâches dans DataStudio, effectuez les étapes suivantes avant le déploiement :
Configurez les propriétés de planification — définissez les dépendances de planification et les paramètres pour activer les exécutions périodiques.
Déboguez les nœuds — testez les tâches avant le déploiement pour éviter de gaspiller des ressources de calcul en production.
Déployez en production — les tâches déployées apparaissent sur la page Auto Triggered Nodes dans Operation Center.
Gérez les nœuds — déployez, annulez le déploiement ou modifiez les propriétés de planification sur plusieurs tâches.
Appliquez le contrôle des processus — utilisez la revue de code, les tests de fumée et une logique de révision personnalisée pour standardiser le développement et protéger les données de production.
Pour plus de détails, consultez les sections Vue d'ensemble, Processus de débogage des tâches, Publication des tâches, Opérations par lot et Contrôle du processus de développement.
Gouvernance des données
Après avoir associé une source de données Hologres à un espace de travail DataWorks, DataWorks collecte automatiquement ses métadonnées. Consultez les métadonnées dans Data Map et les problèmes de gouvernance dans Data Governance Center.
| Module | Fonction | Référence |
|---|---|---|
| Data Map | Une plateforme de gestion des métadonnées de niveau entreprise. Recherchez, catégorisez et comprenez les objets de données dans toute l'organisation grâce à des services de métadonnées unifiés. | Vue d'ensemble de Data Map |
| Security Center, Data Security Guard, Approval Center | Une plateforme complète de gouvernance de la sécurité des données couvrant la classification des actifs de données, l'identification des données sensibles, la gestion des autorisations, le masquage des données, l'audit d'accès et la réponse aux risques. | Vue d'ensemble de Security Center ; Vue d'ensemble de Data Security Guard ; Vue d'ensemble d'Approval Center |
| Data Governance Center | Identifie automatiquement les problèmes de gouvernance dans plusieurs domaines en utilisant des règles dérivées de l'expérience réelle en ingénierie des données. Fournit une prévention des problèmes en amont et une correction en aval. | Vue d'ensemble de Data Governance Center |
Analyse et services de données
| Module | Fonction | Référence |
|---|---|---|
| DataAnalysis | Exécutez des analyses basées sur SQL en ligne, explorez les données métier, modifiez et partagez des jeux de données, et générez des rapports visualisés à partir des résultats de requête. | Vue d'ensemble de DataAnalysis |
| DataService Studio | Exposez les données via des API gérées de manière centralisée pour les consommateurs internes et externes. | Vue d'ensemble de DataService Studio |
Open Platform
Connectez des systèmes d'applications externes à DataWorks pour gérer les pipelines de données, gouverner les données, exécuter des opérations et répondre aux changements métier par programmation.
| Module | Fonction | Référence |
|---|---|---|
| OpenAPI | Appelez les opérations API DataWorks pour intégrer des applications à DataWorks. Réduit les opérations manuelles et l'effort d'exploitation, et minimise les risques liés aux données. | OpenAPI |
| OpenEvent | Abonnez-vous aux événements de changement DataWorks afin que vos applications puissent détecter et répondre immédiatement aux changements. | Vue d'ensemble d'OpenEvent |
| Extensions | Enregistrez des programmes locaux en tant qu'extensions pour gérer les processus pilotés par les événements déclenchés par les événements de l'espace de travail DataWorks. | Vue d'ensemble des Extensions |
Annexe : Relation entre DataWorks et Hologres
Les informations de cette annexe s'appliquent aux espaces de travail en mode standard. Si vous utilisez un espace de travail en mode basic, seul l'environnement de production est disponible, et une seule base de données Hologres peut être associée à l'espace de travail.
DataWorks fournit la planification, la gestion des métadonnées, la gouvernance des données et le contrôle de sécurité pour Hologres, mais tout le calcul et le stockage des données ont lieu dans Hologres. Dans un espace de travail en mode standard, vous pouvez associer différentes instances Hologres à l'espace de travail dans les environnements de développement et de production, en maintenant les ressources de stockage et de calcul isolées entre les environnements.
Pour savoir comment ajouter une source de données Hologres et afficher les instances dans chaque environnement, consultez la section Association d'une ressource de calcul Hologres.
Pour comprendre comment DataWorks soumet des tâches planifiées à Hologres, consultez la section Logique de soumission des nœuds planifiés dans DataWorks.