DataWorks Data Studio fait l'objet d'une refonte architecturale complète pour prendre en charge les technologies cloud-native, gérer des scénarios de traitement de données de plus en plus complexes et améliorer l'évolutivité, la maintenabilité et l'expérience utilisateur. Cette nouvelle architecture offre une plateforme de développement de données haute performance et hautement disponible, dotée de capacités de développement et de gouvernance plus efficaces, intelligentes et unifiées.
En cas de problème lors de la mise à niveau, contactez le groupe de support pour la mise à niveau de DataWorks Data Studio.
1. Contexte
L'architecture originale de DataWorks a été conçue il y a seize ans. Bien qu'elle répondait aux besoins fondamentaux de l'ère du traitement par lots, ses limites sont devenues plus apparentes avec l'évolution des piles technologiques et des scénarios métier. Trois facteurs principaux motivent cette mise à niveau :
Exigences techniques liées à l'évolution architecturale
Prise en charge de l'architecture Lakehouse : L'architecture existante doit être modernisée pour prendre en charge nativement une évolution fluide des entrepôts de données traditionnels vers une architecture Lakehouse, en unifiant la gestion des métadonnées et le traitement des données.
Unification du traitement hors ligne et en temps réel : Pour répondre aux exigences métier en temps réel, la nouvelle architecture propose un paradigme de développement unifié et une vue commune des métadonnées qui intègrent de manière transparente le traitement par lots et le calcul de flux en temps réel.
Intégration native de l'IA et des grands modèles de langage (LLM) : La nouvelle architecture intègre nativement des capacités d'IA, telles que l'apprentissage automatique, l'apprentissage profond et le traitement du langage naturel, tout au long du cycle de vie du développement des données.
Défis posés par l'architecture existante
Limites d'une conception monolithique centrée sur les lots : L'ancienne architecture repose sur une conception monolithique initiale axée sur le traitement par lots. Elle présente des limitations inhérentes dans la prise en charge des technologies cloud-native et du calcul de flux, ce qui restreint l'élasticité et les performances de la plateforme.
Goulots d'étranglement en matière d'évolutivité et de maintenabilité : Le couplage fort entre les modules entraîne de longs cycles d'itération pour les nouvelles fonctionnalités et des coûts de maintenance élevés, rendant difficile la satisfaction des exigences d'accès concurrent à grande échelle et des extensions métier personnalisées.
Évolution des attentes des utilisateurs
Prise en charge des workflows à grande échelle et complexes : Pour gérer des dizaines de milliers d'utilisateurs actifs et des données à l'échelle de l'exaoctet, la nouvelle architecture offre une stabilité, un débit et une isolation des ressources supérieurs.
Amélioration de l'efficacité et de l'intelligence du développement : Les utilisateurs s'attendent à une expérience de développement aussi fluide que celle d'un IDE local. La nouvelle architecture introduit une assistance intelligente au codage, des diagnostics de performance et un déploiement en un clic pour réduire considérablement la barrière à l'entrée du développement de données.
2. Périmètre de la mise à niveau
|**Module**
|
**Modifications**
| | --- | --- | |
Data Studio
|
Mise à niveau limitée à l'interface utilisateur (UI) et à l'expérience utilisateur (UX).
|
Les autres modules, tels que Operation Center et Deployment Center, ne sont pas concernés par cette mise à niveau et n'en font pas partie.
3. Impact de la mise à niveau
Impact sur les activités existantes
|**Élément**
|
**Description de l'impact**
| | --- | --- | |
Tâches de production déployées
|
**Aucun impact**. La planification et l'exécution des tâches en ligne continuent de fonctionner de manière stable sans interruption.
| |
Fonctionnalités principales de développement de données
|
**Entièrement conservées et améliorées.** Les types de nœuds, la prise en charge des fonctions ainsi que les capacités centrales d'édition et d'exécution sont conservés et optimisés en termes de performances et d'expérience dans la nouvelle version.
|
Migration des actifs utilisateur
|
Type d'actif |
Plan de migration |
|
Nœuds existants (tels que MaxCompute SQL et Shell) |
Migration en un clic vers la nouvelle interface utilisateur prise en charge. |
|
Fonctions définies par l'utilisateur (UDF) |
|
|
Fichiers de ressources (tels que |
|
|
Composants |
|
|
Requêtes ad hoc |
4. Détails de la migration des fonctionnalités
Le nouveau Data Studio réorganise et optimise les fonctionnalités de l'ancien Data Studio. Les sections suivantes décrivent le nouvel emplacement et les modifications apportées à chaque module de fonctionnalité dans le nouvel IDE :
4,1 Module de développement de données
4,1.1. Solutions
-
Ancienne version : Un menu « Solutions » autonome pour organiser et gérer les workflows associés.
-
Nouvelle version : Évolue vers le « Mode Focus ». Accédez au Mode Focus depuis n'importe quel répertoire de fichiers pour bénéficier d'une expérience de développement plus immersive et flexible.
4,1.2. Workflows
-
Ancienne version : Une hiérarchie de répertoires fixe avec prise en charge du tableau de bord des workflows.
-
Nouvelle version : Créez des répertoires selon vos besoins et taguez-les de manière flexible comme contenu issu des anciens répertoires de workflow.
-
Nouvelle fonctionnalité : Le tableau de bord des workflows évolue vers un tableau de bord de répertoire. Désormais, tout répertoire prend en charge la capacité « Afficher ».
-
Nouvelle fonctionnalité : Si vous avez besoin de capacités d'orchestration de workflow, utilisez la fonctionnalité « scheduled workflow » dans le nouveau Data Studio.
4,1.3. Développement de nœuds
-
Ancienne version : Seuls les types de nœuds disponibles étaient affichés. Il n'était pas possible de voir les autres types de nœuds pris en charge par DataWorks ni d'écrire du code pour d'autres types de nœuds avant d'associer un moteur de calcul.
-
Nouvelle version : Intégration au répertoire du projet dans Data Studio. Vous pouvez voir tous les types de nœuds et écrire du code avant d'associer un moteur de calcul. Les interactions de création de nœuds sont continuellement optimisées.
4,1.3.1 Exécuter / Exécuter avec des paramètres
-
Ancienne version : « Run » et « Run with Parameters » étaient deux boutons distincts. En cliquant sur Run with Parameters, vous pouviez sélectionner le groupe de ressources et les paramètres personnalisés.
-
Nouvelle version :
Les anciens boutons « Run » et « Run with Parameters » sont consolidés en un seul bouton « Run » dans la nouvelle version.
-
L'ancien « Engine Instance » est divisé en source de données et ressource de calcul selon le type de nœud :
Source de données : Utilisée pour les suggestions de métadonnées dans l'éditeur de code intelligent.
Ressource de calcul : Utilisée pour déterminer la ressource de calcul pour le débogage du code.
L'ancien « Resource Group » dans la boîte de dialogue est déplacé vers « Resource Group » dans la configuration d'exécution.
Les anciens « Custom Parameters » dans la boîte de dialogue « Run with Parameters » sont déplacés vers « Parameters » dans la configuration d'exécution.
Le panneau « Debug Configuration » est toujours visible sur le côté droit du nœud. La ressource de calcul, le groupe de ressources et les paramètres pour chaque exécution sont récupérés à partir de cette configuration.
4,1.3.2 Test de fumée / Afficher les enregistrements des tests de fumée
-
Ancienne version : Le test de fumée ne pouvait être lancé qu'après une soumission réussie.
-
Nouvelle version :
Mode standard : Le test de fumée ne peut être lancé qu'après un déploiement réussi dans l'environnement de développement (équivalent à une soumission réussie dans l'ancienne version).
Mode basique : Le test de fumée ne peut être lancé qu'après un déploiement réussi dans l'environnement de production (équivalent à une soumission réussie dans l'ancienne version).
4,1.3.3 Revue de code / Afficher les enregistrements des revues de code
-
Ancienne version : Les boutons pertinents étaient directement visibles dans la barre d'outils du nœud.
-
Nouvelle version : Pendant le processus de déploiement, lancez une revue de code à l'étape du vérificateur de production. Dans l'arborescence de répertoires de gauche, cliquez pour afficher la liste des revues de code.
4,1.3.4 Soumettre / Soumettre et autoriser les autres à modifier
-
Ancienne version :
-
Nouvelle version : L'action « Submit » de l'ancienne version est renommée « Deploy » dans la nouvelle version. Les utilisateurs autorisés peuvent effectuer le déploiement directement. En mode standard, les tâches peuvent également être regroupées et déployées via Deployment Center.
4,1.4. Développement de tables
-
Ancienne version : Les tables étaient créées dans Data Studio.
-
Nouvelle version : Évolue vers une expérience de gestion complète du « Data Catalog ». Créez des tables dans Data Catalog via une création visuelle basée sur des formulaires, une création basée sur du code ou une création assistée par IA.
4,1.5. Développement de ressources
-
Ancienne version : Les ressources étaient créées dans Data Studio.
-
Nouvelle version : Consolidation dans le module « Resource Management ».
4,1.6. Développement de fonctions
-
Ancienne version : Les fonctions étaient créées dans Data Studio.
-
Nouvelle version : Consolidation dans le module « Resource Management ».
4,2 Module de gestion des composants
-
Ancienne version :
-
Nouvelle version :
4,3 Module de tâches manuelles
-
Ancienne version :
-
Nouvelle version :
4,4 Module de workflows manuels
-
Ancienne version :
-
Nouvelle version :
-
Pour des capacités de workflow manuel plus complètes, utilisez : Project Directory > Workflow > Trigger-based Workflow.
4,5 Module de requêtes ad hoc
-
Ancienne version : Fichiers de requête ad hoc de tous les utilisateurs dans l'espace de travail actuel.
-
Nouvelle version :
Fichiers de requête ad hoc de l'utilisateur actuel dans tous les espaces de travail de la région actuelle.
Utilisé uniquement pour le débogage du code. Lorsque vous confirmez qu'une requête doit être déployée en tant que tâche de production, soumettez-la au répertoire du projet, configurez les paramètres de planification et effectuez le déploiement.
4,6 Module de gestion des tables
-
Ancienne version :
-
Nouvelle version : Évolue vers une expérience de gestion complète du « Data Catalog ». Créez des tables dans Data Catalog via une création visuelle basée sur des formulaires, une création basée sur du code ou une création assistée par IA.
4,7 Module de tables publiques
-
Ancienne version :
-
Nouvelle version : Évolue vers une expérience de gestion complète du « Data Catalog ».
4,8 Module de liste des fonctions
-
Ancienne version :
-
Nouvelle version : Posez désormais des questions sur l'utilisation des fonctions directement dans Copilot.
Dans la feuille de route future du produit, un module Function Management sera ajouté pour gérer et créer des fonctions natives du moteur et des fonctions définies par l'utilisateur.
4,9 Module de pré-vérification
-
Ancienne version :
-
Nouvelle version :
4,10 Module d'historique d'exécution
-
Ancienne version :
-
Nouvelle version :
4,11 Module d'enregistrements des tests de fumée
-
Ancienne version :
-
Nouvelle version :
4,12 Module de ressources de calcul
-
Ancienne version :
-
Nouvelle version :
4,13 Module Paramètres
-
Ancienne version :
-
Nouvelle version : Changement de thème.
-
Nouvelle fonctionnalité : Autres paramètres.
-
Nouvelle fonctionnalité : Plus de paramètres à explorer.
4,14 Module Corbeille
-
Ancienne version :
-
Nouvelle version :
5. Guide de mise à niveau
5,1 Autorisations de mise à niveau
Seuls les utilisateurs disposant d'autorisations équivalentes à celles d'un Workspace Administrator peuvent consulter et effectuer l'opération de mise à niveau.
5,2 Procédure de mise à niveau
5,2.1 Accéder au point d'entrée de la mise à niveau
Situé dans la barre de navigation supérieure de l'interface principale de DataStudio (data studio).
Un bouton bleu « Upgrade to New Version » à côté du sélecteur d'espace de travail.
Seuls les utilisateurs disposant des autorisations requises peuvent voir ce bouton.
5,2.2 Confirmer les notes de mise à niveau
Après avoir cliqué sur le bouton « Upgrade to New Version », le système affiche la page d'introduction à la mise à niveau.
Le retour à la version précédente n'est pas pris en charge après la mise à niveau. Vérifiez les points suivants avant de continuer. Si vous avez besoin d'aide pendant la mise à niveau, rejoignez le groupe de support pour la mise à niveau de DataWorks Data Studio.
Si vous avez utilisé l'API OpenAPI DataStudio héritée ou si vous devez utiliser Migration Assistant, contactez l'ingénieur de permanence dans le groupe de support pour la mise à niveau de DataWorks Data Studio avant la mise à niveau.
Le déploiement de tâches inter-espaces de travail entre le nouveau Data Studio et l'ancien DataStudio n'est pas pris en charge entre les espaces de travail sur la version actuelle et les espaces de travail qui ont été mis à niveau.
Pendant la mise à niveau, ni le nouveau Data Studio ni l'ancien DataStudio dans l'espace de travail actuel ne peuvent créer de nouveau contenu ou modifier le contenu existant (y compris les opérations UI et les opérations OpenAPI).
La mise à niveau prend un certain temps. Effectuez-la pendant une période creuse pour le développement des tâches.
Après la mise à niveau, le nom et l'ID de l'espace de travail restent inchangés.
Après la mise à niveau, l'ancien DataStudio devient en lecture seule. Les modifications de code effectuées dans le nouveau Data Studio ne sont pas synchronisées avec l'ancien DataStudio.
Après la mise à niveau, dans le répertoire personnel du nouveau Data Studio, seuls les fichiers de requête ad hoc migrés depuis l'ancien DataStudio dont vous êtes le propriétaire sont visibles.
5,2.3 Effectuer la mise à niveau
Lorsque l'état actuel de la mise à niveau est « Upgrade not started for the current workspace », cliquez sur le bouton « Start Upgrade » pour démarrer le processus de mise à niveau.
Après avoir cliqué sur le bouton « Start Upgrade », le système affiche le temps estimé de mise à niveau et le nombre d'objets à migrer pour l'espace de travail actuel.
-
Cliquez sur le bouton « Confirm » pour lancer officiellement la mise à niveau.
-
Consultez la progression et l'état en temps réel pendant la mise à niveau.
-
Pendant la mise à niveau, cliquez sur « Upgrade Details » pour afficher les détails de la mise à niveau en temps réel.
-
Pendant la mise à niveau, cliquez sur « Refresh » pour afficher le dernier état de la mise à niveau.
-
Une fois la mise à niveau terminée, cliquez sur « Go to Data Studio » pour commencer à utiliser le nouveau Data Studio.
6. Garantie de mise à niveau
6,1 Services de mise à niveau dédiés
Assistance en ligne : Des conseils opérationnels détaillés sont disponibles pendant la mise à niveau.
Consultation technique : En cas de problème, contactez l'ingénieur de permanence dans le groupe de support pour la mise à niveau de DataWorks Data Studio. Une assistance sur site peut être fournie si nécessaire.
Réponse d'urgence : Un mécanisme de réponse rapide est disponible en cas de problème pendant la mise à niveau.
Formation produit : Une formation sur les fonctionnalités post-mise à niveau peut être fournie si nécessaire.
6,2 Mécanisme de retour arrière
En cas de problème pendant la mise à niveau, contactez l'ingénieur de permanence dans le groupe de support pour la mise à niveau de DataWorks Data Studio pour demander un retour à l'état antérieur à la mise à niveau.