DataWorks:Agent

Cas d'utilisation 1 - Agent d'intégration des données

Description : Décrivez les exigences de synchronisation des données en langage naturel, comme en chinois ou en anglais. Le système analyse automatiquement la sémantique et génère la configuration de tâche de synchronisation des données correspondante. Cela inclut les sources et destinations de données, les mappages de schéma de table, les conditions de filtrage des champs, les stratégies de partitionnement et les paramètres de planification.

Procédure :

• Dans la boîte de dialogue, saisissez / et sélectionnez Data Integration Agent.

• Décrivez votre exigence de synchronisation des données, y compris la source, la destination, les noms de table et la méthode de synchronisation. Par exemple : « Créez une tâche de synchronisation hors ligne pour synchroniser la table MySQL ods_user_info_d vers la table MaxCompute ods_user_info_d ».

• L'Agent analyse votre exigence et renseigne automatiquement les informations telles que la source de données et les mappages de table pour créer un nœud de synchronisation.

• Une fois le nœud créé, examinez-le et modifiez-le si nécessaire.

  Exemple

  :

Cas d'utilisation 2 - Agent de développement des données

Description : Offre une expérience de développement ETL basée sur le langage naturel qui couvre l'ensemble du processus, de l'analyse des besoins et la génération de code à la création de flux de travail et au déploiement.

Procédure :

• Décrivez votre exigence de développement des données en langage naturel et ajoutez du contexte si nécessaire. Par exemple : « Construisez un flux d'analyse de profil utilisateur ».

• L'Agent décompose la tâche en plusieurs étapes, telles que la création de nœuds, la génération de code et la configuration des dépendances, puis les exécute.

• Pour le code de nœud généré, examinez les modifications et choisissez de les conserver ou de les ignorer.

  Exemple

  :

Cas d'utilisation 3 - Agent d'exploitation et maintenance des données

Description : Offre des évaluations complètes de l'état de santé et des diagnostics de problèmes pour les instances de tâches. En intégrant une analyse multidimensionnelle incluant les chaînes de dépendance, les niveaux de ressources, les tendances historiques d'exécution, les impacts des modifications, les anomalies de journaux et Data Quality, il génère automatiquement des rapports de diagnostic structurés.

Pour plus d'informations sur l'Agent d'exploitation et maintenance des données, consultez l'Agent d'exploitation et maintenance des données.

Cas d'utilisation 4 - Agent Data Map

Description : Améliore l'efficacité de la recherche et de la compréhension des données. Grâce à une interaction en langage naturel pilotée par l'IA, vous pouvez explorer rapidement les métadonnées dans divers scénarios sur des ensembles de données massifs.

Fonctionnalités principales :

• Recherche en langage naturel : Posez des questions en langage naturel pour localiser rapidement les données cibles selon l'intention métier, sans avoir besoin de mots-clés précis. Par exemple, « Trouvez les tables d'agrégation liées à l'activité des utilisateurs ».

• Ajustement automatique de la portée : Spécifiez une portée dans la conversation et l'Agent comprendra automatiquement la sémantique pour localiser rapidement les données dans cette portée. Par exemple, « Dans le projet adm_bi, trouvez les tables liées aux opérations commerciales ».

• Compréhension approfondie des données : Posez des questions de suivi sur les données cibles pour obtenir rapidement des détails tels que la lignée des données, les propriétaires et les définitions de champs. Par exemple, « Quelles sont les dépendances directes en aval de la table @dws_bi_metric_di ? Qui serait affecté par des modifications apportées à celle-ci ? »

  Exemple

  :

Cas d'utilisation 5 - Agent de gouvernance des données

Description : L'Agent de gouvernance des données DataWorks aide les entreprises à passer d'une gouvernance proactive à une gouvernance autonome. Émettez des commandes en langage naturel au lieu d'effectuer des analyses complexes et une configuration extensive de formulaires. L'Agent convertit ces commandes en actions de gouvernance précises, applique des configurations de niveau expert et les exécute automatiquement.

Fonctionnalités principales :

• Configuration des règles de qualité : Configurez des règles de surveillance de la qualité pour des tables clés spécifiées en utilisant le langage naturel. L'Agent de gouvernance des données analyse les types de champs, la sémantique métier et l'importance d'une table spécifiée pour recommander et configurer automatiquement des règles de surveillance appropriées, telles que l'unicité de la clé primaire, les contraintes de non-nullité et les vérifications de plage de valeurs d'énumération. Ce processus élimine le besoin d'une exploration extensive des données et d'une configuration manuelle des règles.

  • Exemple : Générer automatiquement des règles de qualité pour la table de dimension utilisateur principale*dim_user_info*.

  • Exemple : Pour les tables commençant par*ods_*, configurez automatiquement des règles de qualité liées aux nombres de lignes de table.

• Gouvernance des problèmes de qualité : Pour les problèmes de qualité identifiés automatiquement par le système dans le module de gouvernance des actifs de données, tels que « Tables fréquemment consultées sans règles de qualité » ou « Tables produites par des tâches de priorité élevée sans règles de qualité », fournissez des exigences de gouvernance en langage naturel. Le système analyse et remédie alors automatiquement aux problèmes.

  • Exemple : Trouvez les tables fréquemment consultées qui n'ont pas de règles de qualité, puis recommandez et configurez-les.

  • Exemple : Aidez-moi à résoudre les problèmes sous la dimension de qualité.

  Exemple

  :

Gestion du stockage

L'Agent DataStudio prend en charge la création de nœuds et de fichiers soit dans un répertoire de projet, soit dans votre répertoire personnel. Pour garantir une gestion précise du stockage :

• Paramètres de l'emplacement de stockage : Dans le centre de paramètres Data Agent, configurez The default storage path for generating code files. Pour plus d'informations, consultez les paramètres de stockage.

• Mécanisme de résolution des conflits : Si le type de nœud généré est incohérent avec les règles du répertoire actuel (par exemple, si vous demandez la création d'un nœud d'intégration de données dans votre répertoire personnel), l'Agent déclenche une invite de confirmation et attend votre validation avant de procéder.

Gestion des tâches complexes

Pour les exigences de développement impliquant une logique complexe, l'Agent fournit un retour d'état tout au long du cycle de vie :

• Liste des tâches à faire : L'Agent décompose les tâches complexes en plusieurs sous-étapes et les affiche sous forme de liste de tâches. Au fur et à mesure de l'exécution, l'état de chaque élément est mis à jour automatiquement.

• Résumé d'exécution : À la fin du flux de travail, l'Agent compile et génère un rapport récapitulatif pour l'ensemble de la tâche. Ce rapport consolide les opérations effectuées et les ressources générées, rendant le processus de révision plus efficace.

Statistiques de jetons et de performances

Une fois une tâche terminée, l'Agent fournit des métriques quantitatives pour vous aider à évaluer l'efficacité de l'exécution et l'ampleur des appels de modèle :

• Statistiques de durée de tâche : Le système enregistre et affiche automatiquement le temps total écoulé entre le début et la fin de la tâche actuelle, vous permettant d'évaluer l'efficacité du processus automatisé.

• Consommation de jetons : Cliquez sur pour vérifier le nombre de jetons d'entrée et de jetons de sortie générés pendant l'interaction.

Planification intelligente des modèles

Le mécanisme d'allocation intelligente des modèles de l'Agent crée une expérience de développement pilotée par l'intention, vous évitant ainsi de devoir choisir le modèle sous-jacent.

• Allocation automatique de modèle (mode Auto) : Par défaut, l'Agent fonctionne en mode Auto. Dans ce mode, l'Agent identifie et décompose votre intention de développement, et distribue automatiquement le modèle optimal pour gérer différentes sous-tâches.

• Coordination dynamique multi-modèles (mode Auto) : En mode Auto, l'Agent peut orchestrer différents modèles. Selon les besoins en temps réel d'une tâche, l'Agent bascule de manière flexible entre plusieurs modèles au sein d'une même conversation pour garantir que chaque partie d'une tâche complexe soit traitée par le modèle le plus adapté.

• Changement manuel de modèle : Quittez le mode Auto et spécifiez un modèle différent pour le traitement des tâches dans des scénarios spécifiques.