DataWorks est une plateforme unifiée de bout en bout pour le développement et la gouvernance du Big Data, s'appuyant sur des moteurs de calcul tels que MaxCompute.
Contexte
DataWorks vous permet d'associer des moteurs de calcul à un espace de travail afin de créer et de planifier des tâches de calcul récurrentes. Plusieurs méthodes de connexion à MaxCompute via DataWorks sont disponibles :
-
La fonctionnalité SQL Query dans DataAnalysis :
Cette fonctionnalité permet d'écrire et de modifier du code SQL MaxCompute, d'interroger et d'analyser les données dans une feuille de calcul web, ainsi que de partager ou de télécharger les résultats. Pour plus d'informations sur la fonctionnalité SQL Query, consultez la rubrique SQL Query (Legacy).
-
Le nœud ODPS node dans Data Development :
DataWorks propose divers types de nœuds adaptés aux différentes tâches des moteurs. Utilisez ces nœuds pour définir des jobs de développement de données et combinez-les avec des ressources et des fonctions afin de créer des workflows complexes. Les types de nœuds ODPS incluent le nœud ODPS SQL node, le nœud ODPS Spark node, le nœud PyODPS 2 node, le nœud PyODPS 3 node, le nœud ODPS Script node et le nœud ODPS MR node.
Cas d'utilisation
Cas d'utilisation de DataAnalysis
Voici les cas d'utilisation courants de la fonctionnalité SQL Query dans DataAnalysis :
Utilisez la fonctionnalité SQL Query pour interroger les données et analyser les résultats dans une feuille de calcul web. Le téléchargement des résultats sur votre ordinateur réduit les transferts de données et améliore leur sécurité.
Cas d'utilisation des nœuds ODPS
Utilisez DataStudio dans DataWorks pour développer des jobs MaxCompute périodiques. Configurez les propriétés, telles que les cycles de planification et les dépendances, puis soumettez les jobs à Operation Center pour la planification.
Procédure
-
-
Associez une ressource de calcul MaxCompute ou créez une source de données MaxCompute.
Les étapes varient selon que vous ayez activé l'aperçu public du nouveau DataStudio lors de la création de votre espace de travail.
Identifiez la version utilisée par votre espace de travail depuis la page Workspaces. Recherchez l'espace de travail cible et cliquez sur Shortcuts dans la colonne Actions.
Si vous n'avez pas activé l'aperçu public du nouveau DataStudio
Si vous avez activé l'aperçu public du nouveau DataStudio
Dans la colonne Actions, cliquez sur Shortcuts et sélectionnez Data Development.
La page Data Development dispose d'un volet de navigation à gauche. Le titre de la zone de contenu principal est Data Development. La barre d'outils comprend les boutons Refresh et + New. Sous la barre d'outils se trouvent trois onglets, All, Owned by me et My Favorites, ainsi qu'une zone de recherche. L'arborescence contient les nœuds extensibles Solutions et Business Flows.
Pour plus d'informations sur DataStudio (Data Development), consultez la rubrique Data Development (DataStudio) (Legacy).
Dans la colonne Actions, cliquez sur Shortcuts et sélectionnez Data Studio Public Preview.
Sur la page Data Development, le volet de navigation de gauche affiche le module Data Development, qui comprend les menus Project Directory et Personal Directory. Le coin supérieur droit affiche le nom de l'espace de travail actuel et un identifiant Simple Mode. Par défaut, la zone de contenu principal affiche l'onglet Welcome.
Pour plus d'informations sur la nouvelle version de DataStudio, consultez la rubrique Data Development (Data Studio) (New).
Si vous avez activé l'aperçu public du nouveau DataStudio, associez une ressource de calcul. Pour plus d'informations, consultez la rubrique Associate a computing resource.
-
Si vous n'avez pas activé l'aperçu public du nouveau DataStudio, créez une source de données MaxCompute et liez-la au module Data Development. Pour plus d'informations, consultez la rubrique Create a data source or register a cluster (for workspaces that have not joined the public preview).
RemarqueSi vous créez uniquement une source de données MaxCompute sans la lier à DataStudio, vous ne pourrez effectuer que la synchronisation des données. Vous ne pourrez pas utiliser MaxCompute pour le développement de données, la planification des tâches ou l'analyse des données.
-
Utilisez MaxCompute via DataWorks.
-
DataAnalysis
Accédez à la fonctionnalité SQL Query dans DataAnalysis de l'une des manières suivantes :
Dans le volet de navigation de gauche de la console MaxCompute, choisissez Data Analytics > SQL Query pour ouvrir la page SQL Query.
Sur la page d'accueil de DataAnalysis, cliquez sur SQL Query dans la section Shortcuts pour ouvrir la page SQL Query.
Dans le module DataAnalysis, cliquez sur SQL Query dans le menu de gauche pour ouvrir la page SQL Query.
Pour plus d'informations sur la création et l'exécution d'une requête SQL, consultez la rubrique SQL Query (Legacy).
-
Nœud ODPS
Pour plus d'informations sur la création d'un nœud ODPS, consultez la rubrique Overview of periodically scheduled jobs.
-