MaxCompute Studio est un environnement de développement intégré (IDE) pour le big data, installé localement et dédié à MaxCompute. Il se présente sous la forme d'un plug-in IntelliJ IDEA conçu pour simplifier et accélérer le développement de données.
Interface utilisateur de base
En tant que plug-in IntelliJ IDEA, MaxCompute Studio reprend l'interface standard d'IntelliJ IDEA. Pour plus d'informations, consultez l'interface utilisateur d'IntelliJ IDEA.
MaxCompute Studio enrichit IntelliJ IDEA avec les fonctionnalités suivantes :
SQL Editor : propose la coloration syntaxique SQL, la complétion du code, le signalement des erreurs en temps réel, la compilation locale et la soumission des jobs.
Project Explorer : permet de se connecter aux projets MaxCompute et de parcourir les schémas de projet, les fonctions définies par l'utilisateur ainsi que les fichiers de ressources.
Job Explorer : permet de parcourir et de rechercher les jobs actifs et historiques dans MaxCompute.
MaxCompute console : intègre le client MaxCompute afin que vous puissiez saisir et exécuter des commandes du client MaxCompute. Pour plus d'informations, consultez Client MaxCompute.
Connexion à un projet MaxCompute
Pour utiliser la plupart des fonctionnalités de MaxCompute Studio, connectez-vous à un projet MaxCompute. Une fois connecté, vous pouvez modifier des scripts SQL, soumettre des jobs, consulter les informations relatives aux jobs et ouvrir la console MaxCompute. MaxCompute Studio met automatiquement en cache une copie locale des métadonnées de chaque projet pour améliorer la vitesse d'accès et réduire la latence. Pour plus d'informations, consultez Gérer les connexions au projet.
Gestion des données
Le volet Project Explorer vous permet de parcourir les tables, les vues, les fonctions définies par l'utilisateur et les fichiers de ressources de votre projet. L'affichage arborescent répertorie les tables de données, les colonnes, les colonnes de partition, les vues virtuelles, les noms de UDF, les signatures de fonction et les fichiers de ressources avec leurs types pour tous les projets connectés, et prend en charge la navigation rapide.
Double-cliquez sur une table de données dans un projet pour ouvrir la section Table Details, où vous pouvez consulter les métadonnées, le schéma et les exemples de données de la table. Si vous ne disposez pas des autorisations nécessaires pour le projet, MaxCompute Studio affiche un message d'erreur.
MaxCompute Studio intègre MaxCompute Tunnel pour prendre en charge le chargement et le téléchargement de données locales. Pour plus d'informations, consultez Commandes MaxCompute Tunnel et Importer et exporter des données à l'aide de MaxCompute Tunnel dans MaxCompute Studio.
Écriture de scripts SQL
L'éditeur SQL de MaxCompute Studio prend en charge l'écriture de scripts SQL MaxCompute selon le flux de travail suivant :
-
Créez un projet ou un module.
Dans l'interface IntelliJ IDEA, cliquez sur .
Dans le menu New, sélectionnez Project... ou Module....
Dans la boîte de dialogue New Project ou New Module, sélectionnez MaxCompute Studio et cliquez sur Next.
Saisissez un Project Name ou un Module Name et cliquez sur Finish.
-
Créez un fichier de script SQL MaxCompute.
-
Dans l'interface IntelliJ IDEA, cliquez sur .
RemarqueVous pouvez également cliquer avec le bouton droit sur un projet ou un module existant pour créer un nouveau script SQL MaxCompute.
Dans le menu New, sélectionnez MaxCompute SQL Script.
Dans la boîte de dialogue New MaxCompute SQL Script, saisissez un Script Name et cliquez sur OK.
RemarqueLorsque vous créez un script SQL MaxCompute, MaxCompute Studio vous invite à l'associer à un projet MaxCompute. Vous pouvez également modifier cette association à l'aide du sélecteur Project Selector situé à l'extrême droite de la barre d'outils de l'éditeur SQL. L'éditeur valide vos instructions SQL par rapport aux métadonnées du projet associé (telles que le schéma) et signale toute erreur. Lorsque vous exécutez le script, le job est soumis au projet associé pour exécution. Pour plus d'informations, consultez Écrire des scripts SQL.
-
Suggestions de code SQL intelligentes
-
Validation de la syntaxe du code
L'éditeur SQL détecte les erreurs de syntaxe SQL, les incompatibilités de type ou les avertissements au fur et à mesure de la saisie et les signale directement dans le code.
select a.key, b.value + c.value value from src a join srcp b, src c where a.key = b.key and b.key = c.key; -
Complétion intelligente du code
La fonction de complétion du code fournit des suggestions contextuelles pour les noms de projet, les tables, les champs, les fonctions, les types et les mots clés, et complète automatiquement le code en fonction de votre sélection. Lorsque vous saisissez l'instruction suivante dans l'éditeur SQL, celui-ci affiche automatiquement une liste de complétion des noms de table commençant par le texte que vous avez tapé (par exemple, des suggestions de noms de table commençant par
meta) :select * from meta
Gestion des jobs
-
État du job
-
Active jobs
Pending : le job est soumis et attend d'entrer dans la file d'attente.
pending : le job est dans la file d'attente et attend l'allocation des ressources.
running : le job est en cours d'exécution.
-
Historical jobs
success : le job s'est terminé avec succès.
failed : le job a échoué.
cancelled : le job a été annulé manuellement.
-
-
Compilation d'un job
Cliquez sur l'icône

située dans la barre d'outils de l'éditeur SQL pour compiler le script SQL localement. Si le script contient des erreurs de syntaxe ou sémantiques, la fenêtre du compilateur signale les erreurs.-- select clause in the front select * from table_test; -- from clause in the front from table_test table_alias select *; -- table name with project prefix MaxCompute Compiler Information: Parsing ... Information: Type checking ... Information: Latency.compiler_parse_error : 44170 Information: Build failed(2) /Users/xueming.xm/IdeaProjects/MyUDF/Script/scripts/... Error:(9, 15) table meta.table_test cannot be resolved Error:(12, 6) table meta.table_test cannot be resolved -
Soumission d'un job
Cliquez sur l'icône

située dans la barre d'outils de l'éditeur SQL pour compiler localement, puis soumettre le script SQL au projet MaxCompute spécifié pour une exécution en file d'attente. -
Consultation des jobs
Ouvrez le volet Job Explorer pour afficher les jobs récents dans le projet spécifié.

-
Affichage des détails du job
Double-cliquez sur un job dans la liste pour afficher ses détails. Vous pouvez également cliquer sur l'icône

pour ouvrir Logview dans un navigateur et afficher les détails du job. Pour plus d'informations sur Logview, consultez Outil Logview.
Développement de MapReduce et de UDF
MaxCompute Studio prend en charge le développement de programmes MapReduce, de UDF Java et de UDF Python. Pour plus d'informations, consultez Développer MapReduce, Développer une UDF Java et Développer une UDF Python.
Connexion au client MaxCompute
MaxCompute Studio intègre la dernière version du client MaxCompute. Vous pouvez également spécifier le chemin d'accès à un client MaxCompute installé localement sur la page de configuration de MaxCompute Studio. Pour plus d'informations, consultez Configurer MaxCompute Studio.
Dans le volet Project Explorer , sélectionnez un projet, cliquez avec le bouton droit et choisissez Open in Console pour ouvrir la fenêtre MaxCompute console .
Aliyun ODPS Command Line Tool
Version 0.24.1
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ sql_optimizer>
Étapes suivantes : installation et configuration
Pour commencer à utiliser MaxCompute Studio, effectuez les étapes d'installation et de configuration suivantes :
-
Installer IntelliJ IDEAInstaller IntelliJ IDEA
MaxCompute Studio est un plug-in qui s'exécute sur IntelliJ IDEA ; vous devez donc installer IntelliJ IDEA en premier lieu.
-
Installer MaxCompute StudioInstallation de MaxCompute Studio
Installez le plug-in MaxCompute Studio dans IntelliJ IDEA.
-
Configurer MaxCompute StudioConfiguration de MaxCompute Studio
Configurez MaxCompute Studio.
-
Se connecter à un projet MaxComputeGérer les connexions aux projets.
Connectez-vous à un projet MaxCompute pour afficher ses informations dans l'IDE.