Si les fonctions intégrées de MaxCompute ne répondent pas à vos besoins métier, développez des fonctions définies par l'utilisateur (UDF) dans MaxCompute Studio pour implémenter les fonctionnalités requises. Cette rubrique explique comment utiliser MaxCompute Studio pour développer et déboguer des UDF Java.
Prérequis
Avant de commencer, effectuez les opérations suivantes :
Établissez une connexion à un projet MaxCompute dans MaxCompute Studio. Pour plus d'informations, consultez la rubrique Gérer les connexions aux projets.
Créez un module MaxCompute Java. Pour plus d'informations, consultez la rubrique Créer un module MaxCompute Java.
Contexte
Développez une UDF en suivant les étapes décrites dans cette rubrique, ou créez-en une directement en sélectionnant .
Écrire une UDF
Dans le volet Project, cliquez avec le bouton droit sur le répertoire de code source du module (c'est-à-dire ), puis sélectionnez .
-
Saisissez un Name, sélectionnez le type UDF, puis appuyez sur Entrée.
Dans la boîte de dialogue Create new MaxCompute java class, vous pouvez également sélectionner d'autres types de classes, notamment UDAF, UDTF, Driver, mapper, reducer, StorageHandler, Extractor et Outputer.
Name : nom de la classe MaxCompute Java. Pour créer un package, saisissez le nom au format packagename.classname. Le système crée automatiquement le package.
-
Une fois la classe MaxCompute Java créée, développez votre programme Java dans l'éditeur.
Effectuer une exécution locale pour déboguer l'UDF
Effectuez une exécution locale afin de tester l'UDF et de vérifier que les résultats correspondent à vos attentes.
Cliquez avec le bouton droit sur le script Java et sélectionnez Run.
-
Sur la page Run/Debug Configurations, configurez les paramètres d'exécution.
Pour cet exemple, définissez MaxCompute table sur
wc_in1, Table columns surcol1et Download Record limit sur100.-
MaxCompute project : spécifie le projet MaxCompute à utiliser pour l'UDF. Pour une exécution locale, sélectionnez local.
RemarqueSi vous souhaitez utiliser les données d'une table d'un projet MaxCompute, modifiez l'endpoint et spécifiez un nom de projet dans le champ MaxCompute project. Si les données de la table du projet MaxCompute ne sont pas téléchargées dans le répertoire warehouse, elles le sont automatiquement. Si les données sont déjà téléchargées, ignorez cette étape.
Si vous sélectionnez local dans la liste déroulante MaxCompute project, aucune interaction entre les données ou les ressources MaxCompute et le projet local n'est requise. Vous pouvez ainsi développer, tester et déboguer les UDF dans l'environnement local.
MaxCompute table : nom de la table MaxCompute dans laquelle l'UDF s'exécute.
Table columns : colonnes de la table MaxCompute dans laquelle l'UDF s'exécute.
-
-
Cliquez sur OK pour démarrer l'exécution.
RemarqueLe système lit les données de la table spécifiée dans warehouse et les utilise comme entrée lors de l'exécution locale. Vous pouvez consulter la sortie des journaux dans la console.
Effectuer des tests unitaires pour déboguer l'UDF
Rédigez des cas de test en vous basant sur les exemples de tests unitaires disponibles dans le répertoire examples.
Étapes suivantes
Une fois l'UDF développée et déboguée, empaquetez, téléchargez et enregistrez le code de l'UDF afin de la rendre disponible dans MaxCompute. Pour plus d'informations, consultez la rubrique Empaqueter un programme Java, télécharger le package et créer une UDF MaxCompute.
Références
Pour plus d'informations sur l'utilisation de Python pour développer des UDF dans MaxCompute Studio, consultez la rubrique Développer une UDF Python.