DataWorks:Créer une fonction EMR

Prérequis

• Les types de moteur EMR incluent DataLake et Hadoop. Effectuez les préparations requises dans EMR et DataWorks en fonction de votre type de moteur.

  • DataLake : pour plus d'informations, consultez Configuration du cluster DataLake et Configuration de DataWorks.

  • Hadoop : Préparatifs pour le développement de cluster Hadoop.

• Téléchargez les ressources avant d'enregistrer une fonction. Pour plus d'informations, consultez Créer et utiliser des ressources EMR.

Procédure

1. Accédez à la page DataStudio.

   Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.

2. Créez un workflow. Pour plus d'informations, consultez Créer un workflow planifié.

3. Développez votre programme dans un environnement Java local, empaquetez-le dans un fichier JAR, puis créez et soumettez une ressource JAR. Pour plus d'informations, consultez Créer et utiliser des ressources EMR.

4. Créez une fonction.

   1. Ouvrez le workflow souhaité, cliquez avec le bouton droit sur EMR et sélectionnez Create Function.

   2. Dans la boîte de dialogue Create Function, saisissez un Name, puis sélectionnez une instance Engine Instance et un Path.

   3. Cliquez sur Create.

   4. Dans la boîte de dialogue Register Function, configurez les paramètres suivants.

      Parameter	Description
      Function Type	Sélectionnez un type de fonction. Les options incluent Mathematical Operation Functions, Aggregate Functions, String Processing Functions, Date Functions, Window Functions et Other Functions.
      EMR engine instance	Une valeur par défaut est affichée et ne peut pas être modifiée.
      EMR engine type	Une valeur par défaut est affichée et ne peut pas être modifiée.
      EMR database	Sélectionnez une base de données dans la liste déroulante. Pour créer une nouvelle base de données, cliquez sur Create Database. Dans la boîte de dialogue Create Database, configurez les paramètres et cliquez sur OK.
      Function Name	Nom de l'UDF utilisé dans les instructions SQL. Ce nom doit être globalement unique et ne peut pas être modifié après l'enregistrement.
      Owner	Le propriétaire est affiché par défaut.
      Class Name	Obligatoire. Nom de la classe principale qui implémente l'UDF.
      Resources	Obligatoire. Sélectionnez une ressource dans l'espace de travail actuel. Pour créer une ressource, cliquez sur Create Resource. Dans la boîte de dialogue Create Resource, configurez les paramètres et cliquez sur Determine.
      Description	Breve description de l'UDF.
      Expression Syntax	Exemple d'utilisation de l'UDF, tel que test.
      Parameter Description	Types de paramètres d'entrée et de retour pris en charge.
      Return Value	Facultatif. Valeur de retour, par exemple 1.
      Example	Facultatif. Exemple d'utilisation.

5. Cliquez sur l'icône Enregistrer dans la barre d'outils.

6. Soumettez la fonction.

   1. Cliquez sur l'icône Soumettre dans la barre d'outils.

      Remarque

      Lorsque vous soumettez la fonction, sélectionnez un groupe de ressources de planification. Un groupe de ressources serverless est recommandé. Avec un groupe de ressources serverless, DataWorks soumet la tâche d'enregistrement de la fonction au moteur EMR, qui exécute la tâche et imprime les journaux d'exécution pour le dépannage. Si aucun groupe de ressources serverless n'est disponible, achetez-en un et configurez-le. Pour plus d'informations, consultez Utiliser des groupes de ressources serverless.

   2. Dans la boîte de dialogue Commit Node, saisissez une Change Description.

   3. Cliquez sur OK.