E-MapReduce:Manage Kyuubi Gateways

Gérer les jetons

1. Sur la page Kyuubi Gateway, localisez la passerelle cible et cliquez sur Token Management dans la colonne Actions.

2. Cliquez sur Create Token.

3. Dans la boîte de dialogue Create Token, configurez les paramètres et cliquez sur OK.

   Parameter	Description
   Name	Le nom du nouveau jeton.
   Expired At	Définissez la durée de vie (TTL) du jeton. Le nombre de jours doit être supérieur ou égal à 1. Par défaut, cette fonctionnalité est activée et le jeton expire après 365 jours.
   Assign Object	Remarque Si vous utilisez DLF (anciennement DLF 2.5) par défaut dans l'onglet Catalogs, vous devez configurer ce paramètre. Assurez-vous que l'utilisateur RAM ou le rôle RAM configuré dispose des autorisations nécessaires pour accéder à DLF. Pour plus d'informations sur l'attribution des autorisations, consultez Ajouter une autorisation. L'utilisateur RAM ou le rôle RAM doit être ajouté à l'espace de travail Spark avant d'apparaître dans la liste déroulante Assign Object. Pour plus d'informations, consultez Gérer les utilisateurs et les rôles. Dans la liste déroulante, sélectionnez l'utilisateur RAM ou le rôle RAM que vous avez ajouté dans Access Control. Spécifiez l'utilisateur RAM ou le rôle RAM auquel le jeton est attribué. Cet utilisateur ou ce rôle est utilisé pour accéder à DLF lorsque vous vous connectez à la passerelle Kyuubi pour soumettre une tâche Spark.

4. Copiez les informations du jeton.

   Important

   Après la création d'un jeton, vous devez copier immédiatement les informations du jeton, car vous ne pourrez plus les consulter ultérieurement. Si un jeton expire ou est perdu, vous devez créer ou réinitialiser le jeton.

Lorsque vous vous connectez à une passerelle Kyuubi, remplacez les espaces réservés de l'URL JDBC par vos informations réelles :

• <endpoint> : le endpoint que vous pouvez obtenir depuis l'onglet Overview.

• <port> : le numéro de port. Utilisez le port 443 pour accéder au endpoint public et le port 80 pour accéder au endpoint interne dans la même région.

• <token> : le token que vous avez copié depuis l'onglet Token Management.

• <tokenname> : le nom du token. Vous pouvez obtenir ce nom depuis l'onglet Token Management.

• <UserName/RoleName> : l'utilisateur RAM ou le rôle RAM que vous avez ajouté dans Access Control.

Connexion avec Beeline

Lors de la connexion à une passerelle Kyuubi, assurez-vous que la version de votre client Beeline est compatible avec la version côté serveur de Kyuubi. Si vous n'avez pas encore installé Beeline, consultez la section Getting Started - Apache Kyuubi.

Effectuez l'une des opérations suivantes selon le catalogue par défaut utilisé sur la page Catalogs.

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<UserName/RoleName>;httpPath=cliservice/token/<token>"

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>"

Lors de la connexion avec Beeline, vous pouvez modifier les paramètres de session. Par exemple : beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;#spark.sql.shuffle.partitions=100;spark.executor.instances=2;".

Connexion avec Java

• Mettez à jour le fichier pom.xml.

  Remplacez hadoop-common et hive-jdbc par les versions de dépendance appropriées.

  <dependencies>
          <dependency>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
              <version>3.0.0</version>
          </dependency>
          <dependency>
              <groupId>org.apache.hive</groupId>
              <artifactId>hive-jdbc</artifactId>
              <version>2.3.9</version>
          </dependency>
      </dependencies>

• Écrivez le code Java nécessaire pour vous connecter à la passerelle Kyuubi.

  Effectuez l'une des opérations suivantes selon le catalogue par défaut utilisé sur la page Catalogs.

  Utiliser DLF (anciennement DLF 2.5)

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;user=<UserName/RoleName>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

  Utiliser d'autres catalogues

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

Connexion avec Python

1. Exécutez la commande suivante pour installer les packages PyHive et Thrift.

   pip3 install pyhive thrift

2. Rédigez un script Python pour vous connecter à la passerelle Kyuubi.

   L'exemple suivant présente un script Python qui se connecte à une passerelle Kyuubi et affiche la liste des bases de données.

   Effectuez l'une des opérations suivantes selon le catalogue par défaut utilisé sur la page Catalogs.

   Utiliser DLF (anciennement DLF 2.5)

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<UserName/RoleName>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

   Utiliser d'autres catalogues

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<tokenname>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

Connexion à l'aide de l'API REST

Kyuubi Gateway met à disposition des API REST compatibles avec les standards open source, permettant d'interagir avec le service Kyuubi via HTTP. Seuls les chemins d'API suivants sont pris en charge à ce jour :

• /api/v1/sessions/*

• /api/v1/operations/*

• /api/v1/batches/*

Les exemples ci-dessous illustrent la procédure de connexion à un Kyuubi Gateway par le biais de l'API REST.

• Exemple 1 : Démarrage d'une session et exécution d'une requête SQL.

  1. Créez une session et spécifiez les configurations Spark.

     Effectuez l'une des opérations suivantes selon le catalogue par défaut utilisé sur la page Catalogs.

     Remarque

     • spark.emr.serverless.kyuubi.engine.queue définit la file d'attente utilisée par la tâche Spark lors de l'exécution. Remplacez <dev_queue> par le nom réel de la file d'attente.

     • Remplacez <UserName/Rolename> par le nom d'utilisateur ou de rôle effectif.

     • <password> est un espace réservé ; vous pouvez saisir n'importe quelle valeur.

     Utiliser DLF (anciennement DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/Rolename>:<password>' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Utiliser d'autres catalogues

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Un message similaire au suivant est renvoyé. Dans cette réponse, identifier correspond au handle de session Kyuubi, qui identifie une session de manière unique. Dans cette rubrique, cette valeur est désignée par <sessionHandle>.

     {"identifier":"619e6ded-xxxx-xxxx-xxxx-c2a43f6fac46","kyuubiInstance":"0.0.0.0:10099"}

  2. Créez une instruction.

     Utiliser DLF (anciennement DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/RoleName>:<password>' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Utiliser d'autres catalogues

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     La réponse ressemble à celle ci-dessous. Le champ identifier représente le handle d'opération Kyuubi, identifiant de façon unique une opération spécifique. Nous utiliserons <operationHandle> pour désigner cette valeur dans la suite de cette rubrique.

     {"identifier":"a743e8ff-xxxx-xxxx-xxxx-a66fec66cfa4"}

  3. Récupérez le statut de l'instruction.

     Utiliser DLF (anciennement DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json' \
       -u '<UserName/RoleName>:<password>'

     Utiliser d'autres catalogues

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json'

  4. Récupérez le résultat de l'instruction.

     Utiliser DLF (anciennement DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'  \
       -u '<UserName/RoleName>:<password>'

     Utiliser d'autres catalogues

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'

• Exemple 2 : Soumission d'un job par lot via l'API batches.

  Soumettez un job de traitement par lot Spark au Kyuubi Gateway en utilisant l'API REST. Le Kyuubi Gateway lance alors une application Spark et exécute la tâche spécifiée en fonction des paramètres fournis dans la requête.

  Pour cet exemple, outre le remplacement des informations telles que <endpoint>, <port> et <token>, vous devez également cliquer sur spark-examples_2.12-3.3.1.jar afin de télécharger le package JAR de test.

  Remarque

  Ce package JAR constitue un exemple simple fourni avec Spark, servant à calculer la valeur de Pi (π).

  Utiliser DLF (anciennement DLF 2.5)

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --user '<UserName/RoleName>:<password>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

  Utiliser d'autres catalogues

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

Connexion à l'aide d'Apache Superset

Apache Superset est une plateforme moderne d'exploration et de visualisation de données, offrant une grande variété de graphiques. Pour plus d'informations sur Superset, consultez la documentation Superset.

pip install thrift==0.20.0

1. Démarrez Superset et accédez à son interface. Pour connaître la procédure de démarrage de Superset, reportez-vous à la documentation Superset.

2. Dans le coin supérieur droit de la page, cliquez sur DATABASE pour accéder à la page de connexion à une base de données.

3. Sur la page de connexion à une base de données, sélectionnez Apache Spark SQL.

4. Dans le champ SQLAlchemy URI, saisissez la chaîne de connexion correspondant à votre méthode d'accès.

   Accès via le réseau public

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

   Accès via le réseau VPC

   hive+http://<username>:<token>@<endpoint>:80/<db_name>

   Le tableau suivant décrit les paramètres.

   Paramètre	Description
   username	Nom d'utilisateur. Vous pouvez saisir n'importe quelle valeur.
   Token	Jeton d'accès.
   Endpoint	Point de terminaison d'accès du Kyuubi Gateway. Veillez à distinguer le point de terminaison public du point de terminaison interne.
   db_name	Nom de la base de données.

5. Cliquez sur Connect pour finaliser la configuration de la connexion.

Connexion à l'aide de HUE

pip install thrift==0.20.0

1. Modifiez le fichier de configuration HUE /etc/hue/hue.conf et ajoutez la configuration correspondant à votre méthode d'accès.

   Accès via le réseau public

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

   Accès via le réseau VPC

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+http://<username>:<token>@<endpoint>:80/"}'

   Le tableau suivant détaille les paramètres.

   Paramètre	Description
   username	Nom d'utilisateur. Vous pouvez saisir n'importe quelle valeur.
   Token	Jeton d'accès.
   Endpoint	Point de terminaison d'accès du Kyuubi Gateway.

2. Redémarrez le service HUE.

   sudo service hue restart

3. Connectez-vous à l'interface web HUE. Dans le volet de navigation de gauche, choisissez Query > Editor > SparkSql pour vérifier la connexion.

Se connecter à l'aide de DataGrip

1. Ouvrez DataGrip et créez un nouveau projet.

2. Dans le panneau Database Explorer situé à droite, cliquez sur l'icône + et choisissez Data Source > Other > Apache Spark.

3. Dans la boîte de dialogue Data Sources and Drivers, configurez les paramètres suivants.

   Paramètre	Description
   Name	Nom de connexion personnalisé.
   Authentication	Sélectionnez No auth ou User & Password. Vous pouvez saisir n'importe quel nom d'utilisateur.
   Driver	Sélectionnez Apache Spark ver. 1.2.2.
   URL	Accès au réseau public jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token> Accès au réseau VPC jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token> Où <endpoint> correspond au point de terminaison d'accès de la passerelle Kyuubi et <token> au jeton d'accès.

4. Cliquez sur Test Connection pour vérifier la connexion. Si le statut Succeeded s'affiche, le test de connexion a réussi.

5. Cliquez sur OK pour enregistrer la configuration.