E-MapReduce:Gerenciar Kyuubi Gateways

Gerenciar tokens

1. Na página Kyuubi Gateway, localize o gateway desejado e clique em Token Management na coluna Actions.

2. Clique em Create Token.

3. Na caixa de diálogo Create Token, configure os parâmetros e clique em OK.

   Parâmetro	Descrição
   Name	Nome do novo token.
   Expired At	Defina o tempo de vida (TTL) do token. O número de dias deve ser maior ou igual a 1. Por padrão, este recurso está ativado e o token expira após 365 dias.
   Assign Object	Nota Se você usar o DLF (anteriormente DLF 2.5) por padrão na aba Catalogs, configure este parâmetro. Certifique-se de que o usuário ou função do Resource Access Management (RAM) configurado tenha permissões para acessar o DLF. Para mais informações sobre como conceder permissões, consulte Adicionar uma autorização. O usuário ou função RAM deve ser adicionado ao workspace Spark antes de aparecer na lista suspensa Assign Object. Para mais informações, consulte Gerenciar usuários e funções. Na lista suspensa, selecione o usuário ou função RAM adicionado em Access Control. Especifique o usuário ou função RAM ao qual o token será atribuído. Esse usuário ou função é usado para acessar o DLF quando você se conecta ao Kyuubi Gateway para enviar uma tarefa Spark.

4. Copie as informações do token.

   Importante

   Após a criação de um token, copie as informações imediatamente, pois não será possível visualizá-las novamente. Se um token expirar ou for perdido, crie ou redefina o token.

Ao se conectar a um Kyuubi Gateway, substitua os placeholders na URL JDBC pelas suas informações reais:

• <endpoint>: O endpoint obtido na aba Overview.

• <port>: O número da porta. Use a porta 443 para acesso via endpoint público e a porta 80 para acesso via endpoint interno da mesma região.

• <token>: O token copiado na aba Token Management.

• <tokenname>: O nome do token. Obtenha o nome na aba Token Management.

• <UserName/RoleName>: O usuário ou função RAM adicionado em Access Control.

Conectar usando Beeline

Ao se conectar a um Kyuubi Gateway, certifique-se de que sua versão do Beeline seja compatível com a versão do servidor Kyuubi. Se ainda não instalou o Beeline, consulte Getting Started - Apache Kyuubi.

Execute uma das seguintes operações com base no catálogo padrão usado na página Catalogs.

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<UserName/RoleName>;httpPath=cliservice/token/<token>"

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>"

Durante a conexão via Beeline, modifique os parâmetros de sessão. Por exemplo, beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;#spark.sql.shuffle.partitions=100;spark.executor.instances=2;".

Conectar usando Java

• Atualize o arquivo pom.xml.

  Substitua hadoop-common e hive-jdbc pelas versões de dependência apropriadas.

  <dependencies>
          <dependency>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
              <version>3.0.0</version>
          </dependency>
          <dependency>
              <groupId>org.apache.hive</groupId>
              <artifactId>hive-jdbc</artifactId>
              <version>2.3.9</version>
          </dependency>
      </dependencies>

• Escreva o código Java para conectar-se ao Kyuubi Gateway.

  Execute uma das seguintes operações com base no catálogo padrão usado na página Catalogs.

  Usar DLF (anteriormente DLF 2.5)

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;user=<UserName/RoleName>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

  Usar outros catálogos

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

Conectar usando Python

1. Execute o comando a seguir para instalar os pacotes PyHive e Thrift.

   pip3 install pyhive thrift

2. Escreva um script Python para conectar-se ao Kyuubi Gateway.

   O exemplo a seguir mostra um script Python que se conecta a um Kyuubi Gateway e exibe uma lista de bancos de dados.

   Execute uma das seguintes operações com base no catálogo padrão usado na página Catalogs.

   Usar DLF (anteriormente DLF 2.5)

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<UserName/RoleName>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

   Usar outros catálogos

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<tokenname>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

Conectar usando a REST API

O Kyuubi Gateway fornece REST APIs compatíveis com open source que permitem interagir com o serviço Kyuubi via HTTP. Atualmente, há suporte apenas para os seguintes caminhos de API:

• /api/v1/sessions/*

• /api/v1/operations/*

• /api/v1/batches/*

Os exemplos a seguir mostram como usar a REST API para conectar-se a um Kyuubi Gateway.

• Exemplo 1: Iniciar uma sessão e executar uma consulta SQL.

  1. Crie uma sessão e especifique as configurações do Spark.

     Execute uma das seguintes operações com base no catálogo padrão usado na página Catalogs.

     Nota

     • spark.emr.serverless.kyuubi.engine.queue especifica a fila usada pela tarefa Spark durante a execução. Substitua <dev_queue> pelo nome real da fila.

     • Substitua <UserName/Rolename> pelo nome de usuário ou função real.

     • <password> é um placeholder. Insira qualquer valor.

     Usar DLF (anteriormente DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/Rolename>:<password>' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Usar outros catálogos

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Uma mensagem semelhante à seguinte é retornada. Nela, identifier é o identificador de sessão do Kyuubi, que identifica exclusivamente uma sessão. Neste tópico, esse valor é referido como <sessionHandle>.

     {"identifier":"619e6ded-xxxx-xxxx-xxxx-c2a43f6fac46","kyuubiInstance":"0.0.0.0:10099"}

  2. Crie uma instrução.

     Usar DLF (anteriormente DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/RoleName>:<password>' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Usar outros catálogos

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Uma mensagem semelhante à seguinte é retornada. Nela, identifier é o identificador de operação do Kyuubi, que identifica exclusivamente uma operação específica. Neste tópico, esse valor é referido como <operationHandle>.

     {"identifier":"a743e8ff-xxxx-xxxx-xxxx-a66fec66cfa4"}

  3. Recupere o status da instrução.

     Usar DLF (anteriormente DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json' \
       -u '<UserName/RoleName>:<password>'

     Usar outros catálogos

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json'

  4. Recupere o resultado da instrução.

     Usar DLF (anteriormente DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'  \
       -u '<UserName/RoleName>:<password>'

     Usar outros catálogos

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'

• Exemplo 2: Usar a batches API para enviar um job em lote.

  Envie um job de processamento em lote do Spark para o Kyuubi Gateway usando a REST API. O Kyuubi Gateway inicia uma aplicação Spark e executa a tarefa especificada com base nos parâmetros da requisição.

  Neste exemplo, além de substituir informações como <endpoint>, <port> e <token>, clique em spark-examples_2.12-3.3.1.jar para baixar o pacote JAR de teste.

  Nota

  Este pacote JAR é um exemplo simples fornecido com o Spark e serve para calcular o valor de Pi (π).

  Usar DLF (anteriormente DLF 2.5)

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --user '<UserName/RoleName>:<password>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

  Usar outros catálogos

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

Conectar usando Apache Superset

O Apache Superset é uma plataforma moderna de exploração e visualização de dados com uma rica variedade de gráficos. Para mais informações sobre o Superset, consulte a documentação do Superset.

pip install thrift==0.20.0

1. Inicie o Superset e acesse a interface do Superset. Para mais informações sobre como iniciar o Superset, consulte a documentação do Superset.

2. No canto superior direito da página, clique em DATABASE para acessar a página Connect a database.

3. Na página Connect a database, selecione Apache Spark SQL.

4. No campo SQLAlchemy URI, insira a string de conexão correspondente ao método de acesso.

   Acesso via rede pública

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

   Acesso via rede VPC

   hive+http://<username>:<token>@<endpoint>:80/<db_name>

   A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição
   username	Nome de usuário. Insira qualquer valor.
   Token	Token de acesso.
   Endpoint	Endpoint de acesso do Kyuubi Gateway. Diferencie entre o endpoint público e o endpoint interno.
   db_name	Nome do banco de dados.

5. Clique em Connect para concluir a configuração da conexão.

Conectar usando HUE

pip install thrift==0.20.0

1. Edite o arquivo de configuração do HUE /etc/hue/hue.conf e adicione a configuração correspondente ao seu método de acesso.

   Acesso via rede pública

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

   Acesso via rede VPC

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+http://<username>:<token>@<endpoint>:80/"}'

   Os parâmetros estão descritos na tabela a seguir.

   Parâmetro	Descrição
   username	Nome de usuário. Insira qualquer valor.
   Token	Token de acesso.
   Endpoint	Endpoint de acesso do Kyuubi Gateway.

2. Reinicie o serviço HUE.

   sudo service hue restart

3. Faça login na interface web do HUE. No painel de navegação à esquerda, escolha Query > Editor > SparkSql para verificar a conexão.

Conectar usando DataGrip

1. Abra o DataGrip e crie um novo projeto.

2. No painel Database Explorer à direita, clique em ícone + e escolha Data Source > Other > Apache Spark.

3. Na caixa de diálogo Data Sources and Drivers, configure os seguintes parâmetros.

   Parâmetro	Descrição
   Name	Nome personalizado da conexão.
   Authentication	Selecione No auth ou User & Password. Insira qualquer nome de usuário.
   Driver	Selecione Apache Spark ver. 1.2.2.
   URL	Acesso via rede pública jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token> Acesso via rede VPC jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token> Onde <endpoint> é o endpoint de acesso do Kyuubi Gateway e <token> é o token de acesso.

4. Clique em Test Connection para verificar a conexão.

5. Clique em OK para salvar a configuração.