E-MapReduce：Kelola Gerbang Kyuubi

Kelola token

1. Pada halaman Kyuubi Gateway, temukan gerbang target lalu klik Token Management pada kolom Actions.

2. Klik Create Token.

3. Pada kotak dialog Create Token, konfigurasikan parameter, lalu klik OK.

   Parameter	Deskripsi
   Name	Nama token baru.
   Expiration Time	Tetapkan waktu kedaluwarsa token. Jumlah hari harus 1 atau lebih. Secara default, fitur ini diaktifkan dan token kedaluwarsa setelah 365 hari.
   Assign Object	Catatan Jika Anda menggunakan DLF (sebelumnya DLF 2.5) secara default pada tab Data Catalog, Anda harus mengonfigurasi parameter ini. Pastikan Pengguna RAM atau Peran RAM yang dikonfigurasi memiliki izin untuk mengakses DLF. Untuk informasi selengkapnya tentang cara memberikan izin, lihat Add an authorization. Dari daftar drop-down, pilih Pengguna RAM atau Peran RAM yang telah Anda tambahkan di Resource Access Management. Tentukan Pengguna RAM atau Peran RAM yang akan ditugaskan ke token tersebut. Ini digunakan untuk mengakses DLF saat Anda terhubung ke Gerbang Kyuubi untuk mengirim pekerjaan Spark.

4. Salin informasi token.

   Penting

   Anda harus segera menyalin informasi token setelah token dibuat karena informasi tersebut tidak dapat diambil kembali nanti. Jika token kedaluwarsa atau hilang, Anda harus membuat token baru atau mereset token tersebut.

Saat menghubungkan ke Gerbang Kyuubi, ganti placeholder pada URL JDBC:

• <endpoint>: Informasi titik akhir yang dapat Anda peroleh dari tab Overview.

• <port>: Nomor port. Nomor port adalah 443 untuk titik akhir publik dan 80 untuk titik akhir internal dalam wilayah yang sama.

• <token>: Informasi token yang telah Anda salin dari halaman Token Management.

• <tokenname>: Nama token. Anda dapat memperolehnya dari halaman Token Management.

• <UserName/RoleName>: Pengguna RAM atau Peran RAM yang telah Anda tambahkan ke Resource Access Management.

Hubungkan menggunakan Beeline

Sebelum menghubungkan ke Gerbang Kyuubi, pastikan versi Beeline Anda kompatibel dengan versi server Kyuubi. Jika belum menginstal Beeline, lihat Getting Started - Apache Kyuubi.

Pilih salah satu metode berikut berdasarkan katalog default yang dikonfigurasi pada halaman Data Catalog.

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<UserName/RoleName>;httpPath=cliservice/token/<token>"

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>"

Saat menghubungkan menggunakan Beeline, Anda dapat memodifikasi parameter sesi. Contoh: beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;#spark.sql.shuffle.partitions=100;spark.executor.instances=2;".

Hubungkan menggunakan Java

• Perbarui file pom.xml.

  Ganti hadoop-common dan hive-jdbc dengan versi dependensi yang sesuai.

  <dependencies>
          <dependency>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
              <version>3.0.0</version>
          </dependency>
          <dependency>
              <groupId>org.apache.hive</groupId>
              <artifactId>hive-jdbc</artifactId>
              <version>2.3.9</version>
          </dependency>
      </dependencies>

• Tulis kode Java untuk menghubungkan ke Gerbang Kyuubi.

  Pilih salah satu metode berikut berdasarkan katalog default yang dikonfigurasi di halaman Data Catalog.

  Gunakan DLF (sebelumnya DLF 2.5)

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;user=<UserName/RoleName>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

  Gunakan katalog lain

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

Hubungkan menggunakan Python

1. Jalankan perintah berikut untuk menginstal paket PyHive dan Thrift.

   pip3 install pyhive thrift

2. Tulis skrip Python untuk menghubungkan ke Gerbang Kyuubi.

   Skrip Python berikut merupakan contoh cara menghubungkan ke Gerbang Kyuubi dan menampilkan daftar database.

   Pilih salah satu metode berikut berdasarkan katalog default yang dikonfigurasi di halaman Data Catalog.

   Gunakan DLF (sebelumnya DLF 2.5)

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<UserName/RoleName>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

   Gunakan katalog lain

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<tokenname>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

Hubungkan menggunakan REST API

Gerbang Kyuubi menyediakan Representational State Transfer (REST) API yang kompatibel dengan open source untuk mendukung interaksi dengan layanan Kyuubi melalui HTTP. Saat ini, hanya path API berikut yang didukung:

• /api/v1/sessions/*

• /api/v1/operations/*

• /api/v1/batches/*

Contoh berikut menunjukkan cara menghubungkan ke Gerbang Kyuubi menggunakan REST API.

• Contoh 1: Mulai sesi dan jalankan kueri SQL.

  1. Buat sesi dan tentukan konfigurasi Spark.

     Pilih salah satu metode berikut berdasarkan katalog default yang dikonfigurasi di halaman Data Catalog.

     Catatan

     • spark.emr.serverless.kyuubi.engine.queue menentukan antrian yang digunakan oleh pekerjaan Spark saat runtime. Ganti <dev_queue> dengan nama antrian aktual.

     • <UserName/Rolename>: Ganti dengan nama pengguna atau nama peran aktual.

     • <password>: Ini adalah placeholder. Anda dapat memasukkan nilai apa pun.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/Rolename>:<password>' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Gunakan katalog lain

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Pesan yang mirip dengan berikut akan dikembalikan. Pada pesan tersebut, identifier menunjukkan handle sesi Kyuubi, yang secara unik mengidentifikasi sebuah sesi. Dalam topik ini, nilai ini disebut sebagai <sessionHandle>.

     {"identifier":"619e6ded-xxxx-xxxx-xxxx-c2a43f6fac46","kyuubiInstance":"0.0.0.0:10099"}

  2. Buat statement.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/RoleName>:<password>' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Gunakan katalog lain

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Pesan yang mirip dengan berikut akan dikembalikan. Di sini, identifier menunjukkan handle operasi Kyuubi, yang secara unik mengidentifikasi operasi tertentu. Dalam topik ini, nilai ini disebut sebagai <operationHandle>.

     {"identifier":"a743e8ff-xxxx-xxxx-xxxx-a66fec66cfa4"}

  3. Ambil status statement.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json' \
       -u '<UserName/RoleName>:<password>'

     Gunakan katalog lain

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json'

  4. Ambil hasil statement.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'  \
       -u '<UserName/RoleName>:<password>'

     Gunakan katalog lain

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'

• Contoh 2: Gunakan API batches untuk mengirim pekerjaan batch.

  Anda dapat mengirim pekerjaan pemrosesan batch Spark ke Gerbang Kyuubi menggunakan REST API. Gerbang Kyuubi akan memulai aplikasi Spark dan menjalankan tugas yang ditentukan berdasarkan parameter dalam permintaan.

  Pada contoh ini, selain mengganti informasi seperti <endpoint>, <port>, dan <token>, Anda juga harus mengunduh paket JAR uji dengan mengklik spark-examples_2.12-3.3.1.jar.

  Catatan

  Paket JAR ini merupakan contoh sederhana yang disertakan dengan Spark. Paket ini digunakan untuk menghitung nilai Pi (π).

  Gunakan DLF (sebelumnya DLF 2.5)

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --user '<UserName/RoleName>:<password>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

  Gunakan katalog lain

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'