E-MapReduce:Mengelola Gerbang Kyuubi

Kelola token

1. Pada halaman Kyuubi Gateway, temukan gerbang yang dituju dan klik Token Management di kolom Actions.

2. Klik Create Token.

3. Pada kotak dialog Create Token, konfigurasikan parameter dan klik OK.

   Parameter	Deskripsi
   Name	Nama token baru.
   Expired At	Tetapkan waktu hidup (TTL) untuk token. Jumlah hari harus lebih besar dari atau sama dengan 1. Secara default, fitur ini diaktifkan dan token kedaluwarsa setelah 365 hari.
   Assign Object	Catatan Jika Anda menggunakan DLF (sebelumnya DLF 2.5) secara default pada tab Catalogs, Anda harus mengonfigurasi parameter ini. Pastikan Pengguna Resource Access Management (RAM) atau Peran RAM yang dikonfigurasi memiliki izin untuk mengakses DLF. Untuk informasi lebih lanjut tentang cara memberikan izin, lihat Add an authorization. Pengguna RAM atau Peran RAM harus ditambahkan ke ruang kerja Spark sebelum muncul dalam daftar drop-down Assign Object. Untuk informasi lebih lanjut, lihat Manage users and roles. Dari daftar drop-down, pilih Pengguna RAM atau Peran RAM yang telah Anda tambahkan di Access Control. Tentukan Pengguna RAM atau Peran RAM yang akan diberi token. Pengguna atau peran ini digunakan untuk mengakses DLF saat Anda terhubung ke Gerbang Kyuubi untuk mengirimkan tugas Spark.

4. Salin informasi token.

   Penting

   Setelah token dibuat, Anda harus segera menyalin informasi tokennya karena tidak dapat dilihat lagi nanti. Jika token kedaluwarsa atau hilang, Anda harus membuat atau mengatur ulang token tersebut.

Saat terhubung ke Gerbang Kyuubi, ganti placeholder dalam URL JDBC dengan informasi aktual Anda:

• <endpoint>: Titik akhir yang dapat Anda peroleh dari tab Overview.

• <port>: Nomor port. Gunakan port 443 untuk akses titik akhir publik dan port 80 untuk akses titik akhir internal wilayah yang sama.

• <token>: Token yang telah Anda salin dari tab Token Management.

• <tokenname>: Nama token. Anda dapat memperoleh nama tersebut dari tab Token Management.

• <UserName/RoleName>: Pengguna RAM atau Peran RAM yang telah Anda tambahkan di Access Control.

Terhubung menggunakan Beeline

Saat terhubung ke Gerbang Kyuubi, pastikan versi Beeline Anda kompatibel dengan versi sisi server Kyuubi. Jika belum menginstal Beeline, lihat Getting Started - Apache Kyuubi.

Lakukan salah satu operasi berikut berdasarkan katalog default yang digunakan pada halaman Catalogs.

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;user=<UserName/RoleName>;httpPath=cliservice/token/<token>"

beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>"

Saat terhubung menggunakan Beeline, Anda dapat memodifikasi parameter sesi. Contoh: beeline -u "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;#spark.sql.shuffle.partitions=100;spark.executor.instances=2;".

Terhubung menggunakan Java

• Perbarui file pom.xml.

  Ganti hadoop-common dan hive-jdbc dengan versi dependensi yang sesuai.

  <dependencies>
          <dependency>
              <groupId>org.apache.hadoop</groupId>
              <artifactId>hadoop-common</artifactId>
              <version>3.0.0</version>
          </dependency>
          <dependency>
              <groupId>org.apache.hive</groupId>
              <artifactId>hive-jdbc</artifactId>
              <version>2.3.9</version>
          </dependency>
      </dependencies>

• Tulis kode Java untuk terhubung ke Gerbang Kyuubi.

  Lakukan salah satu operasi berikut berdasarkan katalog default yang digunakan pada halaman Catalogs.

  Gunakan DLF (sebelumnya DLF 2.5)

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>;user=<UserName/RoleName>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

  Gunakan katalog lain

  import org.apache.hive.jdbc.HiveStatement;
  import java.sql.Connection;
  import java.sql.DriverManager;
  import java.sql.ResultSet;
  import java.sql.ResultSetMetaData;
  
  public class Main {
      public static void main(String[] args) throws Exception {
          String url = "jdbc:hive2://<endpoint>:<port>/;transportMode=http;httpPath=cliservice/token/<token>";
          Class.forName("org.apache.hive.jdbc.HiveDriver");
          Connection conn = DriverManager.getConnection(url);
          HiveStatement stmt = (HiveStatement) conn.createStatement();
  
  
          String sql = "select * from students;";
          System.out.println("Running " + sql);
          ResultSet res = stmt.executeQuery(sql);
  
          ResultSetMetaData md = res.getMetaData();
          String[] columns = new String[md.getColumnCount()];
          for (int i = 0; i < columns.length; i++) {
              columns[i] = md.getColumnName(i + 1);
          }
          while (res.next()) {
              System.out.print("Row " + res.getRow() + "=[");
              for (int i = 0; i < columns.length; i++) {
                  if (i != 0) {
                      System.out.print(", ");
                  }
                  System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
              }
              System.out.println(")]");
          }
  
          conn.close();
      }
  }

Terhubung menggunakan Python

1. Jalankan perintah berikut untuk menginstal paket PyHive dan Thrift.

   pip3 install pyhive thrift

2. Tulis skrip Python untuk terhubung ke Gerbang Kyuubi.

   Contoh berikut menunjukkan skrip Python yang terhubung ke Gerbang Kyuubi dan menampilkan daftar database.

   Lakukan salah satu operasi berikut berdasarkan katalog default yang digunakan pada halaman Catalogs.

   Gunakan DLF (sebelumnya DLF 2.5)

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<UserName/RoleName>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

   Gunakan katalog lain

   from pyhive import hive
   
   if __name__ == '__main__':
       cursor = hive.connect('<endpoint>',
                             port="<port>",
                             scheme='http',
                             username='<tokenname>',
                             password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

Terhubung menggunakan REST API

Gerbang Kyuubi menyediakan REST API yang kompatibel dengan open-source untuk berinteraksi dengan layanan Kyuubi melalui HTTP. Saat ini, hanya path API berikut yang didukung:

• /api/v1/sessions/*

• /api/v1/operations/*

• /api/v1/batches/*

Contoh berikut menunjukkan cara menggunakan REST API untuk terhubung ke Gerbang Kyuubi.

• Contoh 1: Mulai sesi dan lakukan kueri SQL.

  1. Buat sesi dan tentukan konfigurasi Spark.

     Lakukan salah satu operasi berikut berdasarkan katalog default yang digunakan pada halaman Catalogs.

     Catatan

     • spark.emr.serverless.kyuubi.engine.queue menentukan antrian yang digunakan oleh tugas Spark saat runtime. Ganti <dev_queue> dengan nama antrian aktual.

     • Ganti <UserName/Rolename> dengan nama pengguna atau nama peran aktual.

     • <password> adalah placeholder. Anda dapat memasukkan nilai apa pun.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/Rolename>:<password>' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Gunakan katalog lain

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "configs": {
         "set:hivevar:spark.emr.serverless.kyuubi.engine.queue": "<dev_queue>"
       }
     }'

     Pesan yang mirip dengan berikut akan dikembalikan. Dalam pesan tersebut, identifier adalah handle sesi Kyuubi, yang secara unik mengidentifikasi sesi. Dalam topik ini, nilai ini disebut sebagai <sessionHandle>.

     {"identifier":"619e6ded-xxxx-xxxx-xxxx-c2a43f6fac46","kyuubiInstance":"0.0.0.0:10099"}

  2. Buat statement.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -u '<UserName/RoleName>:<password>' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Gunakan katalog lain

     curl -X 'POST' \
       'http://<endpoint>:<port>/api/v1/sessions/<sessionHandle>/operations/statement/token/<token>' \
       -H 'accept: application/json' \
       -H 'Content-Type: application/json' \
       -d '{
       "statement": "select * from test;",
       "runAsync": true,
       "queryTimeout": 0,
       "confOverlay": {
         "additionalProp1": "string",
         "additionalProp2": "string"
       }
     }'

     Pesan yang mirip dengan berikut akan dikembalikan. Dalam pesan tersebut, identifier adalah handle operasi Kyuubi, yang secara unik mengidentifikasi operasi tertentu. Dalam topik ini, nilai ini disebut sebagai <operationHandle>.

     {"identifier":"a743e8ff-xxxx-xxxx-xxxx-a66fec66cfa4"}

  3. Ambil status pernyataan.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json' \
       -u '<UserName/RoleName>:<password>'

     Gunakan katalog lain

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/event/token/<token>' \
       -H 'accept: application/json'

  4. Ambil hasil statement.

     Gunakan DLF (sebelumnya DLF 2.5)

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'  \
       -u '<UserName/RoleName>:<password>'

     Gunakan katalog lain

     curl --location -X 'GET' \
       'http://<endpoint>:<port>/api/v1/operations/<operationHandle>/rowset/token/<token>/?maxrows=100&fetchorientation=FETCH_NEXT' \
       -H 'accept: application/json'

• Contoh 2: Gunakan API batches untuk mengirim pekerjaan batch.

  Kirim pekerjaan pemrosesan batch Spark ke Gerbang Kyuubi menggunakan REST API. Gerbang Kyuubi akan memulai aplikasi Spark dan menjalankan tugas yang ditentukan berdasarkan parameter dalam permintaan.

  Dalam contoh ini, selain mengganti informasi seperti <endpoint>, <port>, dan <token>, Anda juga harus mengklik spark-examples_2.12-3.3.1.jar untuk mengunduh paket JAR uji coba.

  Catatan

  Paket JAR ini adalah contoh sederhana yang disediakan bersama Spark dan digunakan untuk menghitung nilai Pi (π).

  Gunakan DLF (sebelumnya DLF 2.5)

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --user '<UserName/RoleName>:<password>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

  Gunakan katalog lain

  curl --location \
    --request POST 'http://<endpoint>:<port>/api/v1/batches/token/<token>' \
    --form 'batchRequest="{
      \"batchType\": \"SPARK\",
      \"className\": \"org.apache.spark.examples.SparkPi\",
      \"name\": \"kyuubi-spark-pi\",
      \"resource\": \"oss://bucket/path/to/spark-examples_2.12-3.3.1.jar\"
    }";type=application/json'

Terhubung menggunakan Apache Superset

Apache Superset adalah platform eksplorasi dan visualisasi data modern dengan beragam jenis grafik. Untuk informasi lebih lanjut tentang Superset, lihat dokumentasi Superset.

pip install thrift==0.20.0

1. Jalankan Superset dan buka antarmuka Superset. Untuk informasi lebih lanjut tentang cara menjalankan Superset, lihat dokumentasi Superset.

2. Di pojok kanan atas halaman, klik DATABASE untuk membuka halaman Connect a database.

3. Pada halaman Connect a database, pilih Apache Spark SQL.

4. Pada bidang SQLAlchemy URI, masukkan string koneksi yang sesuai dengan metode akses.

   Akses jaringan publik

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

   Akses jaringan VPC

   hive+http://<username>:<token>@<endpoint>:80/<db_name>

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi
   username	Nama pengguna. Anda dapat memasukkan nilai apa pun.
   Token	Token akses.
   Endpoint	Titik akhir akses Gerbang Kyuubi. Anda harus membedakan antara titik akhir publik dan titik akhir internal.
   db_name	Nama database.

5. Klik Connect untuk menyelesaikan konfigurasi koneksi.

Terhubung menggunakan HUE

pip install thrift==0.20.0

1. Edit file konfigurasi HUE /etc/hue/hue.conf dan tambahkan konfigurasi yang sesuai dengan metode akses Anda.

   Akses jaringan publik

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

   Akses jaringan VPC

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+http://<username>:<token>@<endpoint>:80/"}'

   Parameter dijelaskan dalam tabel berikut.

   Parameter	Deskripsi
   username	Nama pengguna. Anda dapat memasukkan nilai apa pun.
   Token	Token akses.
   Endpoint	Titik akhir akses Gerbang Kyuubi.

2. Restart layanan HUE.

   sudo service hue restart

3. Login ke antarmuka web HUE. Pada panel navigasi di sebelah kiri, pilih Query > Editor > SparkSql untuk memverifikasi koneksi.

Terhubung menggunakan DataGrip

1. Buka DataGrip dan buat proyek baru.

2. Pada panel Database Explorer di sebelah kanan, klik ikon + dan pilih Data Source > Other > Apache Spark.

3. Pada dialog Data Sources and Drivers, konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Name	Nama koneksi kustom.
   Authentication	Pilih No auth atau User & Password. Anda dapat memasukkan nama pengguna apa pun.
   Driver	Pilih Apache Spark ver. 1.2.2.
   URL	Akses jaringan publik jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token> Akses jaringan VPC jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token> Di mana <endpoint> adalah titik akhir akses Gerbang Kyuubi, dan <token> adalah token akses.

4. Klik Test Connection untuk memverifikasi koneksi.

5. Klik OK untuk menyimpan konfigurasi.