E-MapReduce：Mengelola Sesi Spark Thrift Server

Terhubung ke Spark Thrift Server menggunakan Python

1. Jalankan perintah berikut untuk menginstal paket PyHive dan Thrift:

   pip install pyhive thrift

2. Tulis skrip Python untuk terhubung ke Spark Thrift Server.

   Berikut adalah contoh skrip Python yang menunjukkan cara terhubung ke Hive dan menampilkan daftar database. Pilih metode koneksi yang sesuai berdasarkan lingkungan jaringan Anda (publik atau internal).

   Terhubung menggunakan endpoint publik

   from pyhive import hive
   
   if __name__ == '__main__':
       # Ganti <endpoint>, <username>, dan <token> dengan informasi aktual Anda.
       cursor = hive.connect('<endpoint>', port=443, scheme='https', username='<username>', password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

   Terhubung menggunakan endpoint internal wilayah yang sama

   from pyhive import hive
   
   if __name__ == '__main__':
       # Ganti <endpoint>, <username>, dan <token> dengan informasi aktual Anda.
       cursor = hive.connect('<endpoint>', port=80, scheme='http', username='<username>', password='<token>').cursor()
       cursor.execute('show databases')
       print(cursor.fetchall())
       cursor.close()

Terhubung ke Spark Thrift Server menggunakan Java

1. Tambahkan dependensi Maven berikut ke file pom.xml:

   <dependencies>
           <dependency>
               <groupId>org.apache.hadoop</groupId>
               <artifactId>hadoop-common</artifactId>
               <version>3.0.0</version>
           </dependency>
           <dependency>
               <groupId>org.apache.hive</groupId>
               <artifactId>hive-jdbc</artifactId>
               <version>2.1.0</version>
           </dependency>
       </dependencies>
   

   Catatan

   Versi Hive bawaan di Serverless Spark adalah 2.x. Oleh karena itu, hanya versi hive-jdbc 2.x yang didukung.

2. Tulis kode Java untuk terhubung ke Spark Thrift Server.

   Berikut adalah contoh kode Java yang terhubung ke Spark Thrift Server dan menanyakan daftar database.

   Terhubung menggunakan endpoint publik

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   import org.apache.hive.jdbc.HiveStatement;
   
   public class Main {
       public static void main(String[] args) throws Exception {
           String url = "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>";
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           Connection conn = DriverManager.getConnection(url);
           HiveStatement stmt = (HiveStatement) conn.createStatement();
   
           String sql = "show databases";
           System.out.println("Running " + sql);
           ResultSet res = stmt.executeQuery(sql);
   
           ResultSetMetaData md = res.getMetaData();
           String[] columns = new String[md.getColumnCount()];
           for (int i = 0; i < columns.length; i++) {
               columns[i] = md.getColumnName(i + 1);
           }
           while (res.next()) {
               System.out.print("Row " + res.getRow() + "=[");
               for (int i = 0; i < columns.length; i++) {
                   if (i != 0) {
                       System.out.print(", ");
                   }
                   System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
               }
               System.out.println(")]");
           }
           
           conn.close();
       }
   }

   Terhubung menggunakan endpoint internal wilayah yang sama

   import java.sql.Connection;
   import java.sql.DriverManager;
   import java.sql.ResultSet;
   import java.sql.ResultSetMetaData;
   import org.apache.hive.jdbc.HiveStatement;
   
   public class Main {
       public static void main(String[] args) throws Exception {
           String url = "jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token>";
           Class.forName("org.apache.hive.jdbc.HiveDriver");
           Connection conn = DriverManager.getConnection(url);
           HiveStatement stmt = (HiveStatement) conn.createStatement();
   
           String sql = "show databases";
           System.out.println("Running " + sql);
           ResultSet res = stmt.executeQuery(sql);
   
           ResultSetMetaData md = res.getMetaData();
           String[] columns = new String[md.getColumnCount()];
           for (int i = 0; i < columns.length; i++) {
               columns[i] = md.getColumnName(i + 1);
           }
           while (res.next()) {
               System.out.print("Row " + res.getRow() + "=[");
               for (int i = 0; i < columns.length; i++) {
                   if (i != 0) {
                       System.out.print(", ");
                   }
                   System.out.print(columns[i] + "='" + res.getObject(i + 1) + "'");
               }
               System.out.println(")]");
           }
           
           conn.close();
       }
   }

Terhubung ke Spark Thrift Server menggunakan Spark Beeline

• Jika menggunakan kluster mandiri, Anda perlu pergi ke direktori bin Spark, kemudian gunakan beeline untuk terhubung ke Spark Thrift Server.

  Terhubung menggunakan endpoint publik

  cd /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3/bin/
  
  ./beeline -u "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>"

  Terhubung menggunakan endpoint internal wilayah yang sama

  cd /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3/bin/
  
  ./beeline -u "jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token>"

  Catatan

  Contoh jalur instalasi Spark di kluster EMR pada ECS adalah /opt/apps/SPARK3/spark-3.4.2-hadoop3.2-1.0.3. Sesuaikan jalur berdasarkan instalasi Spark sebenarnya pada klien Anda. Gunakan perintah env | grep SPARK_HOME jika Anda tidak yakin tentang jalur instalasi Spark.

• Jika menggunakan kluster EMR pada ECS, Anda dapat langsung menggunakan klien Spark Beeline untuk terhubung ke Spark Thrift Server.

  Terhubung menggunakan endpoint publik

  spark-beeline -u "jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token>"

  Terhubung menggunakan endpoint internal wilayah yang sama

  spark-beeline -u "jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token>"

Saat menggunakan Hive Beeline untuk terhubung ke Serverless Spark Thrift Server, kesalahan berikut biasanya terjadi karena versi Hive Beeline tidak kompatibel dengan Spark Thrift Server. Oleh karena itu, kami sarankan menggunakan Hive Beeline 2.x.

24/08/22 15:09:11 [main]: ERROR jdbc.HiveConnection: Error opening session
org.apache.thrift.transport.TTransportException: HTTP Response code: 404

Terhubung ke Spark Thrift Server dengan mengonfigurasi Apache Superset

Apache Superset adalah platform eksplorasi dan visualisasi data modern dengan berbagai macam bentuk grafik, mulai dari grafik garis sederhana hingga grafik geospasial yang sangat rinci. Untuk informasi lebih lanjut tentang Superset, lihat Superset.

1. Instal dependensi.

   Pastikan Anda telah menginstal paket thrift versi 0.20.0. Jika belum, instal menggunakan perintah berikut:

   pip install thrift==0.20.0

2. Mulai Superset dan buka antarmuka Superset.

   Untuk informasi lebih lanjut tentang cara memulai Superset, lihat Dokumentasi Superset.

3. Klik DATABASE di pojok kanan atas halaman untuk pergi ke halaman Connect a database.

4. Di halaman Connect a database, pilih Apache Spark SQL.

   

5. Masukkan string koneksi dan konfigurasikan parameter sumber data terkait.

   Terhubung menggunakan endpoint publik

   hive+https://<username>:<token>@<endpoint>:443/<db_name>

   Terhubung menggunakan endpoint internal wilayah yang sama

   hive+http://<username>:<token>@<endpoint>:80/<db_name>

6. Klik FINISH untuk mengonfirmasi koneksi dan verifikasi berhasil.

Terhubung ke Spark Thrift Server dengan mengonfigurasi Hue

Hue adalah antarmuka web open-source populer untuk berinteraksi dengan ekosistem Hadoop. Untuk informasi lebih lanjut tentang Hue, lihat Dokumentasi Resmi Hue.

1. Instal dependensi.

   Pastikan Anda telah menginstal paket thrift versi 0.20.0. Jika belum, instal menggunakan perintah berikut:

   pip install thrift==0.20.0

2. Tambahkan string koneksi Spark SQL ke file konfigurasi Hue.

   Temukan file konfigurasi Hue (biasanya terletak di /etc/hue/hue.conf) dan tambahkan konten berikut ke file tersebut:

   Terhubung menggunakan endpoint publik

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+https://<username>:<token>@<endpoint>:443/"}'

   Terhubung menggunakan endpoint internal wilayah yang sama

   [[[sparksql]]]
        name = Spark Sql
        interface=sqlalchemy
        options='{"url": "hive+http://<username>:<token>@<endpoint>:80/"}'

3. Mulai ulang Hue.

   Setelah memodifikasi konfigurasi, jalankan perintah berikut untuk memulai ulang layanan Hue agar perubahan diterapkan:

   sudo service hue restart

4. Verifikasi koneksi.

   Setelah Hue berhasil dimulai ulang, akses antarmuka Hue dan temukan opsi Spark SQL. Jika konfigurasi benar, Anda seharusnya dapat terhubung ke Spark Thrift Server dan menjalankan kueri SQL.

   

Terhubung ke Spark Thrift Server menggunakan DataGrip

DataGrip adalah lingkungan manajemen database untuk pengembang, dirancang untuk memfasilitasi penulisan, pembuatan, dan manajemen database. Database dapat berjalan secara lokal, di server, atau di cloud. Untuk informasi lebih lanjut tentang DataGrip, lihat DataGrip.

1. Instal DataGrip. Untuk informasi lebih lanjut, lihat Instal DataGrip.

   Versi DataGrip yang digunakan dalam contoh ini adalah 2025.1.2.

2. Buka klien DataGrip dan akses antarmuka DataGrip.

3. Buat proyek.

   1. Klik dan pilih Flie > New > > Project.

      

   2. Di kotak dialog New Project, masukkan nama proyek, seperti Spark, dan klik OK

4. Klik ikon di bilah menu Database Explorer. Pilih Data Source > Other > Apache Spark.

   

5. Di kotak dialog Data Sources and Drivers, konfigurasikan parameter berikut:

   

   Tab	Parameter	Deskripsi
   General	Name	Nama koneksi kustom. Contohnya, spark_thrift_server.
   	Authentication	Metode autentikasi. Dalam contoh ini, No auth dipilih. Dalam lingkungan produksi, pilih User & Password untuk memastikan hanya pengguna yang berwenang yang dapat mengirimkan tugas SQL, yang meningkatkan keamanan sistem.
   	Driver	Klik Apache Spark, lalu klik Go to Driver untuk memastikan versi Driver adalah ver. 1.2.2. Catatan Karena versi engine Serverless Spark saat ini adalah 3.x, versi Driver harus 1.2.2 untuk memastikan stabilitas sistem dan kompatibilitas fitur.
   	URL	URL untuk terhubung ke Spark Thrift Server. Berdasarkan lingkungan jaringan Anda (publik atau internal), Anda dapat memilih metode koneksi yang sesuai. Terhubung menggunakan endpoint publik jdbc:hive2://<endpoint>:443/;transportMode=http;httpPath=cliservice/token/<token> Terhubung menggunakan endpoint internal wilayah yang sama jdbc:hive2://<endpoint>:80/;transportMode=http;httpPath=cliservice/token/<token>
   Options	Run keep-alive query	Parameter ini opsional. Pilih parameter ini untuk mencegah pemutusan otomatis karena timeout.

6. Klik Test Connection untuk memastikan sumber data dikonfigurasi dengan sukses.

   

7. Klik OK untuk menyelesaikan konfigurasi.

8. Gunakan DataGrip untuk mengelola Spark Thrift Server.

   Setelah DataGrip berhasil terhubung ke Spark Thrift Server, Anda dapat melakukan pengembangan data. Untuk informasi lebih lanjut, lihat Bantuan DataGrip.

   Sebagai contoh, di bawah koneksi yang dibuat, Anda dapat mengklik kanan tabel target dan memilih New > > Query Console. Kemudian, Anda dapat menulis dan menjalankan skrip SQL di editor SQL di sebelah kanan untuk melihat informasi data tabel.