Realtime Compute for Apache Flink：Kelola Katalog Hive

Prasyarat

Batasan

• Metastores Hive yang dikelola sendiri didukung.

• Hive 1.X, 2.1.X, dan 2.2.X tidak didukung di Apache Flink 1.16 atau versi lebih baru. Oleh karena itu, hanya Realtime Compute for Apache Flink yang menggunakan Ververica Runtime (VVR) 6.X yang mendukung Hive 1.X, 2.1.X, dan 2.2.X.

• Jika DLF digunakan sebagai metastore untuk katalog Hive, Anda hanya dapat membuat tabel non-Hive di katalog tersebut di Realtime Compute for Apache Flink yang menggunakan VVR 8.0.6 atau versi lebih baru.

• Anda dapat menggunakan katalog Hive untuk menulis data ke OSS-HDFS hanya di Realtime Compute for Apache Flink yang menggunakan VVR 8.0.6 atau versi lebih baru.

Konfigurasikan metadata Hive

1. Buat koneksi antara kluster Hadoop dan virtual private cloud (VPC) tempat Realtime Compute for Apache Flink berada.

   Anda dapat menggunakan Alibaba Cloud DNS PrivateZone untuk menghubungkan kluster Hadoop ke VPC tempat Realtime Compute for Apache Flink berada. Untuk informasi lebih lanjut, lihat Resolver. Setelah koneksi dibuat, Realtime Compute for Apache Flink dapat mengakses kluster Hadoop menggunakan file konfigurasi kluster Hadoop.

2. Metastores Hive atau Alibaba Cloud DLF dapat digunakan sebagai pusat manajemen metadata untuk katalog Hive. Bagian berikut menjelaskan konfigurasi terkait.

   Hive MetaStore

   Periksa apakah pengaturan parameter hive.metastore.uris di file konfigurasi Hive hive-site.xml memenuhi persyaratan berikut:

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI untuk metastore jarak jauh. Digunakan oleh klien metastore untuk terhubung ke metastore jarak jauh.</description>
    </property>

   xx.yy.zz.mm dalam file konfigurasi menunjukkan alamat IP internal atau publik Hive.

   Catatan

   Jika Anda mengatur parameter hive.metastore.uris ke nama host Hive, Anda harus mengonfigurasi layanan DNS Alibaba Cloud untuk mem-parsing nilai parameter tersebut. Jika tidak, nilai parameter hive.metastore.uris gagal diparsing dan pesan kesalahan UnknownHostException akan dikembalikan ketika Ververica Platform (VVP) mengakses Hive secara remote. Untuk informasi lebih lanjut tentang cara mengonfigurasi layanan DNS Alibaba Cloud, lihat Tambahkan Catatan DNS ke Zona Pribadi.

   Alibaba Cloud DLF

   Tambahkan konfigurasi berikut ke file konfigurasi Hive hive-site.xml untuk memastikan bahwa katalog Hive dapat mengakses DLF.

   Catatan

   Jika file hive-site.xml berisi item konfigurasi dlf.catalog.akMode, Anda harus menghapus item konfigurasi ini. Jika tidak, katalog Hive tidak dapat mengakses DLF.

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   Parameter	Deskripsi	Catatan
   dlf.catalog.uid	ID akun Alibaba Cloud Anda yang digunakan untuk mengakses DLF.	Untuk mendapatkan ID akun Alibaba Cloud Anda, buka halaman Pengaturan Keamanan.
   dlf.catalog.endpoint	Titik akhir layanan DLF.	Untuk informasi lebih lanjut, lihat Wilayah dan Titik Akhir yang Didukung. Catatan Kami merekomendasikan Anda mengatur dlf.endpoint ke titik akhir VPC DLF. Sebagai contoh, jika Anda memilih wilayah China (Hangzhou), atur parameter dlf.endpoint ke dlf-vpc.cn-hangzhou.aliyuncs.com. Jika Anda ingin mengakses DLF lintas VPC, ikuti petunjuk yang dijelaskan di Bagaimana cara Realtime Compute for Apache Flink mengakses layanan lintas VPC?
   dlf.catalog.region	ID wilayah tempat layanan DLF diaktifkan.	Untuk informasi lebih lanjut, lihat Wilayah dan Titik Akhir yang Didukung. Catatan Pastikan wilayah yang Anda pilih sesuai dengan titik akhir yang Anda pilih untuk dlf.endpoint.
   dlf.catalog.accessKeyI	ID AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan pasangan AccessKey, lihat Dapatkan Pasangan AccessKey.
   dlf.catalog.accessKeySecret	Rahasia AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan rahasia AccessKey, lihat Dapatkan Pasangan AccessKey.

3. Katalog Hive memungkinkan Anda menyimpan tabel di OSS dan OSS-HDFS. Tabel berikut menjelaskan konfigurasi tersebut.

   OSS

   Tambahkan konfigurasi berikut ke file konfigurasi Hive hive-site.xml untuk memastikan bahwa katalog Hive dapat mengakses OSS.

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi	Catatan
   hive.metastore.warehouse.dir	Direktori tempat data tabel disimpan.	Tidak ada.
   fs.oss.endpoint	Titik akhir OSS.	Untuk informasi lebih lanjut, lihat Wilayah dan Titik Akhir.
   fs.oss.accessKeyId	ID AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan ID AccessKey, lihat Dapatkan Pasangan AccessKey.
   fs.oss.accessKeySecret	Rahasia AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan rahasia AccessKey, lihat Dapatkan Pasangan AccessKey.
   fs.defaultFS	Sistem file tempat data tabel disimpan secara default.	Pastikan nilai parameter ini adalah titik akhir layanan HDFS yang sesuai dengan bucket tujuan, seperti oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   OSS-HDFS

   1. Tambahkan konfigurasi berikut ke file konfigurasi Hive hive-site.xml untuk memastikan bahwa katalog Hive dapat mengakses OSS-HDFS.

      <property>
        <name>fs.jindo.impl</name>
        <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
      </property>
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
      </property>
      <property>
        <name>fs.oss.endpoint</name>
        <value>${YOUR_OSS_ENDPOINT}</value>
      </property>
      <property>
        <name>fs.oss.accessKeyId</name>
        <value>${YOUR_ACCESS_KEY_ID}</value>
      </property>
      <property>
        <name>fs.oss.accessKeySecret</name>
        <value>${YOUR_ACCESS_KEY_SECRET}</value>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
      </property>

      Parameter	Deskripsi	Catatan
      hive.metastore.warehouse.dir	Direktori tempat data tabel disimpan.	Tidak ada.
      fs.oss.endpoint	Titik akhir OSS.	Untuk informasi lebih lanjut, lihat Wilayah dan Titik Akhir.
      fs.oss.accessKeyId	ID AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan ID AccessKey, lihat Dapatkan Pasangan AccessKey.
      fs.oss.accessKeySecret	Rahasia AccessKey akun Alibaba Cloud Anda.	Untuk informasi lebih lanjut tentang cara mendapatkan rahasia AccessKey, lihat Dapatkan Pasangan AccessKey.
      fs.defaultFS	Sistem file tempat data tabel disimpan secara default.	Pastikan nilai parameter ini adalah titik akhir layanan HDFS yang sesuai dengan bucket tujuan, seperti oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   2. (Opsional) Jika Anda ingin membaca data dari tabel Hive yang disimpan di OSS-HDFS dan tabel Hive tersebut dalam format Parquet, tambahkan item konfigurasi berikut ke Realtime Compute for Apache Flink.

      fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
      fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
      fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
      fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

      Untuk informasi lebih lanjut tentang parameter-parameter tersebut, lihat Tulis Data ke OSS-HDFS.

   Catatan

   Jika data Anda disimpan di Realtime Compute for Apache Flink, Anda tidak perlu melakukan operasi setelah langkah ini. Anda dapat langsung menuju ke langkah Buat Katalog Hive.

4. Di konsol OSS, buat dua direktori di bucket OSS dan unggah file konfigurasi Hive dan dependensi Hadoop ke direktori-direktori tersebut.

   1. Masuk ke Konsol OSS.

   2. Di panel navigasi sebelah kiri, klik Buckets.

   3. Di halaman Bucket, klik nama bucket yang diinginkan.

   4. Buat folder bernama ${hms} di jalur oss://${bucket}/artifacts/namespaces/${ns}/.

      Untuk informasi lebih lanjut tentang cara membuat direktori di konsol OSS, lihat Buat Direktori. Tabel berikut menjelaskan variabel-variabel dalam jalur tempat Anda ingin membuat direktori.

      Folder	Deskripsi
      ${bucket}	Nama bucket yang digunakan oleh ruang kerja Realtime Compute for Apache Flink Anda.
      ${ns}	Nama ruang kerja Realtime Compute for Apache Flink tempat Anda ingin membuat katalog Hive.
      ${hms}	Nama folder yang akan dibuat. Kami merekomendasikan Anda menggunakan nama yang sama untuk folder ini dan katalog Hive yang akan Anda buat di langkah-langkah selanjutnya.

      Catatan

      Setelah Anda membuat ruang kerja Realtime Compute for Apache Flink, Realtime Compute for Apache Flink secara otomatis membuat direktori /artifacts/namespaces/${ns}/ di bucket yang ditentukan untuk menyimpan data, seperti paket JAR. Jika Anda tidak menemukan direktori tersebut di konsol OSS, Anda harus mengunggah file secara manual untuk membuat direktori pada halaman Artifacts di konsol pengembangan Realtime Compute for Apache Flink.

   5. Buat direktori bernama hive-conf-dir dan direktori bernama hadoop-conf-dir di jalur oss://${bucket}/artifacts/namespaces/${ns}/${hms}. Untuk informasi lebih lanjut tentang cara membuat direktori di konsol OSS, lihat Buat Direktori.

      Contoh-contoh berikut menjelaskan file-file yang disimpan di direktori hive-conf-dir dan hadoop-conf-dir:

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/ digunakan untuk menyimpan file konfigurasi Hive bernama hive-site.xml.

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/ digunakan untuk menyimpan file konfigurasi Hadoop, seperti core-site.xml, hdfs-site.xml, yarn-site.xml, dan mapred-site.xml.

      Setelah direktori dibuat, Anda dapat memilih Files > Proyek di panel navigasi sebelah kiri di konsol OSS untuk melihat direktori dan file baru, lalu salin URL OSS.

   6. Unggah file konfigurasi Hive hive-site.xml ke direktori hive-conf-dir. Untuk informasi lebih lanjut tentang cara mengunggah file, lihat Unggah Objek.

   7. Unggah file konfigurasi berikut ke direktori hadoop-conf-dir. Untuk informasi lebih lanjut tentang cara mengunggah file, lihat Unggah Objek.

      • hive-site.xml

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • File lain yang diperlukan, seperti paket kompres yang digunakan oleh penerapan Hive

Buat Katalog Hive

Setelah mengonfigurasi metadata Hive, Anda dapat membuat katalog Hive di UI atau dengan mengeksekusi pernyataan SQL. Kami merekomendasikan Anda membuat katalog Hive di UI.

Gunakan Katalog Hive

-- Buat tabel bernama flink_hive_test di database flinkhive di bawah katalog flinkexporthive. 
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- Tambahkan kolom ke tabel Hive. 
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;

-- Hapus kolom dari tabel Hive. 
ALTER TABLE `${catalog_name
`.`${db_name}`.`${table_name}` 
DROP column;

-- Tambahkan bidang warna ke tabel Hive. 
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;

-- Hapus bidang warna dari tabel Hive. 
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- Hapus tabel Hive. 
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- Hapus tabel Hive. 
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

Lihat Katalog Hive

1. Pergi ke halaman Katalog.

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Temukan ruang kerja yang ingin Anda kelola dan klik Console di kolom Actions.

   3. Klik Catalogs.

2. Di halaman Catalog List, temukan katalog yang diinginkan dan lihat kolom Name dan Type katalog tersebut.

   Catatan

   Jika Anda ingin melihat database dan tabel dalam katalog, klik View di kolom Actions.

Hapus Katalog Hive