Realtime Compute for Apache Flink:Mengelola katalog Hive

Metastore Hive

Verifikasi bahwa hive.metastore.uris di hive-site.xml mengarah ke alamat IP internal atau publik host Hive Anda:

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://xx.yy.zz.mm:9083</value>
    <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>

Jika Anda mengatur hive.metastore.uris ke hostname alih-alih alamat IP, konfigurasikan Alibaba Cloud DNS PrivateZone untuk menyelesaikannya. Tanpa resolusi DNS, Ververica Platform (VVP) akan mengembalikan UnknownHostException saat menghubungkan ke metastore. Lihat Tambahkan rekaman DNS ke zona privat.

Alibaba Cloud DLF

Tambahkan properti berikut ke hive-site.xml:

<property>
  <name>hive.imetastoreclient.factory.class</name>
  <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
</property>
<property>
  <name>dlf.catalog.uid</name>
  <value>${YOUR_DLF_CATALOG_UID}</value>
</property>
<property>
  <name>dlf.catalog.endpoint</name>
  <value>${YOUR_DLF_ENDPOINT}</value>
</property>
<property>
  <name>dlf.catalog.region</name>
  <value>${YOUR_DLF_CATALOG_REGION}</value>
</property>
<property>
  <name>dlf.catalog.accessKeyId</name>
  <value>${YOUR_ACCESS_KEY_ID}</value>
</property>
<property>
  <name>dlf.catalog.accessKeySecret</name>
  <value>${YOUR_ACCESS_KEY_SECRET}</value>
</property>

OSS

Tambahkan properti berikut ke hive-site.xml:

<property>
  <name>fs.oss.impl.disable.cache</name>
  <value>true</value>
</property>
<property>
  <name>fs.oss.impl</name>
  <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
</property>
<property>
  <name>fs.oss.endpoint</name>
  <value>${YOUR_OSS_ENDPOINT}</value>
</property>
<property>
  <name>fs.oss.accessKeyId</name>
  <value>${YOUR_ACCESS_KEY_ID}</value>
</property>
<property>
  <name>fs.oss.accessKeySecret</name>
  <value>${YOUR_ACCESS_KEY_SECRET}</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
</property>

OSS-HDFS

1. Tambahkan properti berikut ke hive-site.xml:

   Parameter	Wajib	Deskripsi
   hive.metastore.warehouse.dir	Ya	Direktori tempat data tabel disimpan.
   fs.oss.endpoint	Ya	Titik akhir OSS. Lihat Wilayah dan titik akhir.
   fs.oss.accessKeyId	Ya	ID AccessKey. Lihat Dapatkan Pasangan Kunci Akses.
   fs.oss.accessKeySecret	Ya	Rahasia AccessKey. Lihat Dapatkan Pasangan Kunci Akses.
   fs.defaultFS	Ya	Sistem file default untuk data tabel. Atur ke titik akhir HDFS bucket target, misalnya oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   <property>
     <name>fs.jindo.impl</name>
     <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
   </property>

2. (Opsional) Jika Anda berencana membaca tabel Hive berformat Parquet yang disimpan di OSS-HDFS, tambahkan konfigurasi berikut ke Realtime Compute for Apache Flink:

   fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
   fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
   fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
   fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

   Untuk detail parameter, lihat Tulis data ke OSS-HDFS.

Jika data Anda sudah disimpan di Realtime Compute for Apache Flink, lewati Langkah 2–3 dan langsung ke Buat katalog Hive.

Metode UI

Dari Konsol:

1. Login ke Konsol Realtime Compute for Apache Flink, temukan ruang kerja, lalu klik Console di kolom Actions.

2. Klik Catalogs.

3. Di halaman Catalog List, temukan katalog dan klik View di kolom Actions.

4. Temukan database target dan klik View di kolom Actions.

5. Klik Create Table.

6. Di tab Built-in pada kotak dialog Create Table, pilih jenis tabel dari daftar drop-down Connection Type, pilih jenis konektor, lalu klik Next.

7. Masukkan pernyataan pembuatan tabel dan konfigurasikan parameter:

   CREATE TABLE `${catalog_name}`.`${db_name}`.`${table_name}` (
     id INT,
     name STRING
   ) WITH (
     'connector' = 'hive'
   );

8. Klik OK.

Metode perintah SQL

Dengan menjalankan pernyataan SQL:

Di halaman Scripts, jalankan pernyataan CREATE TABLE, lalu pilih dan klik Run.

Metode UI

Dari Konsol:

1. Login ke Konsol Realtime Compute for Apache Flink, temukan ruang kerja, lalu klik Console di kolom Actions.

2. Klik Catalogs.

3. Di panel Catalogs, navigasi ke tabel target di bawah database dan katalog target.

4. Di halaman detail tabel, klik Delete di kolom Actions.

5. Di dialog konfirmasi, klik OK.

Metode perintah SQL

Dengan menjalankan pernyataan SQL:

Di halaman Scripts, jalankan:

-- Hapus tabel Hive.
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

Contoh:

-- Hapus tabel Hive.
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;