Realtime Compute for Apache Flink:Kelola katalog Hive

Prasyarat

Batasan

• Hanya metastore Hive yang dikelola sendiri yang didukung.

• Hanya Ververica Runtime (VVR) 6.x yang mendukung Hive 1.x, 2.1.x, dan 2.2.x, karena dukungan untuk versi-versi tersebut telah dihentikan di Apache Flink 1.16 dan versi setelahnya.

• Jika katalog Hive menggunakan Data Lake Formation (DLF) sebagai metastore-nya, hanya Ververica Runtime (VVR) 8.0.6 atau versi lebih baru yang mendukung pembuatan tabel non-Hive.

• Hanya Ververica Runtime (VVR) 8.0.6 atau versi lebih baru yang mendukung penulisan data ke OSS-HDFS.

Konfigurasikan metadata Hive

1. Hubungkan Virtual Private Cloud (VPC) kluster Hadoop ke VPC Realtime Compute for Apache Flink.

   Hubungkan VPC menggunakan Alibaba Cloud DNS PrivateZone. Untuk informasi selengkapnya, lihat Resolver. Setelah jaringan terhubung, Realtime Compute for Apache Flink menggunakan file konfigurasi kluster Hadoop untuk mengaksesnya.

2. Katalog Hive dapat menggunakan Hive MetaStore atau Data Lake Formation (DLF) untuk manajemen metadata. Bagian berikut menjelaskan konfigurasi yang diperlukan.

   Hive MetaStore

   Pastikan parameter hive.metastore.uris dalam file konfigurasi hive-site.xml dikonfigurasi dengan benar.

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

   Pada contoh di atas, xx.yy.zz.mm adalah alamat IP internal atau Alamat IP publik Hive MetaStore.

   Catatan

   Jika Anda mengatur hive.metastore.uris ke hostname, Anda harus mengonfigurasi layanan resolusi nama domain. Jika tidak, saat Konsol pengembangan Flink mengakses Hive secara remote, nilai parameter hive.metastore.uris tidak dapat diselesaikan, dan error UnknownHostException akan dilaporkan. Untuk informasi lebih lanjut tentang cara mengonfigurasi layanan resolusi nama domain, lihat Tambahkan catatan PrivateZone.

   Data Lake Formation (DLF)

   Untuk mengizinkan katalog Hive mengakses DLF, tambahkan properti berikut ke file konfigurasi hive-site.xml.

   Catatan

   Jika file hive-site.xml Anda berisi properti dlf.catalog.akMode, Anda harus menghapusnya. Jika tidak, katalog Hive tidak dapat mengakses DLF.

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   Parameter	Deskripsi	Keterangan
   dlf.catalog.uid	ID akun Alibaba Cloud Anda.	Untuk informasi akun Anda, buka halaman Informasi Pengguna.
   dlf.catalog.endpoint	Titik akhir layanan DLF.	Untuk informasi selengkapnya, lihat Wilayah dan titik akhir. Catatan Kami menyarankan agar Anda mengatur parameter dlf.catalog.endpoint ke titik akhir VPC DLF. Misalnya, jika wilayah yang Anda pilih adalah Tiongkok (Hangzhou), atur parameter dlf.catalog.endpoint ke dlf-vpc.cn-hangzhou.aliyuncs.com. Untuk mengakses DLF lintas VPC, lihat Bagaimana cara mengakses layanan lintas VPC?.
   dlf.catalog.region	Wilayah layanan DLF.	Untuk informasi selengkapnya, lihat Wilayah dan titik akhir. Catatan Pastikan wilayah ini sesuai dengan yang ditentukan dalam parameter dlf.catalog.endpoint.
   dlf.catalog.accessKeyId	ID AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.
   dlf.catalog.accessKeySecret	Rahasia AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.

3. Katalog Hive dapat menyimpan tabel di Object Storage Service (OSS) atau layanan OSS-HDFS. Bagian berikut menjelaskan konfigurasi yang diperlukan.

   OSS

   Untuk mengizinkan katalog Hive mengakses OSS, tambahkan properti berikut ke file konfigurasi hive-site.xml.

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Deskripsi	Keterangan
   hive.metastore.warehouse.dir	Jalur penyimpanan untuk data tabel.
   fs.oss.endpoint	Titik akhir Object Storage Service (OSS).	Untuk informasi selengkapnya, lihat Wilayah dan titik akhir.
   fs.oss.accessKeyId	ID AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.
   fs.oss.accessKeySecret	Rahasia AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.
   fs.defaultFS	Sistem file default untuk data tabel.	Tentukan bucket OSS Anda sebagai sistem file default. Contohnya, oss://your-bucket-name.

   OSS-HDFS

   1. Untuk mengizinkan katalog Hive mengakses layanan OSS-HDFS, tambahkan properti berikut ke file konfigurasi hive-site.xml.

      <property>
        <name>fs.jindo.impl</name>
        <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
      </property>
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
      </property>
      <property>
        <name>fs.oss.endpoint</name>
        <value>${YOUR_OSS_ENDPOINT}</value>
      </property>
      <property>
        <name>fs.oss.accessKeyId</name>
        <value>${YOUR_ACCESS_KEY_ID}</value>
      </property>
      <property>
        <name>fs.oss.accessKeySecret</name>
        <value>${YOUR_ACCESS_KEY_SECRET}</value>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
      </property>

      Parameter	Deskripsi	Keterangan
      hive.metastore.warehouse.dir	Jalur penyimpanan untuk data tabel.
      fs.oss.endpoint	Titik akhir Object Storage Service (OSS).	Untuk informasi selengkapnya, lihat Wilayah dan titik akhir.
      fs.oss.accessKeyId	ID AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.
      fs.oss.accessKeySecret	Rahasia AccessKey Alibaba Cloud Anda.	Untuk informasi selengkapnya, lihat Dapatkan Pasangan Kunci Akses.
      fs.defaultFS	Sistem file default untuk data tabel.	Tentukan bucket OSS Anda sebagai sistem file default. Contohnya, oss://your-bucket-name.

   2. (Opsional) Untuk membaca tabel Hive berformat Parquet dari layanan OSS-HDFS, tambahkan parameter berikut ke file konfigurasi Realtime Compute for Apache Flink:

      fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
      fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
      fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
      fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

      Untuk informasi selengkapnya tentang parameter tersebut, lihat Tulis data ke OSS-HDFS.

   Catatan

   Jika Anda menggunakan fitur penyimpanan terkelola penuh dari Realtime Compute for Apache Flink, Anda tidak perlu melakukan langkah-langkah berikut. Anda dapat langsung melanjutkan ke Buat katalog Hive.

4. Di Konsol OSS, buat direktori dan unggah file konfigurasi Hive serta dependensi Hadoop ke jalur target.

   1. Masuk ke Konsol OSS.

   2. Di panel navigasi sebelah kiri, klik Buckets.

   3. Klik nama bucket target.

   4. Di jalur oss://${bucket}/artifacts/namespaces/${ns}/, buat direktori bernama ${hms}.

      Untuk informasi selengkapnya tentang cara membuat direktori di Konsol OSS, lihat Buat direktori. Tabel berikut menjelaskan variabel dalam jalur tersebut.

      Parameter	Deskripsi
      ${bucket}	Nama bucket yang digunakan oleh Realtime Compute for Apache Flink.
      ${ns}	Ruang kerja tempat Anda akan menggunakan katalog Hive.
      ${hms}	Kami menyarankan menggunakan nama yang sama dengan katalog Hive yang akan Anda buat.

      Catatan

      Setelah Anda mengaktifkan ruang kerja, Realtime Compute for Apache Flink secara otomatis membuat direktori /artifacts/namespaces/${ns}/ di bucket yang ditentukan untuk menyimpan data seperti paket JAR. Jika Anda tidak menemukan direktori ini di Konsol OSS, buka halaman Artifacts di Konsol pengembangan dan unggah file untuk memicu pembuatan direktori.

   5. Di jalur oss://${bucket}/artifacts/namespaces/${ns}/${hms}, buat dua direktori: hive-conf-dir dan hadoop-conf-dir. Untuk informasi selengkapnya, lihat Buat direktori.

      Simpan file-file berikut di direktori hive-conf-dir dan hadoop-conf-dir:

      • Direktori oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/ menyimpan file konfigurasi Hive hive-site.xml.

      • Direktori oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/ menyimpan file konfigurasi Hadoop, termasuk core-site.xml, hdfs-site.xml, yarn-site.xml, dan mapred-site.xml.

      Setelah membuat direktori, Anda dapat melihatnya dan menyalin URL OSS-nya di halaman Files.

   6. Unggah file konfigurasi Hive Anda (hive-site.xml) ke direktori hive-conf-dir. Untuk informasi selengkapnya, lihat Unggah objek.

   7. Unggah file konfigurasi berikut ke direktori hadoop-conf-dir. Untuk informasi selengkapnya, lihat Unggah objek.

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • File lainnya, seperti paket terkompresi yang digunakan oleh pekerjaan Hive.

Buat katalog Hive

Setelah Anda mengonfigurasi metadata Hive, Anda dapat membuat katalog Hive. Anda dapat membuat katalog melalui UI atau dengan menjalankan perintah SQL. Kami menyarankan Anda menggunakan UI.

Gunakan katalog Hive

-- Buat tabel flink_hive_test di database flinkhive dari katalog flinkexporthive.
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- Tambahkan kolom ke tabel Hive.
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;
-- Hapus kolom dari tabel Hive.
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
DROP column;

-- Tambahkan kolom color ke tabel Hive.
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;
-- Hapus kolom color dari tabel Hive.
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- Hapus tabel Hive.
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- Hapus tabel Hive.
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

Lihat katalog Hive

1. Buka halaman Catalogs.

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Di kolom Actions ruang kerja target, klik Console.

   3. Klik Catalogs.

2. Di halaman Catalog List, periksa kolom Name dan Type.

   Catatan

   Untuk melihat database dan tabel dalam katalog, klik View di kolom Actions.

Hapus katalog Hive