E-MapReduce:Katalog Hive

Informasi latar belakang

Katalog Hive memungkinkan Anda untuk:

• Langsung menanyakan data Hive tanpa perlu membuat tabel secara manual.

• Memproses dan memodelkan data Hive serta mengimpornya ke dalam StarRocks menggunakan INSERT INTO, atau menggunakan materialized views asinkron pada versi 3.1 dan setelahnya.

• Membuat atau menghapus database dan tabel Hive di StarRocks. Anda juga dapat menulis data dari tabel StarRocks ke tabel Hive dalam format Parquet (dari v3.2), ORC, atau TextFile (dari v3.3) menggunakan INSERT INTO.

Untuk mengakses data di Hive, kluster StarRocks harus dapat mengakses sistem penyimpanan dan layanan metadata kluster Hive. Saat ini, StarRocks mendukung sistem penyimpanan dan layanan metadata berikut:

• Sistem File Terdistribusi Hadoop (HDFS) atau Alibaba Cloud Object Storage Service (OSS).

• Layanan metadata. Saat ini, layanan metadata yang didukung termasuk Data Lake Formation DLF 1.0 (Legacy) dan Hive Metastore (HMS).

Batasan​

• StarRocks mendukung menanyakan data Hive dalam format file Parquet, ORC, TextFile, Avro, RCFile, dan SequenceFile:

  • File Parquet mendukung format kompresi SNAPPY, LZ4, ZSTD, GZIP, dan NO_COMPRESSION. Dukungan untuk format kompresi LZO ditambahkan pada v3.1.5.

  • File ORC mendukung format kompresi ZLIB, SNAPPY, LZO, LZ4, ZSTD, dan NO_COMPRESSION.

  • File TextFile mendukung format kompresi LZO dari v3.1.5.

• StarRocks tidak mendukung menanyakan data Hive dengan tipe INTERVAL, BINARY, atau UNION. Selain itu, untuk tabel Hive dalam format TextFile, StarRocks tidak mendukung tipe data MAP dan STRUCT.

• StarRocks mendukung menulis data ke Hive dalam format file Parquet (v3.2 dan setelahnya), ORC, dan TextFile (v3.3 dan setelahnya):

  • File Parquet dan ORC mendukung format kompresi NO_COMPRESSION, SNAPPY, LZ4, ZSTD, dan GZIP.

  • TextFile mendukung format NO_COMPRESSION.

  Anda dapat mengatur algoritma kompresi untuk menulis ke tabel Hive menggunakan variabel sistem connector_sink_compression_codec.

Membuat Katalog Hive

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "hive",
    GeneralParams,
    MetastoreParams
)

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Menampilkan Katalog Hive

Anda dapat menggunakan SHOW CATALOGS untuk menanyakan semua katalog dalam kluster StarRocks saat ini.

SHOW CATALOGS;

Anda juga dapat menggunakan SHOW CREATE CATALOG untuk menanyakan pernyataan pembuatan katalog eksternal. Sebagai contoh, jalankan perintah berikut untuk menanyakan pernyataan pembuatan untuk katalog Hive hive_catalog.

SHOW CREATE CATALOG hive_catalog;

Beralih antara Katalog Hive dan database​

Anda dapat beralih ke katalog Hive target dan database dengan cara berikut:

• Pertama, tentukan katalog Hive untuk sesi saat ini dengan SET CATALOG. Kemudian, tentukan database dengan USE.

  -- Beralih katalog untuk sesi saat ini.
  SET CATALOG <catalog_name>;
  
  -- Tentukan database untuk sesi saat ini.
  USE <db_name>;

• Gunakan USE untuk langsung beralih sesi ke database tertentu di bawah katalog Hive target.

  USE <catalog_name>.<db_name>;

Hapus Katalog Hive​

Anda dapat menggunakan DROP CATALOG untuk menghapus katalog eksternal.

Sebagai contoh, jalankan perintah berikut untuk menghapus hive_catalog.

DROP Catalog hive_catalog;

Membuat Database Hive

Sebagaimana katalog internal StarRocks, jika Anda memiliki izin CREATE DATABASE untuk katalog Hive, Anda dapat membuat database di katalog tersebut menggunakan pernyataan CREATE DATABASE. Fitur ini didukung mulai dari v3.2.

CREATE DATABASE <database_name>
[PROPERTIES ("location" = "<prefix>://<path_to_database>/<database_name.db>")]

Hapus Database Hive

Sebagaimana database internal StarRocks, jika Anda memiliki izin DROP untuk database Hive, Anda dapat menghapusnya menggunakan DROP DATABASE. Fitur ini didukung mulai dari v3.2. Anda hanya dapat menghapus database kosong.

Operasi penghapusan database tidak menghapus jalur file yang sesuai di HDFS atau Layanan Penyimpanan Objek (OSS).

Beralih ke katalog Hive target dan jalankan pernyataan berikut untuk menghapus database Hive.

DROP DATABASE <database_name>;

Membuat Tabel Hive

Sebagaimana database internal StarRocks, jika Anda memiliki izin CREATE TABLE untuk database Hive, Anda dapat membuat Managed Table di database tersebut menggunakan CREATE TABLE, CREATE TABLE AS SELECT (CTAS), atau CREATE TABLE LIKE.

Fitur ini didukung mulai dari v3.2, yang awalnya hanya mendukung pembuatan tabel Hive dalam format Parquet. Mulai dari v3.3, fitur ini juga mendukung pembuatan tabel Hive dalam format ORC dan TextFile.

Beralih ke katalog Hive target dan database, kemudian jalankan pernyataan berikut untuk membuat Managed Table Hive.

CREATE TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...
partition_column_definition1,partition_column_definition2...])
[partition_desc]
[PROPERTIES ("key" = "value", ...)]
[AS SELECT query]
[LIKE [database.]<source_table_name>]

Lihat skema tabel Hive

Anda dapat melihat skema tabel Hive dengan cara berikut:

• Lihat skema tabel

  DESC[RIBE] <catalog_name>.<database_name>.<table_name>;

• Lihat skema tabel dan lokasi file dari perintah CREATE

  SHOW CREATE TABLE <catalog_name>.<database_name>.<table_name>;

Lihat data tabel Hive

• Metode 1: Langsung menanyakan data tabel

  SELECT * FROM <catalog_name>.<database_name>.<table_name>;

• Metode 2: Lihat dan tanyakan langkah demi langkah

  1. Lihat database dalam kluster Hive yang termasuk dalam katalog tertentu.

     SHOW DATABASES FROM <catalog_name>;

  2. Beralih antara Katalog Hive dan Database.

  3. Tanyakan data tabel target.

     SELECT count(*) FROM <table_name> LIMIT 10;

Impor data Hive

Misalkan Anda memiliki tabel OLAP bernama olap_tbl. Anda dapat mentransformasi data dalam tabel ini dan mengimpornya ke StarRocks sebagai berikut.

INSERT INTO default_catalog.olap_db.olap_tbl SELECT * FROM hive_table;

Berikan izin pada tabel dan tampilan Hive​

Anda dapat menggunakan GRANT untuk memberikan peran izin query pada semua tabel dan tampilan dalam katalog Hive. Sintaksis perintah adalah sebagai berikut.

GRANT SELECT ON ALL TABLES IN ALL DATABASES TO ROLE <role_name>

Sebagai contoh, jalankan perintah berikut untuk membuat peran hive_role_table, beralih ke katalog Hive hive_catalog, dan kemudian berikan izin query pada semua tabel dan tampilan di hive_catalog kepada hive_role_table.

-- Buat peran hive_role_table.
CREATE ROLE hive_role_table;

-- Beralih ke katalog data hive_catalog.
SET CATALOG hive_catalog;

-- Berikan izin query pada semua tabel dan tampilan di hive_catalog kepada hive_role_table.
GRANT SELECT ON ALL TABLES IN ALL DATABASES TO ROLE hive_role_table;

Sisipkan data ke tabel Hive

Sebagaimana tabel internal StarRocks, jika Anda memiliki izin INSERT untuk tabel Hive (Managed Table atau External Table), Anda dapat menggunakan INSERT untuk menulis data dari tabel StarRocks ke tabel Hive tersebut.

Fitur ini didukung mulai dari v3.2, yang awalnya hanya mendukung penulisan ke tabel Hive dalam format Parquet. Mulai dari v3.3, fitur ini juga mendukung penulisan ke tabel Hive dalam format ORC dan TextFile.

Catatan bahwa fitur untuk menulis data ke External Tables dinonaktifkan secara default. Anda harus mengaktifkannya menggunakan variabel sistem ENABLE_WRITE_HIVE_EXTERNAL_TABLE.

Beralih ke katalog Hive target dan database, lalu gunakan sintaksis berikut untuk menulis data dari tabel StarRocks ke tabel Hive.

INSERT {INTO | OVERWRITE} <table_name>
[ (column_name [, ...]) ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

-- Tulis data ke partisi tertentu.
INSERT {INTO | OVERWRITE} <table_name>
PARTITION (par_col1=<value> [, par_col2=<value>...])
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

Hapus tabel Hive

Sebagaimana tabel internal StarRocks, jika Anda memiliki izin DROP untuk tabel Hive, Anda dapat menghapusnya menggunakan DROP TABLE. Fitur ini didukung mulai dari v3.2. Perhatikan bahwa saat ini Anda hanya dapat menghapus Managed Tables Hive.

Untuk menghapus tabel, Anda harus menentukan kata kunci FORCE dalam pernyataan DROP TABLE. Operasi ini menghapus data tabel di HDFS atau Layanan Penyimpanan Objek tetapi tidak menghapus jalur file yang sesuai. Jalankan operasi ini dengan hati-hati.

Beralih ke katalog Hive target dan database, lalu jalankan pernyataan berikut untuk menghapus tabel Hive.

DROP TABLE <table_name> FORCE

Perbarui cache metadata secara manual atau otomatis

Secara default, StarRocks menyimpan cache metadata Hive dan secara otomatis memperbaruinya dalam mode asinkron untuk meningkatkan kinerja kueri. Jika Anda melakukan perubahan skema atau pembaruan lainnya pada tabel Hive, Anda dapat memperbarui metadatanya secara manual menggunakan perintah berikut untuk memastikan bahwa StarRocks dapat segera menghasilkan rencana kueri yang efisien.

REFRESH EXTERNAL TABLE <table_name> [PARTITION ('partition_name', ...)]

Pembaruan metadata manual cocok untuk situasi berikut:

• File data dalam partisi yang ada telah berubah, misalnya, setelah Anda menjalankan perintah INSERT OVERWRITE ... PARTITION ....

• Skema tabel Hive telah berubah.

• Tabel Hive dihapus dan kemudian tabel Hive baru dengan nama yang sama dibuat.

• Saat membuat katalog Hive, Anda menentukan "enable_cache_list_names" = "true" dalam PROPERTIES. Dalam hal ini, Anda harus menanyakan partisi baru setelah ditambahkan di sisi Hive.

Referensi

Untuk informasi lebih lanjut tentang Hive, lihat Ikhtisar.