E-MapReduce:Hive カタログ

背景

Hive カタログを使用すると、次のことが可能になります。

• テーブルを手動で作成することなく、Hive データを直接クエリできます。

• Hive データを処理およびモデル化し、INSERT INTO を使用して StarRocks にインポートしたり、v3.1 以降では非同期マテリアライズドビューを使用したりできます。

• StarRocks で Hive のデータベースとテーブルを作成または削除できます。また、INSERT INTO を使用して、StarRocks テーブルから Hive テーブルに Parquet (v3.2 以降)、ORC、または TextFile (v3.3 以降) 形式でデータを書き込むこともできます。

Hive のデータにアクセスするには、StarRocks クラスターが Hive クラスターのストレージシステムとメタデータサービスにアクセスできる必要があります。StarRocks は現在、次のストレージシステムとメタデータサービスをサポートしています。

• Hadoop 分散ファイルシステム (HDFS) または Alibaba Cloud Object Storage Service (OSS)。

• メタデータサービス。現在サポートされているメタデータサービスには、Data Lake Formation DLF 1.0 (レガシー) と Hive Metastore (HMS) があります。

制限事項​

• StarRocks は、Parquet、ORC、TextFile、Avro、RCFile、および SequenceFile ファイル形式の Hive データのクエリをサポートしています。

  • Parquet ファイルは、SNAPPY、LZ4、ZSTD、GZIP、および NO_COMPRESSION 圧縮形式をサポートしています。LZO 圧縮形式のサポートは v3.1.5 で追加されました。

  • ORC ファイルは、ZLIB、SNAPPY、LZO、LZ4、ZSTD、および NO_COMPRESSION 圧縮形式をサポートしています。

  • TextFile ファイルは、v3.1.5 から LZO 圧縮形式をサポートしています。

• StarRocks は、INTERVAL、BINARY、または UNION データ型の Hive データのクエリをサポートしていません。さらに、TextFile 形式の Hive テーブルの場合、StarRocks は MAP および STRUCT データ型をサポートしていません。

• StarRocks は、Parquet (v3.2 以降)、ORC、および TextFile (v3.3 以降) ファイル形式での Hive へのデータ書き込みをサポートしています。

  • Parquet および ORC ファイルは、NO_COMPRESSION、SNAPPY、LZ4、ZSTD、および GZIP 圧縮形式をサポートしています。

  • TextFile は、NO_COMPRESSION 形式をサポートしています。

  connector_sink_compression_codec システム変数を使用して、Hive テーブルへの書き込みの圧縮アルゴリズムを設定できます。

Hive カタログの作成

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "hive",
    GeneralParams,
    MetastoreParams
)

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Hive カタログの表示

SHOW CATALOGS を使用して、現在の StarRocks クラスター内のすべてのカタログをクエリできます。

SHOW CATALOGS;

SHOW CREATE CATALOG を使用して、外部カタログの作成文をクエリすることもできます。たとえば、次のコマンドを実行して、Hive カタログ hive_catalog の作成文をクエリします。

SHOW CREATE CATALOG hive_catalog;

Hive カタログとデータベースの切り替え​

次の方法で、ターゲットの Hive カタログとデータベースに切り替えることができます。

• まず、SET CATALOG で現在のセッションの Hive カタログを指定します。次に、USE でデータベースを指定します。

  -- Switch the catalog for the current session.
  SET CATALOG <catalog_name>;
  
  -- Specify the database for the current session.
  USE <db_name>;

• USE を使用して、セッションをターゲットの Hive カタログ配下の特定のデータベースに直接切り替えます。

  USE <catalog_name>.<db_name>;

Hive カタログの削除​

DROP CATALOG を使用して、外部カタログを削除できます。

たとえば、次のコマンドを実行して hive_catalog を削除します。

DROP Catalog hive_catalog;

Hive データベースの作成

StarRocks 内部カタログと同様に、Hive カタログに対する CREATE DATABASE 権限がある場合、CREATE DATABASE 文を使用してそのカタログにデータベースを作成できます。この機能は v3.2 以降でサポートされています。

CREATE DATABASE <database_name>
[PROPERTIES ("location" = "<prefix>://<path_to_database>/<database_name.db>")]

Hive データベースの削除

StarRocks 内部データベースと同様に、Hive データベースに対する DROP 権限がある場合、DROP DATABASE を使用して削除できます。この機能は v3.2 以降でサポートされています。空のデータベースのみを削除できます。

データベースの削除操作では、HDFS または Object Storage Service (OSS) 上の対応するファイルパスは削除されません。

ターゲットの Hive カタログに切り替えて、次の文を実行して Hive データベースを削除します。

DROP DATABASE <database_name>;

Hive テーブルの作成

StarRocks 内部データベースと同様に、Hive データベースに対する CREATE TABLE 権限がある場合、CREATE TABLE、CREATE TABLE AS SELECT (CTAS)、または CREATE TABLE LIKE を使用して、そのデータベースに Managed Table を作成できます。

この機能は v3.2 以降でサポートされており、当初は Parquet 形式の Hive テーブルの作成のみをサポートしていました。v3.3 からは、ORC および TextFile 形式の Hive テーブルの作成もサポートしています。

ターゲットの Hive カタログとデータベースに切り替えてから、次の文を実行して Hive Managed Table を作成します。

CREATE TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...
partition_column_definition1,partition_column_definition2...])
[partition_desc]
[PROPERTIES ("key" = "value", ...)]
[AS SELECT query]
[LIKE [database.]<source_table_name>]

Hive テーブルスキーマの表示

次の方法で Hive テーブルのスキーマを表示できます。

• テーブルスキーマの表示

  DESC[RIBE] <catalog_name>.<database_name>.<table_name>;

• CREATE コマンドからテーブルスキーマとファイルの場所を表示

  SHOW CREATE TABLE <catalog_name>.<database_name>.<table_name>;

Hive テーブルデータの表示

• 方法 1: テーブルデータを直接クエリする

  SELECT * FROM <catalog_name>.<database_name>.<table_name>;

• 方法 2: 段階的に表示してクエリする

  1. 指定されたカタログに属する Hive クラスター内のデータベースを表示します。

     SHOW DATABASES FROM <catalog_name>;

  2. Hive カタログとデータベースを切り替えます。

  3. ターゲットテーブルのデータをクエリします。

     SELECT count(*) FROM <table_name> LIMIT 10;

Hive データのインポート

OLAP テーブル olap_tbl があると仮定します。このテーブルのデータを変換し、次のように StarRocks にインポートできます。

INSERT INTO default_catalog.olap_db.olap_tbl SELECT * FROM hive_table;

Hive テーブルとビューへの権限の付与​

GRANT を使用して、Hive カタログ内のすべてのテーブルとビューに対するクエリ権限をロールに付与できます。コマンドの構文は次のとおりです。

GRANT SELECT ON ALL TABLES IN ALL DATABASES TO ROLE <role_name>

たとえば、次のコマンドを実行してロール hive_role_table を作成し、Hive カタログ hive_catalog に切り替えてから、hive_catalog 内のすべてのテーブルとビューに対するクエリ権限を hive_role_table に付与します。

-- Create the role hive_role_table.
CREATE ROLE hive_role_table;

-- Switch to the data catalog hive_catalog.
SET CATALOG hive_catalog;

-- Grant the query permission on all tables and views in hive_catalog to hive_role_table.
GRANT SELECT ON ALL TABLES IN ALL DATABASES TO ROLE hive_role_table;

Hive テーブルへのデータ挿入

StarRocks 内部テーブルと同様に、Hive テーブル (Managed Table または External Table) に対する INSERT 権限がある場合、INSERT を使用して StarRocks テーブルからその Hive テーブルにデータを書き込むことができます。

この機能は v3.2 以降でサポートされており、当初は Parquet 形式の Hive テーブルへの書き込みのみをサポートしていました。v3.3 からは、ORC および TextFile 形式の Hive テーブルへの書き込みもサポートしています。

External Table にデータを書き込む機能はデフォルトで無効になっていることに注意してください。ENABLE_WRITE_HIVE_EXTERNAL_TABLE システム変数を使用して有効にする必要があります。

ターゲットの Hive カタログとデータベースに切り替えてから、次の構文を使用して StarRocks テーブルから Hive テーブルにデータを書き込みます。

INSERT {INTO | OVERWRITE} <table_name>
[ (column_name [, ...]) ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

-- Write data to a specific partition.
INSERT {INTO | OVERWRITE} <table_name>
PARTITION (par_col1=<value> [, par_col2=<value>...])
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

Hive テーブルの削除

StarRocks 内部テーブルと同様に、Hive テーブルに対する DROP 権限がある場合、DROP TABLE を使用して削除できます。この機能は v3.2 以降でサポートされています。現在、Hive Managed Table のみを削除できることに注意してください。

テーブルを削除するには、DROP TABLE 文で FORCE キーワードを指定する必要があります。この操作は HDFS または Object Storage Service 上のテーブルデータを削除しますが、対応するファイルパスは削除しません。この操作は注意して実行してください。

ターゲットの Hive カタログとデータベースに切り替えてから、次の文を実行して Hive テーブルを削除します。

DROP TABLE <table_name> FORCE

メタデータキャッシュの手動または自動更新

デフォルトでは、StarRocks は Hive メタデータをキャッシュし、クエリパフォーマンスを向上させるために非同期モードでキャッシュを自動的に更新します。Hive テーブルにスキーマの変更やその他の更新を行った場合、次のコマンドを使用してメタデータを手動で更新し、StarRocks が効率的なクエリプランを迅速に生成できるようにすることができます。

REFRESH EXTERNAL TABLE <table_name> [PARTITION ('partition_name', ...)]

手動でのメタデータ更新は、次のような状況に適しています。

• INSERT OVERWRITE ... PARTITION ... コマンドを実行した後など、既存のパーティション内のデータファイルが変更された場合。

• Hive テーブルのスキーマが変更された場合。

• Hive テーブルが削除され、同じ名前の新しい Hive テーブルが作成された場合。

• Hive カタログを作成する際に、PROPERTIES で "enable_cache_list_names" = "true" を指定した場合。この場合、Hive 側で新しいパーティションが追加された後にクエリする必要があります。

参照

Hive の詳細については、「概要」をご参照ください。