E-MapReduce(EMR)V5.8.0 以降のマイナーバージョンのクラスタ(StarRocks 2.3 以降)では、メタデータが Data Lake Formation(DLF)に格納されている外部テーブルをクエリできます。このトピックでは、DLF にメタデータが格納されている外部テーブルにアクセスする方法について説明します。
前提条件
EMR V5.8.0 以降のマイナーバージョンのオンライン分析処理(OLAP)クラスタまたはカスタムクラスタが作成され、StarRocks サービスがクラスタに対して選択されています。詳細については、クラスタの作成をご参照ください。
注意事項
このトピックは、Hive、Hudi、Iceberg、および Delta Lake データソースにのみ適用されます。
手順
SSH モードで StarRocks クラスタにログオンします。詳細については、クラスタへのログオンをご参照ください。
次のコマンドを実行して、StarRocks クラスタに接続します:
mysql -h127.0.0.1 -P 9030 -uroot次のステートメントを実行して、外部カタログを作成します。
この例では、Hive カタログが作成されます。
CREATE EXTERNAL CATALOG hive_catalog properties ( "type" = "hive", "hive.metastore.type" = "DLF" );パラメーター
必須
説明
type
はい
データソースのタイプ。有効な値:hive、hudi、iceberg、および deltalake。この例では、値を hive に設定します。
dlf.catalog.id
いいえ
データを読み取る DLF カタログの ID。このパラメーターを設定しない場合は、デフォルトの DLF カタログの ID が使用されます。
hive.metastore.type
はい
メタストアのタイプ。値を DLF に設定します。
データをクエリします。
次のステートメントを実行して、指定されたカタログ内のデータベースをクエリします:
SHOW DATABASES FROM hive_catalog;次のステートメントを実行して、現在のセッションが有効になるデータベースを指定します:
USE hive_catalog.default;次のステートメントを実行して、指定されたテーブルのデータをクエリします:
SELECT * FROM <table_name>;
関連情報
Hive メタストアを使用するテーブルのデータのクエリ方法の詳細については、Hive データソース、Iceberg データソース、Hudi データソース、および Delta Lake データソースをご参照ください。