すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:DLF にメタデータが格納されている外部テーブルへのアクセス

最終更新日:Jan 11, 2025

E-MapReduce(EMR)V5.8.0 以降のマイナーバージョンのクラスタ(StarRocks 2.3 以降)では、メタデータが Data Lake Formation(DLF)に格納されている外部テーブルをクエリできます。このトピックでは、DLF にメタデータが格納されている外部テーブルにアクセスする方法について説明します。

前提条件

EMR V5.8.0 以降のマイナーバージョンのオンライン分析処理(OLAP)クラスタまたはカスタムクラスタが作成され、StarRocks サービスがクラスタに対して選択されています。詳細については、クラスタの作成をご参照ください。

注意事項

このトピックは、Hive、Hudi、Iceberg、および Delta Lake データソースにのみ適用されます。

手順

  1. SSH モードで StarRocks クラスタにログオンします。詳細については、クラスタへのログオンをご参照ください。

  2. 次のコマンドを実行して、StarRocks クラスタに接続します:

    mysql -h127.0.0.1 -P 9030 -uroot
  3. 次のステートメントを実行して、外部カタログを作成します。

    この例では、Hive カタログが作成されます。

    CREATE EXTERNAL CATALOG hive_catalog
    properties
    (
        "type" = "hive",
        "hive.metastore.type" = "DLF"
    );

    パラメーター

    必須

    説明

    type

    はい

    データソースのタイプ。有効な値:hive、hudi、iceberg、および deltalake。この例では、値を hive に設定します。

    dlf.catalog.id

    いいえ

    データを読み取る DLF カタログの ID。このパラメーターを設定しない場合は、デフォルトの DLF カタログの ID が使用されます。

    hive.metastore.type

    はい

    メタストアのタイプ。値を DLF に設定します。

  4. データをクエリします。

    • 次のステートメントを実行して、指定されたカタログ内のデータベースをクエリします:

      SHOW DATABASES FROM hive_catalog;
    • 次のステートメントを実行して、現在のセッションが有効になるデータベースを指定します:

      USE hive_catalog.default;
    • 次のステートメントを実行して、指定されたテーブルのデータをクエリします:

      SELECT * FROM <table_name>;

関連情報

Hive メタストアを使用するテーブルのデータのクエリ方法の詳細については、Hive データソースIceberg データソースHudi データソース、および Delta Lake データソースをご参照ください。