E-MapReduce:Delta Lakeデータソース

前提条件

• DataLakeクラスターやカスタムクラスターなど、Delta Lakeサービスを含むクラスターが作成されていること。 詳細については、「クラスターの作成」をご参照ください。

• StarRocksクラスターが作成されていること。 詳細については、「StarRocksクラスターの作成」をご参照ください。

Delta Lakeカタログの作成

構文

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

パラメーターの説明

• catalog_name: Delta Lakeカタログの名前。 このパラメーターは必須です。 名前は次の要件を満たしている必要があります。

  • 名前には、英字、数字、およびアンダースコア（_）を使用できます。 名前の先頭は英字にする必要があります。

  • 名前は 1 ～ 64 文字にする必要があります。

• PROPERTIES: Delta Lakeカタログのプロパティ。 このパラメーターは必須です。 このパラメーターの構成は、Delta Lakeデータソースで使用されるメタデータサービスによって異なります。 以下では、さまざまなメタデータサービスに対して構成できるプロパティについて説明します。

  • Hive Metastore

    プロパティ	必須	説明
    type	はい	データソースのタイプ。 値を deltalake に設定します。
    hive.metastore.uris	はい	Hive metastore の URI。 thrift://<Hive metastore の IP アドレス>:<ポート番号> の形式で値を指定します。 デフォルトのポート番号は 9083 です。

  • DLF

    詳細については、「メタデータがDLFに格納されている外部テーブルへのアクセス」をご参照ください。

例

delta_catalog という名前の Delta Lakeカタログを作成するには、次のコマンドを実行します。

CREATE EXTERNAL CATALOG delta_catalog
PROPERTIES
(
    "type" = "deltalake",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

Delta Lake のテーブルのデータをクエリする

次のステートメントを実行して、データベースの特定のテーブルのデータをクエリできます。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

参考資料

Delta Lake の詳細については、「概要」をご参照ください。