E-MapReduce:DLF カタログの使用

構文

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "paimon",
    CatalogParams,
    StorageCredentialParams
);

パラメーター

• catalog_name：Hive カタログの名前。このパラメーターは必須です。名前は次の要件を満たす必要があります：

  • 先頭は英字である必要があります。英字 (a-z または A-Z)、数字 (0-9)、アンダースコア (_) のみ使用できます。

  • 全体の長さは 64 文字を超えることはできません。

• comment：Hive カタログの説明。このパラメーターはオプションです。

• type：データソースのタイプ。これを hive に設定します。

• GeneralParams：一般設定のパラメーターセット。GeneralParams には次のパラメーターが含まれます。

  パラメーター	必須	説明
  enable_recursive_listing	いいえ	StarRocks がテーブルまたはパーティションディレクトリ内のファイル (サブディレクトリを含む) からデータを再帰的に読み取るかどうかを指定します。有効な値： true (デフォルト)：ディレクトリを再帰的に走査します。 false：テーブルまたはパーティションディレクトリの現在のレベルのファイルからのみデータを読み取ります。

• MetastoreParams：StarRocks が Hive クラスターのメタデータにアクセスする方法に関するパラメーター。

  プロパティ	説明
  hive.metastore.type	Hive が使用するメタデータサービスのタイプ。これを dlf に設定します。
  dlf.catalog.id	DLF 1.0 内の既存のデータカタログの ID。このパラメーターは、hive.metastore.type が dlf に設定されている場合にのみ必須です。dlf.catalog.id パラメーターが指定されていない場合、システムはデフォルトの DLF カタログを使用します。

例

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Hive カタログの詳細については、「Hive カタログ」をご参照ください。

構文​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

パラメーター

• catalog_name：Iceberg カタログの名前。このパラメーターは必須です。名前は次の要件を満たす必要があります：

  • 英字 (a-z または A-Z)、数字 (0-9)、またはアンダースコア (_) で構成され、先頭は英字である必要があります。

  • 全体の長さは 64 文字を超えることはできません。

  • カタログ名では大文字と小文字が区別されます。

• comment：Iceberg カタログの説明。このパラメーターはオプションです。

• type：データソースのタイプ。これを iceberg に設定します。

• MetastoreParams：StarRocks が Iceberg クラスターのメタデータサービスにアクセスするためのパラメーター。

  プロパティ	説明
  iceberg.catalog.type	Iceberg のカタログのタイプ。値は dlf である必要があります。
  dlf.catalog.id	DLF 内の既存のデータカタログの ID。dlf.catalog.id パラメーターを設定しない場合、システムはデフォルトの DLF カタログを使用します。

例

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Iceberg カタログの詳細については、「Iceberg カタログ」をご参照ください。

構文

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "paimon",
    CatalogParams,
    StorageCredentialParams
);

パラメーター

• catalog_name：Paimon カタログの名前。このパラメーターは必須です。名前は次の要件を満たす必要があります：

  • 先頭は英字である必要があります。英字 (a-z または A-Z)、数字 (0-9)、アンダースコア (_) のみ使用できます。

  • 全体の長さは 64 文字を超えることはできません。

• comment：Paimon カタログの説明。このパラメーターはオプションです。

• type：データソースのタイプ。このパラメーターを paimon に設定します。

• CatalogParams：StarRocks が Paimon クラスターのメタデータにアクセスするためのパラメーター。

  プロパティ	必須	説明
  paimon.catalog.type	はい	データソースのタイプ。値は dlf です。
  paimon.catalog.warehouse	はい	Paimon データが格納されているウェアハウスのストレージパス。HDFS、OSS、および OSS-HDFS がサポートされています。OSS または OSS-HDFS のフォーマットは oss://<yourBucketName>/<yourPath> です。 重要 OSS または OSS-HDFS をウェアハウスとして使用する場合は、aliyun.oss.endpoint パラメーターを設定する必要があります。詳細については、「StorageCredentialParams: StarRocks が Paimon クラスターのファイルストレージにアクセスするためのパラメーター。」をご参照ください。
  dlf.catalog.id	いいえ	DLF 内の既存のデータカタログの ID。dlf.catalog.id パラメーターを設定しない場合、システムはデフォルトの DLF カタログを使用します。

• StorageCredentialParams：StarRocks が Paimon クラスターのファイルストレージにアクセスするためのパラメーター。

  • HDFS をストレージシステムとして使用する場合、StorageCredentialParams を設定する必要はありません。

  • OSS または OSS-HDFS を使用する場合、StorageCredentialParams を設定する必要があります。

    "aliyun.oss.endpoint" = "<YourAliyunOSSEndpoint>" 

    パラメーターを次の表に示します。

    プロパティ

    説明

    aliyun.oss.endpoint

    OSS または OSS-HDFS のエンドポイント情報は次のとおりです： OSS：ご利用のバケットの [概要] ページに移動し、[アクセスポート] セクションでエンドポイントを確認します。また、「OSS のリージョンとエンドポイント」を参照して、対応するリージョンのエンドポイントを確認することもできます。例：oss-cn-hangzhou.aliyuncs.com OSS-HDFS：ご利用のバケットの [概要] ページに移動し、[アクセスポート] セクションで [HDFS サービス] のエンドポイントを確認します。たとえば、中国 (杭州) リージョンのエンドポイントは cn-hangzhou.oss-dls.aliyuncs.com です。 重要 このパラメーターを設定した後、EMR Serverless StarRocks コンソールの [インスタンス設定] ページに移動する必要もあります。次に、core-site.xml および jindosdk.cfg 内の fs.oss.endpoint パラメーターを aliyun.oss.endpoint の値と一致するように変更します。

例

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>",
    "dlf.catalog.id" = "paimon_dlf_test"
);

Paimon カタログの詳細については、「Paimon カタログ」をご参照ください。