E-MapReduce:データカタログの管理

カタログタイプ

サポートされるデータソース

追加方法

説明

使用方法

データカタログ

• DLF（旧称：DLF 2.5）

• DLF-Legacy（旧称：DLF 1.0）

• Hive Metastore

• StarRocks

• Hologres

Catalog ページで手動でカタログを追加します。

カタログを追加した後は、変更を有効にするために実行中のすべての会話を再起動する必要があります。

• Development ページで、SQL エディターから対象のカタログを選択します。

• SQL エディターで直接 USE <catalogName>; を実行します。

• SQL エディターで直接 SELECT * FROM <catalogName>.db.tbl; を実行します。

カスタムカタログ

Paimon、Iceberg など

会話を編集し、Spark Configuration タブで必要なパラメーターを追加します。

このタイプでは手動でのパラメーター構成が必要であり、さまざまなデータソースをサポートするように拡張できます。詳細については、「Iceberg の使用」および「Paimon の使用」をご参照ください。

-- カスタムカタログに切り替え
USE <catalogName>;

-- またはテーブルを直接参照
SELECT * FROM <catalogName>.db.tbl;

パラメーター

説明

Network Connection

外部 Hive Metastore が配置されている VPC へのネットワーク接続です。

ドロップダウンリストから既存のネットワーク接続を選択します。詳細については、「ステップ 1：ネットワーク接続の追加」をご参照ください。

Metastore service address

外部 Hive Metastore のサービスアドレス。形式は thrift://<metastore-host>:<port> です。

ここで：

• <metastore-host>：Hive Metastore サービスのホスト名または IP アドレス。

• <port>：Hive Metastore サービスのポート番号。デフォルトは 9083 です。

Kerberos 認証

外部 Hive Metastore で Kerberos 認証が有効になっている場合は、キータブファイルのパスとプリンシパル名を指定します。

• Kerberos keytab file：Kerberos キータブファイルのパス。

• Kerberos principal：キータブファイル内のプリンシパル名。Kerberos サービスとの認証に使用されます。

  説明

  ターゲットのキータブファイル内のプリンシパル名を確認するには、klist -kt <keytab_file> コマンドを使用できます。

パラメーター

説明

Catalog Name

StarRocks データカタログの名前です。この名前はワークスペース内で一意である必要があり、SQL 内でカタログを参照する際に使用されます。

Normal Network Connection

StarRocks インスタンスが配置されている VPC へのネットワーク接続です。ドロップダウンリストから既存のネットワーク接続を選択します。詳細については、「ステップ 1：ネットワーク接続の追加」をご参照ください。

Endpoint

StarRocks のフロントエンド (FE) アクセスアドレスです。例：fe--internal.starrocks.aliyuncs.com。

Query Port

StarRocks の FE クエリポートです。通常は 9030 です。

Username

StarRocks にアクセスするためのユーザー名です。Spark ジョブは、StarRocks データの読み取りまたは書き込み時にこのユーザー名を使用して認証を行います。

Password

指定されたユーザー名に対応するパスワードです。

Spark の概念

Hologres の概念

説明

Catalog

Database

例：hologres_external_test_db は、Hologres の test_db データベースに対応します。

Namespace

Schema

例：public または test_schema。デフォルトの名前空間は public です。USE を実行して別の名前空間に切り替えることができます。

Table

Table

namespace.table_name（例：public.test）のようにテーブルを明示的に指定する必要があります。または、まず USE namespace を実行してから、テーブル名を直接参照します。

パラメーター

説明

Catalog Name

Hologres データカタログの名前。この名前はワークスペース内で一意である必要があり、SQL でカタログを参照する際に使用されます。

Normal Network Connection

Hologres インスタンスが配置されている VPC へのネットワーク接続。ドロップダウンリストから既存のネットワーク接続を選択します。詳細については、「ステップ 1：ネットワーク接続の追加」をご参照ください。

Endpoint

Hologres インスタンスのアクセスアドレス。Hologres コンソール のインスタンス詳細ページで確認できます。

Query Port

Hologres インスタンスのポート。通常は 80 です。

Username

Hologres にアクセスするためのユーザー名。Spark ジョブは、Hologres データの読み書き時にこのユーザー名を使用して認証を行います。

• カスタムアカウントの場合は、BASIC$<user_name> 形式のユーザー名を使用します。

• Alibaba Cloud アカウントまたは RAM ユーザーの場合は、AccessKey ID を使用します。

Password

指定されたユーザー名のパスワード。

• カスタムアカウントの場合は、アカウントのパスワードを使用します。

• Alibaba Cloud アカウントまたは RAM ユーザーの場合は、AccessKey Secret を使用します。