Realtime Compute for Apache Flink:Hive カタログの管理

Hive メタストア

hive.metastore.uris が hive-site.xml で、Hive ホストの内部またはパブリック IP アドレスを指していることを確認してください。

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://xx.yy.zz.mm:9083</value>
    <description>リモートメタストアの Thrift URI。メタストアクライアントがリモートメタストアに接続するために使用されます。</description>
</property>

hive.metastore.uris をホスト名（IP アドレスではなく）に設定した場合、Alibaba Cloud DNS PrivateZone を使用してそのホスト名を解決するように構成してください。DNS 解決が行われていないと、Ververica Platform（VVP）がメタストアへの接続時に UnknownHostException を返します。詳細については、「プライベートゾーンへの DNS レコードの追加」をご参照ください。

Alibaba Cloud DLF

hive-site.xml に以下のプロパティを追加してください。

<property>
  <name>hive.imetastoreclient.factory.class</name>
  <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
</property>
<property>
  <name>dlf.catalog.uid</name>
  <value>${YOUR_DLF_CATALOG_UID}</value>
</property>
<property>
  <name>dlf.catalog.endpoint</name>
  <value>${YOUR_DLF_ENDPOINT}</value>
</property>
<property>
  <name>dlf.catalog.region</name>
  <value>${YOUR_DLF_CATALOG_REGION}</value>
</property>
<property>
  <name>dlf.catalog.accessKeyId</name>
  <value>${YOUR_ACCESS_KEY_ID}</value>
</property>
<property>
  <name>dlf.catalog.accessKeySecret</name>
  <value>${YOUR_ACCESS_KEY_SECRET}</value>
</property>

OSS

hive-site.xml に以下のプロパティを追加してください。

<property>
  <name>fs.oss.impl.disable.cache</name>
  <value>true</value>
</property>
<property>
  <name>fs.oss.impl</name>
  <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
</property>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
</property>
<property>
  <name>fs.oss.endpoint</name>
  <value>${YOUR_OSS_ENDPOINT}</value>
</property>
<property>
  <name>fs.oss.accessKeyId</name>
  <value>${YOUR_ACCESS_KEY_ID}</value>
</property>
<property>
  <name>fs.oss.accessKeySecret</name>
  <value>${YOUR_ACCESS_KEY_SECRET}</value>
</property>
<property>
  <name>fs.defaultFS</name>
  <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
</property>

OSS-HDFS

1. hive-site.xml に以下のプロパティを追加してください。

   パラメーター	必須	説明
   hive.metastore.warehouse.dir	はい	テーブルデータを格納するディレクトリ。
   fs.oss.endpoint	はい	OSS エンドポイント。「リージョンとエンドポイント」をご参照ください。
   fs.oss.accessKeyId	はい	AccessKey ID。「AccessKey ペアの取得」をご参照ください。
   fs.oss.accessKeySecret	はい	AccessKey Secret。「AccessKey ペアの取得」をご参照ください。
   fs.defaultFS	はい	テーブルデータのデフォルトファイルシステム。対象バケットの HDFS エンドポイント（例：oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/）を指定します。

   <property>
     <name>fs.jindo.impl</name>
     <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
   </property>

2. （任意）OSS-HDFS に格納された Parquet 形式の Hive テーブルを読み取る予定がある場合は、Realtime Compute for Apache Flink に以下の構成を追加してください。

   fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
   fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
   fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
   fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

   パラメーターの詳細については、「OSS-HDFS へのデータ書き込み」をご参照ください。

ご利用のデータがすでに Realtime Compute for Apache Flink 上に格納されている場合は、ステップ 2～3 をスキップし、直接「Hive カタログの作成」に進んでください。

UI メソッド

コンソールから：

1. Realtime Compute for Apache Flink コンソール にログインし、ワークスペースを見つけ、[コンソール] を [操作] 列からクリックします。

2. [カタログ] をクリックしてください。

3. [カタログ一覧] ページで、対象のカタログを見つけ、[表示] を [操作] 列からクリックします。

4. 対象のデータベースを見つけ、[表示] を [操作] 列からクリックします。

5. [テーブルの作成] をクリックします。

6. [テーブルの作成] ダイアログボックスの [組み込み] タブで、[接続タイプ] ドロップダウンリストからテーブルタイプを選択し、コネクタタイプを選択して、[次へ] をクリックします。

7. テーブル作成ステートメントを入力し、パラメーターを構成します。

   CREATE TABLE `${catalog_name}`.`${db_name}`.`${table_name}` (
     id INT,
     name STRING
   ) WITH (
     'connector' = 'hive'
   );

8. [OK] をクリックします。

SQL コマンドメソッド

SQL ステートメントを実行して：

[スクリプト] ページで、CREATE TABLE ステートメントを実行し、その後選択して [実行] をクリックします。

UI メソッド

コンソールから：

1. Realtime Compute for Apache Flink コンソール にログインし、ワークスペースを見つけ、[コンソール] を [操作] 列からクリックします。

2. [カタログ] をクリックします。

3. [カタログ] ペインで、対象のカタログおよびデータベース下の対象テーブルに移動します。

4. テーブルの詳細ページで、[削除] を [操作] 列からクリックします。

5. 確認ダイアログで、[OK] をクリックします。

SQL コマンドメソッド

SQL ステートメントを実行して：

[スクリプト] ページで、以下のステートメントを実行します。

-- Hive テーブルを削除します。
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

例：

-- Hive テーブルを削除します。
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;