Realtime Compute for Apache Flink:Hive カタログの管理

前提条件

制限事項

• セルフマネージド Hive メタストアがサポートされています。

• Hive 1.X、2.1.X、および 2.2.X は、Apache Flink 1.16 以降ではサポートされていません。 したがって、Ververica Runtime (VVR) 6.X を使用する Realtime Compute for Apache Flink のみが Hive 1.X、2.1.X、および 2.2.X をサポートします。

• DLF を Hive カタログのメタストアとして使用する場合、VVR 8.0.6 以降を使用する Realtime Compute for Apache Flink でのみ、カタログに非 Hive テーブルを作成できます。

• VVR 8.0.6 以降を使用する Realtime Compute for Apache Flink でのみ、Hive カタログを使用して OSS-HDFS にデータを書き込むことができます。

Hive メタデータを設定する

1. Hadoop クラスタと Realtime Compute for Apache Flink が存在する virtual private cloud (VPC) の間に接続を確立します。

   Alibaba Cloud DNS PrivateZone を使用して、Hadoop クラスタを Realtime Compute for Apache Flink が存在する VPC に接続できます。 詳細については、「リゾルバー」をご参照ください。 接続が確立されると、Realtime Compute for Apache Flink は Hadoop クラスタの構成ファイルを使用して Hadoop クラスタにアクセスできます。

2. Hive メタストアまたは Alibaba Cloud DLF を Hive カタログのメタデータ管理センターとして使用できます。 次のセクションでは、関連する設定について説明します。

   Hive MetaStore

   Hive 構成ファイル hive-site.xml の hive.metastore.uris パラメーターの設定が次の要件を満たしているかどうかを確認します。

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

   構成ファイルの xx.yy.zz.mm は、Hive の内部またはパブリック IP アドレスを示します。

   説明

   hive.metastore.uris パラメーターを Hive のホスト名に設定する場合は、Alibaba Cloud DNS サービスを設定してパラメーター値を解析する必要があります。 そうしないと、hive.metastore.uris パラメーターの値の解析に失敗し、Ververica Platform (VVP) が Hive にリモートアクセスするときに UnknownHostException エラーメッセージが返されます。 Alibaba Cloud DNS サービスを設定する方法の詳細については、「プライベートゾーンに DNS レコードを追加する」をご参照ください。

   Alibaba Cloud DLF

   Hive カタログが DLF にアクセスできるように、次の設定を Hive 構成ファイル hive-site.xml に追加します。

   説明

   hive-site.xml ファイルに dlf.catalog.akMode 設定項目が含まれている場合は、この設定項目を削除する必要があります。 そうしないと、Hive カタログは DLF にアクセスできません。

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   パラメーター	説明	備考
   dlf.catalog.uid	DLF へのアクセスに使用する Alibaba Cloud アカウントの ID。	Alibaba Cloud アカウントの ID を取得するには、セキュリティ設定 ページに移動します。
   dlf.catalog.endpoint	DLF サービスのエンドポイント。	詳細については、「サポートされているリージョンとエンドポイント」をご参照ください。 説明 dlf.endpoint を DLF の VPC エンドポイントに設定することをお勧めします。 たとえば、中国 (杭州) リージョンを選択した場合は、dlf.endpoint パラメーターを dlf-vpc.cn-hangzhou.aliyuncs.com に設定します。 VPC を介して DLF にアクセスする場合は、「Realtime Compute for Apache Flink は VPC を介してサービスにアクセスするにはどうすればよいですか?」に記載されている手順に従ってください。
   dlf.catalog.region	DLF サービスがアクティブ化されているリージョンの ID。	詳細については、「サポートされているリージョンとエンドポイント」をご参照ください。 説明 選択したリージョンが dlf.endpoint に選択したエンドポイントと一致していることを確認してください。
   dlf.catalog.accessKeyI	Alibaba Cloud アカウントの AccessKey ID。	AccessKey シークレットを取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。
   dlf.catalog.accessKeySecret	Alibaba Cloud アカウントの AccessKey シークレット。	AccessKey シークレットを取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。

3. Hive カタログでは、OSS および OSS-HDFS にテーブルを保存できます。 次の表に、設定について説明します。

   OSS

   Hive カタログが OSS にアクセスできるように、次の設定を Hive 構成ファイル hive-site.xml に追加します。

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   次の表にパラメーターを示します。

   パラメーター	説明	備考
   hive.metastore.warehouse.dir	テーブルデータが保存されるディレクトリ。	該当なし。
   fs.oss.endpoint	OSS のエンドポイント。	詳細については、「リージョンとエンドポイント」をご参照ください。
   fs.oss.accessKeyId	Alibaba Cloud アカウントの AccessKey ID。	AccessKey ID を取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。
   fs.oss.accessKeySecret	Alibaba Cloud アカウントの AccessKey シークレット。	AccessKey シークレットを取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。
   fs.defaultFS	デフォルトでテーブルデータが保存されるファイルシステム。	このパラメーターの値が、宛先バケットに対応する HDFS サービスのエンドポイント (oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/ など) であることを確認してください。

   OSS-HDFS

   1. Hive カタログが OSS-HDFS にアクセスできるように、次の設定を Hive 構成ファイル hive-site.xml に追加します。

      <property>
        <name>fs.jindo.impl</name>
        <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
      </property>
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
      </property>
      <property>
        <name>fs.oss.endpoint</name>
        <value>${YOUR_OSS_ENDPOINT}</value>
      </property>
      <property>
        <name>fs.oss.accessKeyId</name>
        <value>${YOUR_ACCESS_KEY_ID}</value>
      </property>
      <property>
        <name>fs.oss.accessKeySecret</name>
        <value>${YOUR_ACCESS_KEY_SECRET}</value>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
      </property>

      パラメーター	説明	備考
      hive.metastore.warehouse.dir	テーブルデータが保存されるディレクトリ。	該当なし。
      fs.oss.endpoint	OSS のエンドポイント。	詳細については、「リージョンとエンドポイント」をご参照ください。
      fs.oss.accessKeyId	Alibaba Cloud アカウントの AccessKey ID。	AccessKey ID を取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。
      fs.oss.accessKeySecret	Alibaba Cloud アカウントの AccessKey シークレット。	AccessKey シークレットを取得する方法の詳細については、「AccessKey ペアの取得」をご参照ください。
      fs.defaultFS	デフォルトでテーブルデータが保存されるファイルシステム。	このパラメーターの値が、宛先バケットに対応する HDFS サービスのエンドポイント（oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/ など）であることを確認してください。

   2. (オプション) OSS-HDFS に格納されている Hive テーブルからデータを読み取り、その Hive テーブルが Parquet フォーマットである場合は、Realtime Compute for Apache Flink に次の設定項目を追加します。

      fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
      fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
      fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
      fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

      パラメーターの詳細については、「OSS-HDFS にデータを書き込む」をご参照ください。

   説明

   データが Realtime Compute for Apache Flink に格納されている場合は、この手順の後の操作を実行する必要はありません。Hive カタログを作成する ステップに直接進むことができます。

4. OSS コンソールで、OSS バケットに 2 つのディレクトリを作成し、Hive 構成ファイルと Hadoop 依存関係をこれらのディレクトリにアップロードします。

   1. OSS コンソール にログインします。

   2. 左側のナビゲーションウィンドウで、[バケット] をクリックします。

   3. ［バケット］ページで、目的のバケットの名前をクリックします。

   4. oss://${bucket}/artifacts/namespaces/${ns}/ パスに ${hms} という名前のフォルダを作成します。

      OSS コンソールでディレクトリを作成する方法の詳細については、「ディレクトリを作成する」をご参照ください。次の表は、ディレクトリを作成するパスの変数について説明しています。

      フォルダ	説明
      ${bucket}	Realtime Compute for Apache Flink ワークスペースで使用されるバケットの名前。
      ${ns}	Hive カタログを作成する Realtime Compute for Apache Flink ワークスペースの名前。
      ${hms}	作成するフォルダの名前。このフォルダと、後続の手順で作成する Hive カタログには同じ名前を使用することをお勧めします。

      説明

      Realtime Compute for Apache Flink ワークスペースを作成すると、Realtime Compute for Apache Flink は指定されたバケットに /artifacts/namespaces/${ns}/ ディレクトリを自動的に作成し、JAR パッケージなどのデータを保存します。 OSS コンソールでディレクトリが見つからない場合は、Realtime Compute for Apache Flink の開発コンソールの [アーティファクト] ページにファイルをアップロードして、ディレクトリを手動で作成する必要があります。

   5. oss://${bucket}/artifacts/namespaces/${ns}/${hms} パスに hive-conf-dir という名前のディレクトリと hadoop-conf-dir という名前のディレクトリを作成します。OSS コンソールでディレクトリを作成する方法の詳細については、「ディレクトリを作成する」をご参照ください。

      次の例は、hive-conf-dir ディレクトリと hadoop-conf-dir ディレクトリに保存されているファイルについて説明しています。

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/ は、hive-site.xml という名前の Hive 構成ファイルを保存するために使用されます。

      • oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/ は、core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml などの Hadoop 構成ファイルを保存するために使用されます。

      ディレクトリが作成された後、OSS コンソールの左側のナビゲーションウィンドウで [ファイル] > [プロジェクト] を選択して、新しいディレクトリとファイルを表示し、OSS URL をコピーできます。

   6. Hive 構成ファイル hive-site.xml を hive-conf-dir ディレクトリにアップロードします。ファイルのアップロード方法の詳細については、「オブジェクトのアップロード」をご参照ください。

   7. 次の構成ファイルを hadoop-conf-dir ディレクトリにアップロードします。ファイルのアップロード方法の詳細については、「オブジェクトのアップロード」をご参照ください。

      • hive-site.xml

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • Hive デプロイメントで使用される圧縮パッケージなどのその他の必要なファイル

Hive カタログの作成

Hive メタデータを構成した後、UI 上または SQL 文を実行することで Hive カタログを作成できます。UI 上で Hive カタログを作成することをお勧めします。

Hive カタログを使用する

-- flinkexporthive カタログの flinkhive データベースに flink_hive_test という名前のテーブルを作成します。
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- Hive テーブルに列を追加します。
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;

-- Hive テーブルから列を削除します。
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
DROP column;

-- Hive テーブルに color フィールドを追加します。
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;

-- Hive テーブルから color フィールドを削除します。
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- Hive テーブルを削除します。
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- Hive テーブルを削除します。
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

Hive カタログを表示する

1. カタログ ページに移動します。

   1. Realtime Compute for Apache Flink コンソール にログオンします。

   2. 管理するワークスペースを見つけ、[アクション] 列の [コンソール] をクリックします。

   3. [カタログ] をクリックします。

2. [カタログリスト] ページで、目的のカタログを見つけ、カタログの [名前] 列と [タイプ] 列を表示します。

   説明

   カタログ内のデータベースとテーブルを表示する場合は、[アクション] 列の [表示] をクリックします。

Hive カタログを削除する