Realtime Compute for Apache Flink:Gerenciar catálogos Hive

Informações básicas

Depois de armazenar o arquivo de configuração do catálogo Hive e as dependências do Hadoop em um diretório especificado no console do Object Storage Service (OSS), crie um catálogo Hive no console de desenvolvimento do Realtime Compute for Apache Flink. Com o catálogo Hive criado, execute instruções DML para desenvolver a lógica de negócios e obter os metadados das tabelas Hive diretamente no console de desenvolvimento do Realtime Compute for Apache Flink. Assim, não é necessário executar instruções DDL para declarar informações das tabelas relacionadas. As tabelas em um catálogo Hive podem ser usadas como tabelas de source ou tabelas de resultado em implantações de streaming e em lote.

Pré-requisitos

Limites

• Metastores do Hive autogerenciados são suportados.

• As versões 1.X, 2,1.X e 2,2.X do Hive não são compatíveis com o Apache Flink 1.16 ou superior. Portanto, apenas o Realtime Compute for Apache Flink com Ververica Runtime (VVR) 6.X oferece suporte a essas versões do Hive.

• Ao utilizar o DLF como metastore do seu catálogo Hive, a criação de tabelas não-Hive no catálogo só é possível no Realtime Compute for Apache Flink com VVR 8.0.6 ou posterior.

• A escrita de dados no OSS-HDFS por meio de um catálogo Hive requer o Realtime Compute for Apache Flink com VVR 8.0.6 ou versão mais recente.

Configurar metadados do Hive

1. Estabeleça uma conexão entre um cluster Hadoop e a virtual private cloud (VPC) onde reside o Realtime Compute for Apache Flink.

   Utilize o Alibaba Cloud DNS PrivateZone para conectar um cluster Hadoop à VPC do Realtime Compute for Apache Flink. Para mais detalhes, consulte Resolver. Após estabelecer a conexão, o Realtime Compute for Apache Flink acessará o cluster Hadoop usando o arquivo de configuração desse cluster.

2. Metastores do Hive ou o Alibaba Cloud DLF podem atuar como centro de gerenciamento de metadados para catálogos Hive. A seção a seguir detalha as configurações necessárias.

   Hive MetaStore

   Verifique se a definição do parâmetro hive.metastore.uris no arquivo de configuração do Hive hive-site.xml atende aos requisitos abaixo:

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

   O valor xx.yy.zz.mm no arquivo de configuração representa o endereço IP interno ou público do Hive.

   Nota

   Caso defina o parâmetro hive.metastore.uris como o nome do host do Hive, configure o serviço Alibaba Cloud DNS para resolver esse valor. Sem essa configuração, a resolução do parâmetro hive.metastore.uris falhará e o Ververica Platform (VVP) retornará a mensagem de erro UnknownHostException ao acessar o Hive remotamente. Para saber como configurar o serviço Alibaba Cloud DNS, consulte Adicionar um registro DNS a uma zona privada.

   Alibaba Cloud DLF

   Adicione as configurações abaixo ao arquivo hive-site.xml para garantir que o catálogo Hive acesse o DLF.

   Nota

   Se o arquivo hive-site.xml contiver o item de configuração dlf.catalog.akMode, remova-o. Caso contrário, o catálogo Hive não conseguirá acessar o DLF.

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   Parâmetro	Descrição	Observações
   dlf.catalog.uid	ID da sua conta Alibaba Cloud usada para acessar o DLF.	Para obter o ID da sua conta Alibaba Cloud, acesse a página Security Settings.
   dlf.catalog.endpoint	Endpoint do serviço DLF.	Para mais informações, consulte Data Lake Formation: Regiões e endpoints suportados. Nota Recomendamos definir dlf.endpoint como o endpoint VPC do DLF. Por exemplo, se selecionar a região China (Hangzhou), defina o parâmetro dlf.endpoint como dlf-vpc.cn-hangzhou.aliyuncs.com. Para acessar o DLF entre VPCs diferentes, siga as instruções em Acessar serviços entre VPCs.
   dlf.catalog.region	ID da região onde o serviço DLF está ativado.	Para mais informações, consulte Data Lake Formation: Regiões e endpoints suportados. Nota Certifique-se de que a região selecionada corresponda ao endpoint escolhido para dlf.endpoint.
   dlf.catalog.accessKeyI	AccessKey ID da sua conta Alibaba Cloud.	Para saber como obter um AccessKey secret, consulte Obter um par de AccessKey.
   dlf.catalog.accessKeySecret	AccessKey secret da sua conta Alibaba Cloud.	Para saber como obter um AccessKey secret, consulte Obter um par de AccessKey.

3. Catálogos Hive permitem armazenar tabelas no OSS e no OSS-HDFS. A tabela a seguir descreve as configurações necessárias.

   OSS

   Adicione as configurações abaixo ao arquivo hive-site.xml para garantir que o catálogo Hive acesse o OSS.

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição	Observações
   hive.metastore.warehouse.dir	Diretório onde os dados da tabela são armazenados.	N/A.
   fs.oss.endpoint	Endpoint do OSS.	Para mais informações, consulte Regiões e endpoints.
   fs.oss.accessKeyId	AccessKey ID da sua conta Alibaba Cloud.	Para saber como obter um AccessKey ID, consulte Obter um par de AccessKey.
   fs.oss.accessKeySecret	AccessKey secret da sua conta Alibaba Cloud.	Para saber como obter um AccessKey secret, consulte Obter um par de AccessKey.
   fs.defaultFS	Sistema de arquivos padrão para armazenamento dos dados da tabela.	Certifique-se de que o valor deste parâmetro seja o endpoint do serviço HDFS correspondente ao bucket de destino, como oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   OSS-HDFS

   1. Adicione as configurações abaixo ao arquivo hive-site.xml para garantir que o catálogo Hive acesse o OSS-HDFS.

      <property>
        <name>fs.jindo.impl</name>
        <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
      </property>
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
      </property>
      <property>
        <name>fs.oss.endpoint</name>
        <value>${YOUR_OSS_ENDPOINT}</value>
      </property>
      <property>
        <name>fs.oss.accessKeyId</name>
        <value>${YOUR_ACCESS_KEY_ID}</value>
      </property>
      <property>
        <name>fs.oss.accessKeySecret</name>
        <value>${YOUR_ACCESS_KEY_SECRET}</value>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
      </property>

      Parâmetro	Descrição	Observações
      hive.metastore.warehouse.dir	Diretório onde os dados da tabela são armazenados.	N/A.
      fs.oss.endpoint	Endpoint do OSS.	Para mais informações, consulte Regiões e endpoints.
      fs.oss.accessKeyId	AccessKey ID da sua conta Alibaba Cloud.	Para saber como obter um AccessKey ID, consulte Obter um par de AccessKey.
      fs.oss.accessKeySecret	AccessKey secret da sua conta Alibaba Cloud.	Para saber como obter um AccessKey secret, consulte Obter um par de AccessKey.
      fs.defaultFS	Sistema de arquivos padrão para armazenamento dos dados da tabela.	Certifique-se de que o valor deste parâmetro seja o endpoint do serviço HDFS correspondente ao bucket de destino, como oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   2. (Opcional) Para ler dados de uma tabela Hive armazenada no OSS-HDFS no formato Parquet, adicione os seguintes itens de configuração ao Realtime Compute for Apache Flink.

      fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
      fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
      fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
      fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

      Para mais detalhes sobre os parâmetros, consulte Escrever no OSS-HDFS.

   Nota

   Se seus dados já estiverem armazenados no Realtime Compute for Apache Flink, ignore as operações posteriores a esta etapa. Prossiga diretamente para a etapa Criar um catálogo Hive.

4. No console do OSS, crie dois diretórios em um bucket do OSS e faça upload do arquivo de configuração do Hive e das dependências do Hadoop para esses diretórios.

   1. Faça login no console do OSS.

   2. No painel de navegação à esquerda, clique em Buckets.

   3. Na página Buckets, clique no nome do bucket desejado.

   4. Crie uma pasta chamada ${hms} no caminho oss://${bucket}/artifacts/namespaces/${ns}/.

      Para mais informações sobre como criar um diretório no console do OSS, consulte Criar diretórios. A tabela a seguir descreve as variáveis presentes no caminho onde o diretório será criado.

      Pasta	Descrição
      ${bucket}	Nome do bucket utilizado pelo seu workspace do Realtime Compute for Apache Flink.
      ${ns}	Nome do workspace do Realtime Compute for Apache Flink onde você deseja criar um catálogo Hive.
      ${hms}	Nome da pasta a ser criada. Recomendamos usar o mesmo nome desta pasta e do catálogo Hive que você criará nas etapas seguintes.

      Nota

      Ao criar um workspace do Realtime Compute for Apache Flink, o sistema gera automaticamente o diretório /artifacts/namespaces/${ns}/ no bucket especificado para armazenar dados, como pacotes JAR. Se não encontrar esse diretório no console do OSS, faça upload manual de um arquivo na página Artifacts do Console de Desenvolvimento do Realtime Compute for Apache Flink para gerar o diretório.

   5. Crie um diretório chamado hive-conf-dir e outro chamado hadoop-conf-dir no caminho oss://${bucket}/artifacts/namespaces/${ns}/${hms}. Para saber como criar um diretório no console do OSS, consulte Criar diretórios.

      Os exemplos a seguir mostram os arquivos armazenados nos diretórios hive-conf-dir e hadoop-conf-dir:

      • O caminho oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/ armazena o arquivo de configuração do Hive chamado hive-site.xml.

      • O caminho oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/ armazena os arquivos de configuração do Hadoop, como core-site.xml, hdfs-site.xml, yarn-site.xml e mapred-site.xml.

      Após criar os diretórios, selecione Files > Projects no painel de navegação à esquerda do console do OSS para visualizar os novos diretórios e arquivos e copie a URL do OSS.

   6. Faça upload do arquivo de configuração do Hive hive-site.xml para o diretório hive-conf-dir. Para saber como fazer upload de um arquivo, consulte 上传文件.

   7. Faça upload dos seguintes arquivos de configuração para o diretório hadoop-conf-dir. Para saber como fazer upload de um arquivo, consulte 上传文件.

      • hive-site.xml

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • Outros arquivos necessários, como pacotes compactados usados pelas implantações do Hive

Criar um catálogo Hive

Após configurar os metadados do Hive, crie um catálogo Hive pela interface ou executando uma instrução SQL. Recomendamos a criação pela interface.

Usar um catálogo Hive

-- Create a table named flink_hive_test in the flinkhive database under the flinkexporthive catalog. 
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- Add a column to the Hive table. 
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;

-- Drop a column from the Hive table. 
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
DROP column;

-- Add the color field to the Hive table. 
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;

-- Drop the color field from the Hive table. 
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- Drop the Hive table. 
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- Drop the Hive table. 
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

Visualizar um catálogo Hive

1. Acesse a página Catalogs.

   1. Faça login no console do Realtime Compute for Apache Flink.

   2. Localize o workspace desejado e clique em Console na coluna Actions.

   3. Clique em Catalogs.

2. Na página Catalog List, localize o catálogo desejado e visualize as colunas Name e Type do catálogo.

   Nota

   Para visualizar os bancos de dados e tabelas no catálogo, clique em View na coluna Actions.

Excluir um catálogo Hive