Realtime Compute for Apache Flink:Manage Hive catalogs

Contexto

Para configurar um catálogo do Hive no console de desenvolvimento do Realtime Compute for Apache Flink, primeiro armazene o arquivo de configuração do catálogo do Hive e as dependências do Hadoop em um diretório específico no console do Object Storage Service (OSS). Com o catálogo do Hive configurado, é possível usar instruções DML para criar lógica de negócios e recuperar metadados de tabelas do Hive diretamente no console de desenvolvimento, eliminando a necessidade de declarar tabelas com instruções DDL. As tabelas do catálogo do Hive podem funcionar como tabelas de origem ou de resultado tanto para implantações em streaming quanto em lote.

Pré-requisitos

Limitações

• Metastores do Hive autogerenciados são suportados.

• Somente o Ververica Runtime (VVR) 6.x suporta Hive 1.x, 2.1.x e 2.2.x, pois o suporte a essas versões foi descontinuado no Apache Flink 1.16 e posteriores.

• Caso um catálogo do Hive utilize o Data Lake Formation (DLF) como metastore, apenas o Ververica Runtime (VVR) 8.0.6 ou posterior permite a criação de tabelas não-Hive.

• A gravação de dados no OSS-HDFS é suportada exclusivamente pelo Ververica Runtime (VVR) 8.0.6 ou posterior.

Configurar metadados do Hive

1. Conecte a Virtual Private Cloud (VPC) do cluster Hadoop à VPC do Realtime Compute for Apache Flink.

   Conecte as VPCs usando o Alibaba Cloud DNS PrivateZone. Para mais informações, consulte Resolver. Após estabelecer a conexão de rede, o Realtime Compute for Apache Flink utiliza os arquivos de configuração do cluster Hadoop para acessá-lo.

2. Um catálogo do Hive pode usar o Hive MetaStore ou o Data Lake Formation (DLF) para gerenciamento de metadados. As seções a seguir descrevem as configurações necessárias.

   Hive MetaStore

   Certifique-se de que o parâmetro hive.metastore.uris no arquivo de configuração hive-site.xml esteja definido corretamente.

   <property>
       <name>hive.metastore.uris</name>
       <value>thrift://xx.yy.zz.mm:9083</value>
       <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>

   No exemplo anterior, xx.yy.zz.mm representa o endereço IP interno ou público do Hive MetaStore.

   Nota

   Se você definir hive.metastore.uris como um nome de host, será necessário configurar um serviço de resolução de nomes de domínio. Caso contrário, quando o console de desenvolvimento do Flink acessar o Hive remotamente, o valor do parâmetro hive.metastore.uris não poderá ser resolvido, resultando no erro UnknownHostException. Para mais informações sobre como configurar um serviço de resolução de nomes de domínio, consulte Add a PrivateZone record.

   Data Lake Formation (DLF)

   Para permitir que o catálogo do Hive acesse o DLF, adicione as seguintes propriedades ao arquivo de configuração hive-site.xml.

   Nota

   Se o seu arquivo hive-site.xml contiver a propriedade dlf.catalog.akMode, você deverá excluí-la. Caso contrário, o catálogo do Hive não conseguirá acessar o DLF.

   <property>
     <name>hive.imetastoreclient.factory.class</name>
     <value>com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory</value>
   </property>
   <property>
     <name>dlf.catalog.uid</name>
     <value>${YOUR_DLF_CATALOG_UID}</value>
   </property>
   <property>
     <name>dlf.catalog.endpoint</name>
     <value>${YOUR_DLF_ENDPOINT}</value>
   </property>
   <property>
     <name>dlf.catalog.region</name>
     <value>${YOUR_DLF_CATALOG_REGION}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>dlf.catalog.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>

   Parâmetro	Descrição	Observações
   dlf.catalog.uid	O ID da sua conta Alibaba Cloud.	Para consultar as informações da sua conta, acesse a página User Information.
   dlf.catalog.endpoint	O endpoint do serviço DLF.	Para mais informações, consulte Regions and endpoints. Nota Recomendamos definir o parâmetro dlf.catalog.endpoint como o endpoint de VPC do DLF. Por exemplo, se a região selecionada for China (Hangzhou), defina o parâmetro dlf.catalog.endpoint como dlf-vpc.cn-hangzhou.aliyuncs.com. Para acessar o DLF entre diferentes VPCs, consulte How do I access services across VPCs?.
   dlf.catalog.region	A região do serviço DLF.	Para mais informações, consulte Regions and endpoints. Nota Garanta que esta região corresponda àquela especificada no parâmetro dlf.catalog.endpoint.
   dlf.catalog.accessKeyId	O AccessKey ID da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.
   dlf.catalog.accessKeySecret	O AccessKey secret da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.

3. Um catálogo do Hive pode armazenar tabelas no Object Storage Service (OSS) ou no serviço OSS-HDFS. As seções a seguir detalham as configurações necessárias.

   OSS

   Para permitir que o catálogo do Hive acesse o OSS, adicione as seguintes propriedades ao arquivo de configuração hive-site.xml.

   <property>
     <name>fs.oss.impl.disable.cache</name>
     <value>true</value>
   </property>
   <property>
     <name>fs.oss.impl</name>
     <value>org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
   </property>
   <property>
     <name>fs.oss.endpoint</name>
     <value>${YOUR_OSS_ENDPOINT}</value>
   </property>
   <property>
     <name>fs.oss.accessKeyId</name>
     <value>${YOUR_ACCESS_KEY_ID}</value>
   </property>
   <property>
     <name>fs.oss.accessKeySecret</name>
     <value>${YOUR_ACCESS_KEY_SECRET}</value>
   </property>
   <property>
     <name>fs.defaultFS</name>
     <value>oss://${YOUR_OSS_BUCKET_DOMIN}</value>
   </property>

   A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição	Observações
   hive.metastore.warehouse.dir	O caminho de armazenamento para os dados da tabela.
   fs.oss.endpoint	O endpoint do Object Storage Service (OSS).	Para mais informações, consulte Regions and endpoints.
   fs.oss.accessKeyId	O AccessKey ID da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.
   fs.oss.accessKeySecret	O AccessKey secret da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.
   fs.defaultFS	O sistema de arquivos padrão para os dados da tabela.	Certifique-se de que o valor seja o nome de domínio do serviço HDFS do bucket de destino. Exemplo: oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   OSS-HDFS

   1. Para permitir que o catálogo do Hive acesse o serviço OSS-HDFS, adicione as seguintes propriedades ao arquivo de configuração hive-site.xml.

      <property>
        <name>fs.jindo.impl</name>
        <value>com.aliyun.jindodata.jindo.JindoFileSystem</value>
      </property>
      <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>${YOUR_OSS_WAREHOUSE_DIR}</value>
      </property>
      <property>
        <name>fs.oss.endpoint</name>
        <value>${YOUR_OSS_ENDPOINT}</value>
      </property>
      <property>
        <name>fs.oss.accessKeyId</name>
        <value>${YOUR_ACCESS_KEY_ID}</value>
      </property>
      <property>
        <name>fs.oss.accessKeySecret</name>
        <value>${YOUR_ACCESS_KEY_SECRET}</value>
      </property>
      <property>
        <name>fs.defaultFS</name>
        <value>oss://${YOUR_OSS_HDFS_BUCKET_DOMIN}</value>
      </property>

      Parâmetro	Descrição	Observações
      hive.metastore.warehouse.dir	O caminho de armazenamento para os dados da tabela.
      fs.oss.endpoint	O endpoint do Object Storage Service (OSS).	Para mais informações, consulte Regions and endpoints.
      fs.oss.accessKeyId	O AccessKey ID da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.
      fs.oss.accessKeySecret	O AccessKey secret da sua conta Alibaba Cloud.	Para mais informações, consulte Obtain an AccessKey pair.
      fs.defaultFS	O sistema de arquivos padrão para os dados da tabela.	Certifique-se de que o valor seja o nome de domínio do serviço HDFS do bucket de destino. Exemplo: oss://oss-hdfs-bucket.cn-hangzhou.oss-dls.aliyuncs.com/.

   2. (Opcional) Para ler tabelas do Hive formatadas em Parquet a partir do serviço OSS-HDFS, adicione os seguintes parâmetros ao arquivo de configuração do Realtime Compute for Apache Flink:

      fs.oss.jindo.accessKeyId: ${YOUR_ACCESS_KEY_ID}
      fs.oss.jindo.accessKeySecret: ${YOUR_ACCESS_KEY_SECRET}
      fs.oss.jindo.endpoint: ${YOUR_JINODO_ENDPOINT}
      fs.oss.jindo.buckets: ${YOUR_JINDO_BUCKETS}

      Para mais detalhes sobre os parâmetros, consulte Write data to OSS-HDFS.

   Nota

   Se você utilizar o recurso de armazenamento totalmente gerenciado do Realtime Compute for Apache Flink, não será necessário executar as etapas a seguir. Prossiga diretamente para Create a Hive catalog.

4. No console do OSS, crie diretórios e carregue os arquivos de configuração do Hive e as dependências do Hadoop nos caminhos de destino.

   1. Faça login no console do OSS.

   2. No painel de navegação à esquerda, clique em Buckets.

   3. Clique no nome do bucket desejado.

   4. No caminho oss://${bucket}/artifacts/namespaces/${ns}/, crie um diretório chamado ${hms}.

      Para mais informações sobre como criar um diretório no console do OSS, consulte Create directories. A tabela abaixo descreve as variáveis presentes no caminho.

      Parâmetro	Descrição
      ${bucket}	O nome do bucket utilizado pelo Realtime Compute for Apache Flink.
      ${ns}	O workspace onde você utilizará o catálogo do Hive.
      ${hms}	Recomendamos usar o mesmo nome do catálogo do Hive que você pretende criar.

      Nota

      Ao ativar um workspace, o Realtime Compute for Apache Flink cria automaticamente o diretório /artifacts/namespaces/${ns}/ no bucket especificado para armazenar dados como pacotes JAR. Se não encontrar esse diretório no console do OSS, acesse a página Artifacts no console de desenvolvimento e carregue um arquivo para acionar a criação do diretório.

   5. No caminho oss://${bucket}/artifacts/namespaces/${ns}/${hms}, crie dois diretórios: hive-conf-dir e hadoop-conf-dir. Para mais informações, consulte Create directories.

      Armazene os seguintes arquivos nos diretórios hive-conf-dir e hadoop-conf-dir:

      • O diretório oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hive-conf-dir/ armazena o arquivo de configuração do Hive hive-site.xml.

      • O diretório oss://${bucket}/artifacts/namespaces/${ns}/${hms}/hadoop-conf-dir/ armazena arquivos de configuração do Hadoop, incluindo core-site.xml, hdfs-site.xml, yarn-site.xml e mapred-site.xml.

      Após criar os diretórios, você poderá visualizá-los e copiar suas URLs do OSS na página Files.

   6. Carregue seu arquivo de configuração do Hive (hive-site.xml) no diretório hive-conf-dir. Para mais informações, consulte Upload objects.

   7. Carregue os seguintes arquivos de configuração no diretório hadoop-conf-dir. Para mais informações, consulte Upload objects.

      • core-site.xml

      • hdfs-site.xml

      • mapred-site.xml

      • Outros arquivos, como pacotes compactados utilizados por jobs do Hive.

Criar um catálogo do Hive

Depois de configurar os metadados do Hive, você poderá criar um catálogo do Hive. É possível criar um catálogo pela interface gráfica ou executando comandos SQL. Recomendamos o uso da interface gráfica.

Usar um catálogo Hive

-- Create the flink_hive_test table in the flinkhive database of the flinkexporthive catalog.
CREATE TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` (
  id INT,
  name STRING
) WITH (
  'connector' = 'hive'
);

-- Add a column to the Hive table.
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
ADD column type-column;
-- Drop a column from the Hive table.
ALTER TABLE `${catalog_name}`.`${db_name}`.`${table_name}` 
DROP column;

-- Add the color column to the Hive table.
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
ADD color STRING;
-- Drop the color column from the Hive table.
ALTER TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test` 
DROP color;

INSERT INTO ${other_sink_table}
SELECT ...
FROM `${catalog_name}`.`${db_name}`.`${table_name}`;

INSERT INTO `${catalog_name}`.`${db_name}`.`${table_name}`
SELECT ... 
FROM ${other_source_table};

-- Drop the Hive table.
DROP TABLE `${catalog_name}`.`${db_name}`.`${table_name}`;

-- Drop the Hive table.
DROP TABLE `flinkexporthive`.`flinkhive`.`flink_hive_test`;

Visualizar catálogo Hive

1. Acesse a página Catalogs.

   1. Faça login no console do Realtime Compute for Apache Flink.

   2. Na coluna Actions do workspace de destino, clique em Console.

   3. Clique em Catalogs.

2. Na página Catalog List, verifique as colunas Name e Type.

   Nota

   Para visualizar os bancos de dados e tabelas de um catálogo, clique em View na coluna Actions.

Excluir um catálogo Hive