Hologres:Acesso a dados do OSS com Hive Metastore (beta)

Pré-requisitos

Antes de começar, verifique se você possui:

• O serviço OSS ativado. Consulte Início rápido do console.

• Um cluster de data lake do EMR com dados de teste carregados. Consulte Acessar o OSS-HDFS no EMR Hive ou Spark e Criar um cluster. O cluster deve atender a todas as condições abaixo:

  • Hive versão 3.1.3 ou posterior

  • Autenticação Kerberos desativada

  • Metadata definido como Self-managed RDS ou Built-in MySQL

• Uma instância do Hologres com aceleração de data lake ativada e um banco de dados criado. Consulte Comprar uma instância do Hologres e Criar um banco de dados.

  Para ativar a aceleração de data lake, acesse o console do Hologres. Na coluna Actions da instância desejada, clique em Lake Acceleration e confirme.

• Uma conexão de rede entre o Hologres e o cluster EMR. Como o Hologres é implantado em uma rede clássica e o EMR opera em uma Virtual Private Cloud (VPC), é necessário um endpoint reverso para que os dois serviços se comuniquem. Envie uma solicitação de conexão de rede. A equipe de suporte do Hologres orientará você nas etapas a seguir:

  1. Faça login no console da VPC e crie um endpoint reverso. Consulte Acessar serviços da Alibaba Cloud.

  2. No parâmetro Type, selecione Other Endpoint Services e insira o nome do serviço de endpoint correspondente à região onde seu cluster EMR está localizado:

     Região	Nome do serviço de endpoint
     China (Beijing)	com.aliyuncs.privatelink.cn-beijing.epsrv-2zeokrydzjd6kx3cbwmb
     China (Shanghai)	com.aliyuncs.privatelink.cn-shanghai.epsrv-uf61fvlfwta7f7dv9n3x
     China (Zhangjiakou)	com.aliyuncs.privatelink.cn-zhangjiakou.epsrv-8vbno4k4wwvys0eg2swp

  Caso sua região não esteja listada, a equipe do Hologres criará um serviço de endpoint e fornecerá o nome após o envio da solicitação. A conexão utiliza um endereço IP. Se o endereço IP do cluster EMR mudar, reconfigure a conexão.

Limitações

• Instâncias secundárias do Hologres somente leitura não oferecem suporte à aceleração de data lake.

• Os comandos UPDATE, DELETE e TRUNCATE não são suportados em tabelas externas.

• O recurso Auto Load (mapeamento em lote de tabelas externas a partir do HMS) não é suportado.

• Clusters EMR com autenticação Kerberos ativada não são suportados.

Conectar o Hologres ao HMS

CREATE EXTENSION IF NOT EXISTS hive_fdw;

CREATE SERVER IF NOT EXISTS <server_name> FOREIGN DATA WRAPPER hive_fdw
OPTIONS (
  hive_metastore_uris 'thrift://<hms_ip>:<port>',
  oss_endpoint '<oss_endpoint>'
);

-- Grant the current user access to the foreign server
CREATE USER MAPPING FOR current_user SERVER <server_name> OPTIONS (
  dlf_access_id  '<AccessKey_ID>',
  dlf_access_key '<AccessKey_Secret>',
  oss_access_id  '<AccessKey_ID>',
  oss_access_key '<AccessKey_Secret>'
);

-- Grant a RAM user (123xxx) access to the foreign server
CREATE USER MAPPING FOR "p4_123xxx" SERVER <server_name> OPTIONS (
  dlf_access_id  '<AccessKey_ID>',
  dlf_access_key '<AccessKey_Secret>',
  oss_access_id  '<AccessKey_ID>',
  oss_access_key '<AccessKey_Secret>'
);

-- Remove user mappings
DROP USER MAPPING FOR CURRENT_USER SERVER <server_name>;
DROP USER MAPPING FOR "p4_123xxx" SERVER <server_name>;

-- Create a single foreign table
CREATE FOREIGN TABLE <holo_schema_name>.<table_name>
(
  column_name data_type
  [, ...]
)
SERVER <hive_server_name>
OPTIONS (
  schema_name '<ext_db_name>',
  table_name  '<ext_table_name>'
);

-- Import multiple foreign tables in batch
IMPORT FOREIGN SCHEMA <ext_db_name>
[
  { LIMIT TO | EXCEPT }
  ( table_name [, ...] )
]
FROM SERVER <hive_server_name>
INTO <holo_schema_name>
OPTIONS (
  if_table_exist        'update',
  if_unsupported_type   'error'
);

SELECT * FROM <holo_schema>.<hive_table>;

SELECT * FROM <holo_schema>.<hive_partition_table>
WHERE <partition_key> = '<partition_value>';