Hologres:Acelerar consultas de data lake

O que você aprenderá

Neste tutorial, você aprenderá a:

• Ativar o OSS, o DLF e o Hologres e carregar dados de teste

• Configure o Hologres para conectar-se ao seu data lake no OSS

• Consultar dados do OSS usando tabelas externas do Hologres (sem movimentação de dados)

• Importar dados do OSS para tabelas internas do Hologres para obter maior desempenho nas consultas

Como funciona

O Hologres usa o mecanismo de foreign data wrapper (FDW) para conectar-se ao DLF, responsável por gerenciar os metadados do seu data lake no OSS. Ao consultar uma tabela externa, o Hologres lê os dados diretamente do OSS, sem necessidade de importação. O desempenho da consulta varia geralmente de segundos a minutos, dependendo do volume de dados.

Tabelas externas suportam dados armazenados no OSS nos seguintes formatos: Hudi, Delta, Paimon, ORC, Parquet, CSV e SequenceFile.

Para consultas consistentemente mais rápidas ou cargas de trabalho complexas com muitas junções, importe os dados para tabelas internas do Hologres. As tabelas internas armazenam dados dentro do Hologres, oferecendo melhor desempenho de consulta e maior throughput de processamento, mas geram custos adicionais de armazenamento. Consulte Faturamento.

Os seguintes serviços atuam em conjunto nesta solução:

Observações de uso

Clusters compartilhados do Hologres suportam apenas consultas a data lakes do OSS por meio de tabelas externas.

Pré-requisitos

Antes de começar, certifique-se de ter:

• Uma conta Alibaba Cloud com permissões para ativar o OSS, o DLF e o Hologres

• Acesso de superusuário à instância do Hologres (necessário para criar extensões e servidores externos)

Preparar o ambiente

Este tutorial usa a região China (Shanghai) como exemplo.

Configure o Hologres para aceleração de data lake

-- China (Shanghai) region example
CREATE SERVER IF NOT EXISTS dlf_server FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
    dlf_region 'cn-shanghai',
    dlf_endpoint 'dlf-share.cn-shanghai.aliyuncs.com',
    oss_endpoint 'oss-cn-shanghai-internal.aliyuncs.com'
);

Consultar dados do OSS usando tabelas externas

Uma tabela externa do Hologres mapeia dados armazenados no OSS — os dados permanecem no OSS e não consomem armazenamento do Hologres. Use tabelas externas para consultas ad hoc ou quando quiser evitar a duplicação de dados.

Dica: Mantenha grandes tabelas de fatos no OSS e consulte-as como tabelas externas. Importe tabelas de dimensões frequentemente associadas para o Hologres como tabelas internas para obter o melhor equilíbrio entre custo e desempenho.

-- Replace "mydatabase" with the name of your database in DLF.
IMPORT FOREIGN SCHEMA mydatabase LIMIT TO
(
  nation_orc,
  supplier_orc,
  partsupp_orc
)
FROM SERVER dlf_server INTO public OPTIONS (if_table_exist 'update');

-- TPC-H Q11: identify the most important subset of suppliers' parts
SELECT
    ps_partkey,
    SUM(ps_supplycost * ps_availqty) AS value
FROM
    partsupp_orc,
    supplier_orc,
    nation_orc
WHERE
    ps_suppkey = s_suppkey
    AND s_nationkey = n_nationkey
    AND RTRIM(n_name) = 'EGYPT'
GROUP BY ps_partkey
HAVING
    SUM(ps_supplycost * ps_availqty) > (
        SELECT SUM(ps_supplycost * ps_availqty) * 0.000001
        FROM partsupp_orc, supplier_orc, nation_orc
        WHERE ps_suppkey = s_suppkey
            AND s_nationkey = n_nationkey
            AND RTRIM(n_name) = 'EGYPT'
    )
ORDER BY value DESC;

(Opcional) Consultar dados do OSS usando tabelas internas

Importe dados do OSS para tabelas internas do Hologres quando precisar de consultas repetidas mais rápidas ou análises complexas. Tabelas internas armazenam dados dentro do Hologres para otimizar o desempenho da consulta, mas taxas de armazenamento são aplicáveis. Consulte Faturamento.

-- Create the nation table
DROP TABLE IF EXISTS NATION;

BEGIN;
CREATE TABLE NATION (
    N_NATIONKEY int NOT NULL PRIMARY KEY,
    N_NAME      text NOT NULL,
    N_REGIONKEY int NOT NULL,
    N_COMMENT   text NOT NULL
);
CALL set_table_property('NATION', 'distribution_key', 'N_NATIONKEY');
CALL set_table_property('NATION', 'bitmap_columns', '');
CALL set_table_property('NATION', 'dictionary_encoding_columns', '');
COMMIT;

-- Create the supplier table
DROP TABLE IF EXISTS SUPPLIER;

BEGIN;
CREATE TABLE SUPPLIER (
    S_SUPPKEY  int NOT NULL PRIMARY KEY,
    S_NAME     text NOT NULL,
    S_ADDRESS  text NOT NULL,
    S_NATIONKEY int NOT NULL,
    S_PHONE    text NOT NULL,
    S_ACCTBAL  DECIMAL(15, 2) NOT NULL,
    S_COMMENT  text NOT NULL
);
CALL set_table_property('SUPPLIER', 'distribution_key', 'S_SUPPKEY');
CALL set_table_property('SUPPLIER', 'bitmap_columns', 'S_NATIONKEY');
CALL set_table_property('SUPPLIER', 'dictionary_encoding_columns', '');
COMMIT;

-- Create the partsupp table
DROP TABLE IF EXISTS PARTSUPP;

BEGIN;
CREATE TABLE PARTSUPP (
    PS_PARTKEY   int NOT NULL,
    PS_SUPPKEY   int NOT NULL,
    PS_AVAILQTY  int NOT NULL,
    PS_SUPPLYCOST DECIMAL(15, 2) NOT NULL,
    PS_COMMENT   text NOT NULL,
    PRIMARY KEY (PS_PARTKEY, PS_SUPPKEY)
);
CALL set_table_property('PARTSUPP', 'distribution_key', 'PS_PARTKEY');
CALL set_table_property('PARTSUPP', 'bitmap_columns', 'ps_availqty');
CALL set_table_property('PARTSUPP', 'dictionary_encoding_columns', '');
COMMIT;

INSERT INTO nation   SELECT * FROM nation_orc;
INSERT INTO supplier SELECT * FROM supplier_orc;
INSERT INTO partsupp SELECT * FROM partsupp_orc;

-- TPC-H Q11 against internal tables
SELECT
    ps_partkey,
    SUM(ps_supplycost * ps_availqty) AS value
FROM
    partsupp,
    supplier,
    nation
WHERE
    ps_suppkey = s_suppkey
    AND s_nationkey = n_nationkey
    AND RTRIM(n_name) = 'EGYPT'
GROUP BY ps_partkey
HAVING
    SUM(ps_supplycost * ps_availqty) > (
        SELECT SUM(ps_supplycost * ps_availqty) * 0.000001
        FROM partsupp, supplier, nation
        WHERE ps_suppkey = s_suppkey
            AND s_nationkey = n_nationkey
            AND RTRIM(n_name) = 'EGYPT'
    )
ORDER BY value DESC;

Limpeza

Para evitar cobranças contínuas de armazenamento após concluir este tutorial, exclua os recursos criados:

1. Remova as tabelas internas no Hologres:

   DROP TABLE IF EXISTS NATION;
   DROP TABLE IF EXISTS SUPPLIER;
   DROP TABLE IF EXISTS PARTSUPP;

2. Remova as tabelas externas:

   DROP FOREIGN TABLE IF EXISTS nation_orc;
   DROP FOREIGN TABLE IF EXISTS supplier_orc;
   DROP FOREIGN TABLE IF EXISTS partsupp_orc;

3. Remova o servidor externo:

   DROP SERVER IF EXISTS dlf_server;

4. Exclua os dados de teste do seu bucket no OSS ou exclua o próprio bucket usando o console do OSS.

Solução de problemas

Erro: ERROR: babysitter not ready,req:name:"HiveAccess"

O recurso de aceleração de data lake não está ativado na sua instância. Acesse a página de instâncias do Hologres, clique em Lake Acceleration na coluna Actions e confirme para ativá-lo.

Próximos passos

Este tutorial abordou um fluxo básico de ponta a ponta usando dados de teste. Para uma descrição completa do recurso de aceleração de data lake, incluindo todos os parâmetros e configurações suportados, consulte Aceleração de data lake do OSS usando DLF.