AnalyticDB:Sincronizar automaticamente os metadados de uma instância PolarDB-X para um cluster Data Lakehouse Edition

Pré-requisitos

• O cluster Data Lakehouse Edition (V3.0) e a instância PolarDB-X 2.0 pertencem à mesma VPC na mesma região. Para mais informações, consulte Criar um cluster Enterprise Edition ou Basic Edition e Criar uma instância.

• A instância PolarDB-X 2.0 deve ser da Enterprise Edition. A versão da instância PolarDB-X deve ser 5.4.19-16989811 ou superior.

  Nota

  Para mais informações sobre como visualizar e atualizar a versão de uma instância, consulte Visualizar e atualizar a versão do mecanismo de uma instância PolarDB for Xscale.

• A versão secundária do cluster Data Lakehouse Edition (V3.0) deve ser 3.2.0.0 ou superior.

  Nota

• Uma conta de banco de dados foi criada no cluster AnalyticDB for MySQL Enterprise Edition, Basic Edition ou Data Lakehouse Edition.

Informações básicas

O AnalyticDB for MySQL é um lakehouse em tempo real construído sobre a arquitetura data lakehouse, oferecendo recursos de consulta de alto desempenho para grandes volumes de dados. O PolarDB-X fornece serviços de banco de dados nativos da nuvem de alto desempenho, capazes de lidar com dezenas de milhões de requisições simultâneas e armazenar centenas de petabytes de dados. Ao ativar o mecanismo de armazenamento colunar em uma instância PolarDB-X 2.0 e associá-la a um cluster Data Lakehouse Edition (V3.0), o cluster Data Lakehouse Edition (V3.0) cria automaticamente uma tarefa de descoberta de metadados. As informações de metadados das tabelas orientadas a colunas na instância PolarDB-X 2.0 são sincronizadas automaticamente com o cluster Data Lakehouse Edition (V3.0). Assim, é possível executar análises de dados diretamente no cluster Data Lakehouse Edition (V3.0).

A solução de sincronização completa de dados para instâncias PolarDB-X 2.0 oferece os seguintes benefícios:

• Sincronização em tempo real: após modificar dados na instância PolarDB-X 2.0, a sincronização com o cluster Data Lakehouse Edition (V3.0) ocorre em segundos. Consulte as alterações de dados no cluster Lake Warehouse Edition (3.0) quase instantaneamente para realizar análises em tempo real.

• Facilidade de uso: alterações nos dados e na estrutura das tabelas da instância PolarDB-X 2.0 são replicadas automaticamente no cluster Data Lakehouse Edition (V3.0), sem necessidade de operações adicionais.

• Custo-benefício: a ativação do mecanismo de armazenamento colunar em uma instância PolarDB-X 2.0 é gratuita. Durante as análises no cluster Data Lakehouse Edition (V3.0), utilize grupos de recursos de jobs para desenvolver instruções SQL. Esses grupos fornecem recursos elásticos de computação e armazenamento sob demanda a baixo custo.

Cenários

A solução de sincronização completa de dados para instâncias PolarDB-X 2.0 aplica-se aos seguintes cenários:

• Análise de dados em tempo real para instâncias PolarDB-X 2.0: examine dados de uma instância PolarDB-X 2.0 em tempo real, sem impactar as operações online.

• Análise associativa entre múltiplas fontes de dados: correlacione informações da instância PolarDB-X 2.0 com outras origens de dados.

• Análise consolidada de várias instâncias PolarDB-X 2.0: processe dados distribuídos em diferentes instâncias PolarDB-X 2.0.

Observações de uso

Durante a sincronização, bancos de dados e tabelas com nomes idênticos aos da instância PolarDB-X 2.0 são criados no cluster Data Lakehouse Edition (V3.0). Atenha-se aos pontos abaixo:

• Caso já existam bancos de dados e tabelas com os mesmos nomes da instância PolarDB-X 2.0 no cluster Data Lakehouse Edition (V3.0), a sincronização falhará.

• Se apenas os bancos de dados homônimos já estiverem presentes no cluster Data Lakehouse Edition (V3.0), as tabelas serão sincronizadas para esses bancos existentes.

Preparação dos dados

Neste exemplo, o banco de dados PolarDB-X 2.0 chama-se test_adb, contendo uma tabela chamada person. Confira o código de amostra:

CREATE DATABASE test_adb MODE='AUTO'
CREATE TABLE  person (
`id` bigint NOT NULL AUTO_INCREMENT,
`age` int(11) NOT NULL DEFAULT '0',
`name` char(60) NOT NULL DEFAULT '',
`city` char(60) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
INDEX `age_1` (`age`)
) PARTITION BY KEY(`id`) PARTITIONS 4;

Insira registros na tabela person. Código de exemplo:

INSERT INTO person VALUES (1,23,'Bob','Hangzhou'),(2,33,'Make','Wuhan');

Crie um índice colunar chamado person_col_index para a coluna id da tabela person.

CREATE clustered columnar INDEX `person_col_index` ON person(`id`) PARTITION BY hash(`id`) partitions 4;

Procedimento