AnalyticDB:Sincronizar metadados do PolarDB-X automaticamente

Pré-requisitos

• O cluster das edições Enterprise, Basic ou Data Lakehouse Edition e a instância PolarDB-X 2.0 devem estar implantados na mesma região e pertencer à mesma VPC. Para mais informações, consulte Crie um cluster Enterprise Edition ou Basic Edition e Crie uma instância PolarDB-X 2.0.

• A instância PolarDB-X 2.0 deve ser da Enterprise Edition com versão 5.4.19-16989811 ou superior.

  Nota

  Para saber como visualizar e atualizar a versão da instância, consulte Visualize e atualize a versão da instância.

• A versão do kernel do cluster das edições Enterprise, Basic ou Data Lakehouse Edition deve ser 3.2.0.0 ou superior.

  Nota

  Acesse o console do AnalyticDB for MySQL e acesse a página Cluster Information. Na seção Configuration Information, visualize e atualize a versão do kernel.

• Crie uma conta de banco de dados para o cluster das edições Enterprise, Basic ou Data Lakehouse Edition.

Contexto

O AnalyticDB for MySQL é um data warehouse em tempo real baseado em arquitetura lakehouse que oferece consultas de alto desempenho sobre grandes volumes de dados. O PolarDB-X é um banco de dados distribuído nativo da nuvem e de alto desempenho, compatível com milhões de conexões simultâneas e centenas de petabytes de armazenamento. Ao ativar o mecanismo de armazenamento colunar em uma instância PolarDB-X 2.0 e vinculá-la a um cluster das edições Enterprise, Basic ou Data Lakehouse Edition, o cluster cria automaticamente uma tarefa de descoberta de metadados. Os metadados das tabelas colunares da instância PolarDB-X 2.0 são sincronizados automaticamente com o cluster das edições Enterprise, Basic ou Data Lakehouse Edition, permitindo a análise direta dos dados.

A sincronização unificada de dados da instância PolarDB-X 2.0 oferece os seguintes benefícios:

• Sincronização em tempo real: Após modificar dados no PolarDB-X 2.0, as alterações são replicadas no cluster das edições Enterprise, Basic ou Data Lakehouse Edition em segundos. Consulte os dados atualizados no cluster das edições Enterprise, Basic ou Data Lakehouse Edition quase instantaneamente para obter análises verdadeiramente em tempo real.

• Facilidade de uso: Alterações nos dados e nos esquemas de tabelas do PolarDB-X 2.0 são sincronizadas automaticamente com o cluster das edições Enterprise, Basic ou Data Lakehouse Edition, eliminando a necessidade de gerenciamento manual.

• Alta relação custo-benefício: A ativação do mecanismo de armazenamento colunar no PolarDB-X 2.0 não gera custos adicionais. Durante a análise de dados no cluster das edições Enterprise, Basic ou Data Lakehouse Edition, utilize grupos de recursos baseados em jobs para desenvolvimento SQL. Esses grupos fornecem recursos elásticos de computação e armazenamento sob demanda com baixo custo.

Cenários

A sincronização unificada de dados do PolarDB-X 2.0 aplica-se aos seguintes cenários:

• Análise em tempo real de dados do PolarDB-X 2.0: Execute análises instantâneas nos dados do PolarDB-X 2.0 sem impactar as operações online.

• Análise conjunta de múltiplas fontes de dados: Correlacione e analise dados do PolarDB-X 2.0 juntamente com dados de outras origens.

• Análise de dados em múltiplas instâncias PolarDB-X 2.0: Realize análises combinadas abrangendo diversas instâncias do PolarDB-X 2.0.

Precauções

Durante a sincronização, bancos de dados e tabelas com os mesmos nomes da instância PolarDB-X 2.0 são criados no cluster das edições Enterprise, Basic ou Data Lakehouse Edition. Portanto, observe os pontos abaixo:

• Caso já exista um banco de dados ou tabela com o mesmo nome no cluster das edições Enterprise, Basic ou Data Lakehouse Edition, a sincronização falhará.

• Se apenas o banco de dados com o mesmo nome existir no cluster das edições Enterprise, Basic ou Data Lakehouse Edition, nenhum novo banco será criado; as tabelas serão sincronizadas para o banco existente.

Preparação de dados

Neste exemplo, o banco de dados PolarDB-X 2.0 chama-se test_adb e contém uma tabela chamada person. Exemplo:

CREATE DATABASE test_adb MODE='AUTO'
CREATE TABLE  person (
`id` bigint NOT NULL AUTO_INCREMENT,
`age` int(11) NOT NULL DEFAULT '0',
`name` char(60) NOT NULL DEFAULT '',
`city` char(60) NOT NULL DEFAULT '',
PRIMARY KEY (`id`),
INDEX `age_1` (`age`)
) PARTITION BY KEY(`id`) PARTITIONS 4;

Insira dados na tabela person. Exemplo:

INSERT INTO person VALUES (1,23,'Bob','Hangzhou'),(2,33,'Make','Wuhan');

Crie um índice colunar na coluna id da tabela person. O nome do índice é person_col_index.

CREATE clustered columnar INDEX `person_col_index` ON person(`id`) PARTITION BY hash(`id`) partitions 4;

Procedimento