Hologres:Tabela de destino do Hologres

Limitações

• Versões diferentes do Blink em modo exclusivo usam sintaxes de desenvolvimento distintas. Antes de começar, identifique a versão do Blink em modo exclusivo e consulte os exemplos correspondentes.

• Garanta que sua implantação do Realtime Compute for Apache Flink e sua instância do Hologres estejam na mesma região para evitar falhas de conexão.

• Versões do Blink em modo exclusivo anteriores à 3,6 não possuem conector nativo para o Hologres. Para gravar dados no Hologres em tempo real, referencie um arquivo JAR. Para obter assistência, consulte Common errors during upgrade preparation ou entre em contato conosco participando do grupo do DingTalk do Hologres. Para mais informações, consulte How can I get more online support?.

  Nota

  Recomendamos atualizar o Blink em modo exclusivo para a versão 3,6 ou posterior para executar seus jobs.

• O Blink em modo exclusivo 3,7 suporta a criação automática de tabelas particionadas do Hologres, mas configure createparttable='true' no job. As considerações para o uso de tabelas particionadas são:

  • Atualmente, o Hologres suporta apenas particionamento por lista.

  • Ao criar uma tabela particionada, especifique explicitamente a coluna da chave de partição. No momento, as colunas de chave de partição suportam apenas os tipos de dados text e int4, e seus valores não podem conter hífen (-), por exemplo, 2020-09-12.

  • Se houver uma chave primária definida para a tabela particionada, a coluna da chave de partição deve fazer parte dessa chave primária.

  • Na criação de uma tabela de partição filha, o valor da coluna da chave de partição deve ser fixo.

  • O valor da coluna da chave de partição para dados gravados em uma tabela de partição filha deve corresponder exatamente ao valor definido durante a criação da tabela filha. Caso contrário, ocorrerá um erro.

  • O recurso de partição DEFAULT não é suportado atualmente.

• Se a tabela de destino no Hologres possuir uma chave primária, a semântica padrão de escrita em tempo real não atualiza registros com base nessa chave. Se você importar posteriormente dados com uma chave primária duplicada, os novos dados serão descartados.

• O Hologres grava dados de forma assíncrona. Adicione a configuração blink.checkpoint.fail_on_checkpoint_error=true ao seu job para garantir o acionamento de um failover caso o job encontre uma exceção. Esse parâmetro não é obrigatório para o Blink 3.7.6 ou posterior.

Sintaxe DDL

create table Hologres_sink(
  name varchar,
  age BIGINT,
  birthday BIGINT
) with (
  type='hologres',
  dbname='<yourDbname>', -- The name of the Hologres database.
  tablename='<yourTablename>', -- The name of the Hologres table that receives the data.
  username='<yourUsername>', -- The AccessKey ID of your Alibaba Cloud account.
  password='<yourPassword>', -- The AccessKey secret of your Alibaba Cloud account.
  endpoint='<yourEndpoint>'); -- The VPC endpoint of your Hologres instance.

Parâmetros WITH

Gravar em uma tabela de destino padrão do Hologres

1. Crie uma tabela no Hologres.

   Crie uma tabela no Hologres para receber os dados. Abaixo está um exemplo de instrução SQL:

    create table blink_test (a int, b text, c text, d float8, e bigint);

2. Crie um job do Realtime Compute for Apache Flink.

   1. Faça login no console do Realtime Compute for Apache Flink.

   2. Crie um job.

      • O Blink em modo exclusivo versão 3,6 e posterior inclui suporte nativo para a fonte de dados do Hologres. Use essa fonte de dados diretamente. Veja abaixo um exemplo de instrução SQL:

        create table randomSource (a int, b VARCHAR, c VARCHAR, d DOUBLE, e BIGINT) with (type = 'random');
        create table test (
          a int,
          b VARCHAR,
          c VARCHAR,
          PRIMARY KEY (a)
        ) with (
          type = 'hologres',
          `endpoint` = '$ip:$port', -- The VPC endpoint and port number of your Hologres instance.
          `username` = 'The AccessKey ID of your Alibaba Cloud account',
          `password` = 'The AccessKey secret of your Alibaba Cloud account',
          `dbname` = 'The name of the Hologres database',
          `tablename` = 'blink_test'-- The name of the Hologres table that receives the data.
        );
        insert
          into test
        select
          a,b,c
        from
          randomSource;

3. Publique o job.

   1. Após criar o job, clique em Syntax Check. Um status Successful indica que a sintaxe está correta.

   2. Clique em Save para salvar o job.

   3. Clique em Publish para implantar o job no ambiente de produção. Configure as definições de implantação conforme suas necessidades de negócio. Clique em Publish New Version para iniciar o processo de implantação. Na etapa Initial Resources, escolha um método de alocação de recursos: Auto-tuning based on last run, System allocation ou Manual resource configuration. Após fazer sua seleção, clique em Next. Você também pode clicar em Skip Data Check para ir diretamente à etapa de configuração de recursos.

4. Inicie o job.

   Depois de publicar o job no ambiente de produção, inicie-o manualmente.

   Na barra de navegação superior da página Development Platform, clique em Administration à direita. Na página Administration, selecione o job desejado e clique em Start uicontrol替换 修改时间:2026-02-03 01:28:40 原文:启动 修改后:conref="mcms_dita_hologres-console.dita#hologres-console/start" no canto superior direito.

5. Consulte dados no Hologres em tempo real.

   Consulte a tabela de destino no Hologres para visualizar os dados gravados em tempo real. Veja abaixo um exemplo de consulta:

   select * from blink_test;

Mesclar e atualizar tabelas largas

Esta seção descreve um caso de uso comum: gravar dados de múltiplos fluxos em uma única tabela larga do Hologres.

Gravar em uma tabela de destino particionada do Hologres

O Hologres permite chamar a API HoloHub para gravar dados diretamente em uma tabela particionada pai. Os dados são então roteados automaticamente para as tabelas de partição filhas corretas. Para mais informações, consulte HoloHub API.

1. Crie uma tabela particionada no Hologres.

   Crie uma tabela particionada no Hologres para receber dados e crie suas tabelas de partição filhas correspondentes. Veja abaixo um exemplo de instrução SQL:

   -- Create the parent table test_message and its child partition tables.
   drop table if exists test_message;
   begin;
   create table test_message (
    "bizdate" text NOT NULL,
    "tag" text NOT NULL,
    "id" int4 NOT NULL,
    "title" text NOT NULL,
    "body" text,
   PRIMARY KEY (bizdate,tag,id)
   )
   PARTITION BY LIST (bizdate);
   commit;

   Nota

   • Ao executar o comando, substitua o parâmetro ${bizdate} pelo valor real.

   • Apenas a versão 3,7 ou posterior do Blink em modo exclusivo suporta a criação automática de partições. Se estiver usando uma versão anterior, crie as tabelas de partição filhas no Hologres antecipadamente. Caso contrário, a importação de dados falhará.

2. Crie um job no Blink em modo exclusivo.

   Veja abaixo um exemplo de instrução para criar um job no Blink em modo exclusivo.

   Nota

   O exemplo a seguir aplica-se ao Blink em modo exclusivo 3,7 e posterior. Se estiver usando uma versão do Blink em modo exclusivo anterior à 3,7, atualize para a versão 3,7 ou posterior, ou remova a configuração createparttable.

   create table test_message_src(
     tag VARCHAR,
     id INTEGER,
     title VARCHAR,
     body VARCHAR
   ) with (
     type = 'random',
     `interval` = '10',
     `count` = '100'
   );
   create table test_message_sink (
     bizdate VARCHAR,
     tag VARCHAR,
     id INTEGER,
     title VARCHAR,
     body VARCHAR
   ) with (
     type = 'hologres',
     `endpoint` = '$ip:$port', -- The VPC endpoint of your Hologres instance.
     `username` ='<AccessID>', -- The AccessKey ID of your Alibaba Cloud account.
     `password` = '<AccessKey>', -- The AccessKey secret of your Alibaba Cloud account.
     `dbname` = '<DBname>', -- The name of the Hologres database.
     `tablename` = '<Tablename>', -- The name of the table in your Hologres database.
     `partitionrouter` = 'true', -- Write data to a partitioned table in Hologres.
     `createparttable` = 'true' -- Automatically create child partition tables in Hologres.
   );
   insert into test_message_sink select "20200327",* from test_message_src;
   insert into test_message_sink select "20200328",* from test_message_src;

3. Publique e inicie o job.

   Para mais informações, consulte as etapas Publish the job e Start the job na seção Write data to a standard Hologres sink table.

4. Consulte dados no Hologres em tempo real.

   Consulte a tabela de destino no Hologres para visualizar os dados gravados em tempo real. Veja abaixo exemplos de consultas:

   select * from test_message;
   select * from test_message where bizdate = '20200327';

Mapeamentos de tipos de dados

Consulte Data type summary para ver os mapeamentos de tipos de dados entre o Blink em modo exclusivo e o Hologres.