:Tabelas externas do Paimon

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH SERDEPROPERTIES (
    'odps.properties.rolearn'='acs:ram::xxxxxxxxxxxxx:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>'
USING 'paimon_maxcompute_connector.jar';

Etapa 1: Preparar dados no Flink

Crie um catálogo Paimon e uma tabela Paimon e, em seguida, insira dados na tabela. Se você já tem uma tabela Paimon com dados no Realtime Compute for Apache Flink, pule esta etapa.

1. Acesse o console do Realtime Compute for Apache Flink e crie um catálogo Paimon. Para obter detalhes, consulte Criar um catálogo Paimon.

2. Crie uma tabela Paimon. Para obter detalhes, consulte Gerenciar tabelas Paimon.

   1. Na página Metadata Management, navegue até o catálogo Paimon criado, selecione o banco de dados default e clique em Create Table.

   2. Na caixa de diálogo Add Table, selecione o conector Apache Paimon, insira a instrução a seguir e clique em OK. Este exemplo cria uma tabela chamada test_tbl.

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. Na página SQL Editor, crie, implante e execute um job SQL contendo a seguinte instrução. Para mais informações sobre como criar e executar um job SQL, consulte Visão geral do desenvolvimento de jobs.

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      Nota

      • Certifique-se de que a versão do mecanismo para o job SQL seja vvr-8.0.1-flink-1.17 ou posterior.

      • Se o seu job SQL apresentar backpressure (por exemplo, ao executar instruções INSERT INTO ... VALUES ...), acesse a página Job O&M, edite os Execution Parameters e, na seção Other Configurations, defina execution.checkpointing.checkpoints-after-tasks-finish.enabled: true. Para obter detalhes sobre como configurar parâmetros de tempo de execução de um job, consulte Configurar informações de implantação do job.

Etapa 2: Carregar o conector Paimon

Use um dos métodos a seguir para carregar o conector Paimon no seu projeto do MaxCompute.

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

Etapa 3: Criar uma tabela externa do Paimon

Conecte-se usando o cliente local (odpscmd) ou use outra ferramenta capaz de executar SQL do MaxCompute para criar uma tabela externa do Paimon no MaxCompute. Este tópico usa oss_extable_paimon_1pt como exemplo.

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING)
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH SERDEPROPERTIES (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

Etapa 4: Ler a tabela externa do Paimon

1. Conecte-se usando o cliente do MaxCompute (odpscmd) ou outra ferramenta que execute SQL do MaxCompute e, em seguida, execute os comandos a seguir:

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. Execute o comando a seguir para consultar a tabela externa do Paimon no MaxCompute oss_extable_paimon_1pt.

   SELECT * FROM oss_extable_paimon_1pt;

   O exemplo de resultado a seguir é retornado:

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   Nota

   Se as partições não aparecerem no resultado, execute o comando a seguir para adicioná-las:

   MSCK REPAIR TABLE oss_extable_paimon_1pt ADD PARTITIONS;