MaxCompute:Paimon external table

Sintaxe

Para detalhes sobre a sintaxe de criação de tabelas externas em diferentes formatos, consulte OSS external tables.

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
LOCATION '<oss_location>';

Parâmetros comuns

Para mais informações sobre os parâmetros comuns, consulte Basic syntax parameters.

Etapa 1: Pré-requisitos

1. Você concluiu created a MaxCompute project.

2. Prepare um bucket e um diretório no OSS. Para mais informações, consulte Create a bucket e Manage directories.

   Certifique-se de que o bucket esteja na mesma região do seu projeto MaxCompute.

3. Conceda as permissões necessárias.

   1. Você tem permissão para acessar o OSS. O acesso a uma tabela externa do OSS pode ser feito por meio de uma conta Alibaba Cloud, um usuário RAM ou uma função RAM. Para mais informações sobre como conceder permissões, consulte STS-mode authorization for OSS.

   2. Você tem a permissão CreateTable no projeto MaxCompute. Para mais informações sobre permissões relacionadas a tabelas, consulte MaxCompute permissions.

Etapa 2: Preparar dados no Flink

Crie um catalog do Paimon e uma tabela Paimon e, em seguida, insira dados na tabela.

1. Criar um filesystem catalog do Paimon

   1. Acesse o console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

   2. Clique no nome do workspace de destino e, no painel de navegação à esquerda, selecione Data Management.

   3. Na página catalog list , clique em Create Catalog . Na caixa de diálogo Create Catalog , selecione Apache Paimon, clique em Next e configure os seguintes parâmetros:

      Parameter	Required	Description
      metastore	Yes	The metastore type. In this example, select filesystem.
      catalog name	Yes	A custom catalog name, such as paimon-catalog.
      warehouse	Yes	The warehouse directory in OSS. In this example, the directory is oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Yes	The endpoint of the OSS service. For example, the endpoint for the China (Hangzhou) region is oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Yes	The AccessKey ID used to access OSS.
      fs.oss.accessKeySecret	Yes	The AccessKey secret used to access OSS.

2. Criar uma tabela Paimon

   1. Acesse o console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

   2. Clique no nome do workspace de destino e, no painel de navegação à esquerda, selecione Development > Data Query.

   3. Na aba Query Script, clique em para criar um novo script de consulta.

      Insira e execute os seguintes comandos:

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Para jobs SQL concluídos automaticamente, como aqueles que executam uma instrução INSERT INTO ... VALUES ..., realize as seguintes operações:

   1. Clique no nome do workspace de destino. No painel de navegação à esquerda, escolha O&M > Deployments.

   2. Na página Deployments, clique no job de destino para abrir a página deployment details.

   3. Na seção Parameters, clique em Edit. Em seguida, na seção Other Configuration, defina execution.checkpointing.checkpoints-after-tasks-finish.enabled: true e salve as alterações.

      Para mais informações sobre como configurar parâmetros de runtime de um job, consulte Configure job deployment information.

Etapa 3: Criar uma tabela externa do Paimon

Execute a seguinte instrução SQL no MaxCompute para criar uma tabela externa do Paimon:

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Na instrução acima, table_path é o caminho para a tabela Paimon criada no Flink, como paimon-fs/paimon-test/default.db/test_tbl. Para localizar esse caminho, siga as etapas abaixo:

1. Acesse o console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

2. Clique no nome do workspace de destino e, no painel de navegação à esquerda, selecione Data Management.

3. Na página Catalogs, no catalog de destino, clique em default. Na página default, localize a tabela de destino e clique em View na coluna Actions.

4. Na aba Table Schema, copie o valor do parâmetro path na seção Properties. Em table_path, insira o caminho sem o prefixo oss://.

Etapa 4: Carregar dados de partição

Se a tabela externa do OSS criada for uma tabela particionada, carregue suas partições. Para mais informações, consulte OSS external tables.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Etapa 5: Consultar a tabela externa do Paimon

Execute os seguintes comandos no MaxCompute para consultar a tabela externa do Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

O seguinte resultado é retornado:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Erro kSIGABRT ao ler uma tabela externa do Paimon

• Mensagem de erro:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Causa:

  Esse erro ocorre ao ler uma coluna TIMESTAMP_NTZ no modo JNI.

• Solução:

  Desative o bridge JNI executando o seguinte comando antes da consulta: SET odps.sql.common.table.jni.disable.native=true;