MaxCompute:Tabela externa do Paimon

Sintaxe

Para detalhes sobre a sintaxe de criação de tabelas externas em diferentes formatos, consulte OSS external tables.

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

Parâmetros comuns

Para mais informações sobre parâmetros comuns, consulte Basic syntax parameters.

Etapa 1: Pré-requisitos

1. Você já created a MaxCompute project.

2. Prepare um bucket e um diretório no OSS. Para mais informações, consulte Create a bucket e Manage directories.

   Certifique-se de que seu bucket esteja na mesma região do seu projeto MaxCompute.

3. Conceda as permissões necessárias.

   1. Verifique se você tem permissão para acessar o OSS. É possível acessar uma tabela externa do OSS usando uma conta Alibaba Cloud, um usuário RAM ou uma função RAM. Para saber como conceder permissões, consulte STS-mode authorization for OSS.

   2. Confirme se você possui a permissão CreateTable no projeto MaxCompute. Para mais informações sobre permissões relacionadas a tabelas, consulte MaxCompute permissions.

Etapa 2: Preparar dados no Flink

Crie um catálogo Paimon e uma tabela Paimon e, em seguida, insira dados na tabela.

1. Criar um catálogo de sistema de arquivos Paimon

   1. Faça login no console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

   2. Clique em nome do workspace desejado e, no painel de navegação à esquerda, selecione Data Management.

   3. Na página catalog list , clique em Create Catalog . Na caixa de diálogo Create Catalog , selecione Apache Paimon, clique em Next e configure os seguintes parâmetros:

      Parâmetro	Obrigatório	Descrição
      metastore	Sim	Tipo de metastore. Neste exemplo, selecione filesystem.
      catalog name	Sim	Nome personalizado para o catálogo, como paimon-catalog.
      warehouse	Sim	Diretório warehouse no OSS. Neste exemplo, o diretório é oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Sim	Endpoint do service OSS. Por exemplo, o endpoint para a região China (Hangzhou) é oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Sim	AccessKey ID usado para acessar o OSS.
      fs.oss.accessKeySecret	Sim	AccessKey secret usado para acessar o OSS.

2. Criar uma tabela Paimon

   1. Faça login no console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

   2. Clique em nome do workspace desejado e, no painel de navegação à esquerda, selecione Development > Data Query.

   3. Na aba Query Script, clique em para criar um novo script de consulta.

      Insira e execute os seguintes comandos:

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Para jobs SQL que terminam automaticamente, como aqueles que executam uma instrução INSERT INTO ... VALUES ..., realize as seguintes operações:

   1. Clique em nome do workspace desejado. No painel de navegação à esquerda, escolha O&M > Deployments.

   2. Na página Deployments, clique em job desejado para abrir a página de deployment details.

   3. Na seção Parameters, clique em Edit. Em seguida, na seção Other Configuration, defina execution.checkpointing.checkpoints-after-tasks-finish.enabled: true e salve suas alterações.

      Para mais informações sobre como configurar parâmetros de tempo de execução para um job, consulte Configure job deployment information.

Etapa 3: Criar uma tabela externa do Paimon

Execute a seguinte instrução SQL no MaxCompute para criar uma tabela externa do Paimon:

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Na instrução anterior, table_path é o caminho para a tabela Paimon criada no Flink, como paimon-fs/paimon-test/default.db/test_tbl. Para encontrar esse caminho, siga estas etapas:

1. Faça login no console do real-time compute for Apache Flink e selecione uma região no canto superior esquerdo.

2. Clique em nome do workspace desejado e, no painel de navegação à esquerda, selecione Data Management.

3. Na página Catalogs, sob o catálogo desejado, clique em default. Na página default, localize a tabela desejada e clique em View na coluna Actions.

4. Na aba Table Schema, copie o valor do parâmetro path na seção Properties. Para table_path, insira o caminho sem o prefixo oss://.

Etapa 4: Carregar dados de partição

Se a tabela externa do OSS criada for particionada, será necessário carregar suas partições. Para mais informações, consulte OSS external tables.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Etapa 5: Consultar a tabela externa do Paimon

Execute os seguintes comandos no MaxCompute para consultar a tabela externa do Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

O seguinte resultado é retornado:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Erro kSIGABRT ao ler uma tabela externa do Paimon

• Mensagem de erro:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Causa:

  Este erro ocorre ao ler uma coluna TIMESTAMP_NTZ no modo JNI.

• Solução:

  Desative a ponte JNI executando o seguinte comando antes da sua consulta: SET odps.sql.common.table.jni.disable.native=true;