MaxCompute:Tabla externa de Paimon

Sintaxis

Para conocer los detalles sobre la sintaxis de creación de tablas externas en distintos formatos, consulte OSS external tables.

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
LOCATION '<oss_location>';

Parámetros comunes

Para obtener más información sobre los parámetros comunes, consulte Basic syntax parameters.

Paso 1: Requisitos previos

1. Cuenta con created a MaxCompute project.

2. Preparó un bucket y un directorio de OSS. Para obtener más información, consulte Create a bucket y Manage directories.

   Asegúrese de que su bucket se encuentre en la misma región que su proyecto de MaxCompute.

3. Otorgue los permisos correspondientes.

   1. Debe tener permiso para acceder a OSS. Es posible acceder a una tabla externa de OSS mediante una cuenta de Alibaba Cloud, un usuario de RAM o un rol de RAM. Para obtener más información sobre cómo otorgar permisos, consulte STS-mode authorization for OSS.

   2. Requiere el permiso CreateTable en el proyecto de MaxCompute. Para obtener más información sobre los permisos relacionados con tablas, consulte MaxCompute permissions.

Paso 2: Preparar datos en Flink

Cree un catálogo de Paimon y una tabla de Paimon; después, inserte datos en la tabla.

1. Crear un catálogo de sistema de archivos de Paimon

   1. Inicie sesión en la consola de real-time compute for Apache Flink y seleccione una región en la esquina superior izquierda.

   2. Haga clic en el nombre del espacio de trabajo de destino y, en el panel de navegación izquierdo, seleccione Data Management.

   3. En la página catalog list , haga clic en Create Catalog . En el cuadro de diálogo Create Catalog , seleccione Apache Paimon, haga clic en Next y configure los siguientes parámetros:

      Parámetro	Obligatorio	Descripción
      metastore	Sí	Tipo de metastore. En este ejemplo, seleccione filesystem.
      catalog name	Sí	Nombre personalizado del catálogo, por ejemplo, paimon-catalog.
      warehouse	Sí	Directorio del almacén en OSS. En este ejemplo, el directorio es oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Sí	Endpoint del servicio OSS. Por ejemplo, el endpoint de la región China (Hangzhou) es oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Sí	AccessKey ID utilizado para acceder a OSS.
      fs.oss.accessKeySecret	Sí	AccessKey secret utilizado para acceder a OSS.

2. Crear una tabla de Paimon

   1. Inicie sesión en la consola de real-time compute for Apache Flink y seleccione una región en la esquina superior izquierda.

   2. Haga clic en el nombre del espacio de trabajo de destino y, en el panel de navegación izquierdo, seleccione Development > Data Query.

   3. En la pestaña Query Script, haga clic en para crear un nuevo script de consulta.

      Introduzca y ejecute los siguientes comandos:

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Para los trabajos SQL que finalizan automáticamente, como aquellos que ejecutan una instrucción INSERT INTO ... VALUES ..., siga estos pasos:

   1. Haga clic en el nombre del espacio de trabajo de destino. En el panel de navegación izquierdo, elija O&M > Deployments.

   2. En la página Deployments, haga clic en el trabajo de destino para abrir la página de deployment details.

   3. En la sección Parameters, haga clic en Edit. Después, en la sección Other Configuration, establezca execution.checkpointing.checkpoints-after-tasks-finish.enabled: true y guarde los cambios.

      Para obtener más información sobre cómo configurar los parámetros de ejecución de un trabajo, consulte Configure job deployment information.

Paso 3: Crear una tabla externa de Paimon

Ejecute la siguiente instrucción SQL en MaxCompute para crear una tabla externa de Paimon:

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/<role_name>'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

En la instrucción anterior, table_path es la ruta de la tabla de Paimon que creó en Flink, por ejemplo, paimon-fs/paimon-test/default.db/test_tbl. Siga estos pasos para localizar dicha ruta:

1. Inicie sesión en la consola de real-time compute for Apache Flink y seleccione una región en la esquina superior izquierda.

2. Haga clic en el nombre del espacio de trabajo de destino y, en el panel de navegación izquierdo, seleccione Data Management.

3. En la página Catalogs, debajo del catálogo de destino, haga clic en default. En la página default, busque la tabla de destino y haga clic en View en la columna Actions.

4. En la pestaña Table Schema, copie el valor del parámetro path de la sección Properties. Para table_path, introduzca la ruta sin el prefijo oss://.

Paso 4: Cargar datos de partición

Si la tabla externa de OSS que creó está particionada, debe cargar sus particiones. Para obtener más información, consulte OSS external tables.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Paso 5: Consultar la tabla externa de Paimon

Ejecute los siguientes comandos en MaxCompute para consultar la tabla externa de Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Se devuelve el siguiente resultado:

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Error kSIGABRT al leer una tabla externa de Paimon

• Mensaje de error:

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Causa:

  Este error ocurre cuando se lee una columna TIMESTAMP_NTZ en modo JNI.

• Solución:

  Deshabilite el puente JNI mediante la ejecución del siguiente comando antes de su consulta: SET odps.sql.common.table.jni.disable.native=true;