Para ejecutar operaciones de gestión de tablas de Paimon en la Development Console, como compactar archivos pequeños y ordenar datos, despliegue el archivo JAR paimon-flink-action como un despliegue JAR. Este tema explica cómo descargar los paquetes obligatorios, cargarlos como artefactos y crear el despliegue.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Ververica Runtime (VVR) 8.0.5 o posterior. Las versiones anteriores no son compatibles con las tablas de Paimon.
Descargar los paquetes JAR
Los paquetes JAR necesarios dependen de la versión del motor de su despliegue.
VVR 11.x (recomendado)
Utilice los paquetes JAR de la comunidad de Apache Paimon para obtener las funciones más recientes de gestión de tablas de lago de datos. Descargue tanto paimon-flink-action como paimon-flink-1.20. VVR 11.x es compatible con Flink 1.20 de la comunidad.
Las versiones estables están disponibles en el repositorio de Maven: paimon-flink-action y paimon-flink-1.20.
Si la función que necesita aún no está incluida en una versión estable, utilice la instantánea nocturna más reciente. Para obtener más información, consulte Descargas de Apache Paimon.
VVR 8.x
Utilice los paquetes JAR fijos proporcionados por Realtime Compute for Apache Flink:
paimon-flink-action: paimon-flink-action-1-ali-16.0.jarpaimon-ali-vvr: paimon-ali-vvr-8.0-vvp-1-ali-16.0-1.jar
Crear un despliegue JAR
En la Development Console, vaya a Artifacts y haga clic en Upload Artifact. Cargue ambos paquetes JAR que descargó.
Vaya a O&M > Deployments y luego haga clic en Create Deployment > JAR Deployment.
-
En el cuadro de diálogo Create JAR Deployment, complete los siguientes campos:
Campo
Descripción
Ejemplo
Deployment Mode
Seleccione Stream Mode o Batch Mode según sus necesidades.
Batch Mode
Deployment Name
Un nombre para este despliegue.
paimon-compaction
Engine Version
Seleccione VVR 8.0.5 o posterior.
vvr-8.0.5-flink-1.17
JAR URI
Seleccione el archivo JAR
paimon-flink-actionque cargó.—
Entry Point Class
Déjelo en blanco.
—
Entry Point Main Arguments
Los parámetros de acción que se pasan al método principal. Especifique los parámetros según la operación de Paimon que desee ejecutar. Por ejemplo, para ordenar datos, consulte Data consumption. Algunas acciones de Paimon usan un modo de ejecución ligero de forma predeterminada y no inician un trabajo de Flink. Realtime Compute for Apache Flink requiere que el programa de un despliegue JAR inicie un trabajo de Flink, por lo que debe agregar
--force_start_flink_job truea los argumentos. Para conocer los parámetroscatalog_confque requiere una acción, consulte Configure catalog_conf parameters.—
Additional Dependencies
Seleccione el segundo paquete JAR que cargó:
paimon-ali-vvrpara VVR 8.x, opaimon-flink-1.20para VVR 11.x. Asegúrese de haberlo cargado en Artifacts durante el paso 1 antes de seleccionarlo aquí.—
Haga clic en Deploy.
Busque el despliegue en la lista y haga clic en Start. Para obtener más detalles, consulte Start a job.
Configurar los parámetros catalog_conf
Una acción de Paimon accede al catálogo de destino mediante los parámetros catalog_conf. Los parámetros que establezca dependen del tipo de catálogo.
Catálogo DLF
Establezca los parámetros del catálogo DLF, incluido el par de AccessKey. Para obtener más información, consulte Acceder a DLF con Flink DataStream.
|
Parámetro |
Descripción |
Ejemplo |
|
|
El tipo de catálogo. El valor se analiza sintácticamente de forma automática desde el archivo JAR personalizado. No lo modifique. |
paimon |
|
|
El tipo de metastore. Establezca el valor en rest. |
rest |
|
|
El endpoint de VPC del servidor REST Catalog de DLF, con el formato |
http://cn-hangzhou-vpc.dlf.aliyuncs.com |
|
|
El nombre del catálogo DLF. |
dlf_test |
|
|
El proveedor de tokens. Establezca el valor en dlf. |
dlf |
|
|
El ID de AccessKey de su cuenta de Alibaba Cloud o de un usuario de RAM. |
Ninguna |
|
|
La clave secreta de AccessKey de su cuenta de Alibaba Cloud o de un usuario de RAM. |
Ninguna |
Metastore de sistema de archivos
Establezca los parámetros de warehouse y de AccessKey de OSS. Para obtener más información, consulte Manage Paimon catalogs.
|
Opción |
Descripción |
Obligatorio |
Observaciones |
|
|
El directorio del almacén de datos en OSS. |
Sí |
El formato es |
|
|
El endpoint de OSS. |
Sí |
Utilice un endpoint de VPC si el espacio de trabajo de Flink y el bucket de OSS se encuentran en la misma región. De lo contrario, use un endpoint público. Este parámetro es obligatorio cuando el bucket de OSS especificado en warehouse reside en una región distinta a la del espacio de trabajo de Flink, o pertenece a otra cuenta. Para obtener más información, consulte Regiones y endpoints. |
|
|
El ID de AccessKey de la cuenta de Alibaba Cloud o del usuario de RAM que tiene permisos de lectura y escritura en OSS. |
Sí |
Para obtener más información, consulte Crear un par de AccessKey. |
|
|
La clave secreta de AccessKey de la cuenta de Alibaba Cloud o del usuario de RAM que tiene permisos de lectura y escritura en OSS. |
Sí |
Configure fs.oss.endpoint, fs.oss.accessKeyId y fs.oss.accessKeySecret en los parámetros de tiempo de ejecución del despliegue de Flink. Si los establece en catalog_conf, es posible que no surtan efecto.
Pasos siguientes
Para ajustar los parámetros del trabajo después de que inicie el despliegue, consulte Configurar un despliegue.
Para actualizar los parámetros sin reiniciar el trabajo, consulte Actualizar dinámicamente la configuración de parámetros para el escalado dinámico.
Para conocer las optimizaciones de rendimiento comunes en tablas escalables de clave principal y de anexión de Paimon, consulte Optimización del rendimiento.