Depure los borradores SQL para verificar su lógica de negocio sin escribir datos en los sinks de producción. Durante una sesión de depuración, ningún dato llega a los sistemas posteriores, independientemente del tipo de tabla sink.
Utilice la depuración para:
Probar instrucciones SELECT o INSERT con datos en vivo del origen o con datos de prueba proporcionados por usted.
Validar trabajos que contienen múltiples instrucciones SELECT o INSERT.
Verificar consultas UPSERT, incluidas las instrucciones con operaciones de actualización como
count(*).
Límites
Solo se admiten trabajos SQL.
No se admiten las instrucciones CREATE TABLE AS SELECT (CTAS) ni CREATE DATABASE AS (CDAS).
Flink se pausa después de leer 1,000 registros de forma predeterminada.
Cada sesión de depuración tiene un límite de 3 minutos.
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Un espacio de trabajo de Realtime Compute for Apache Flink en estado Running
Un borrador SQL con instrucciones SQL válidas en la página ETL
Permisos suficientes para crear clústeres de sesión y ejecutar tareas de depuración
Paso 1: Crear un clúster de sesión
La depuración se ejecuta en un clúster de sesión, diseñado exclusivamente para desarrollo y pruebas. No utilice clústeres de sesión en producción.
En la consola de Flink, abra su espacio de trabajo.
Haga clic en Create Session Cluster.
Configure los parámetros descritos en las siguientes secciones y luego haga clic en Create Session Cluster.
Estándar
|
Parameter |
Description |
|
Name |
El nombre del clúster de sesión. |
|
Deployment Target |
La cola de recursos para el clúster de sesión. Para obtener más información, consulte Manage queues. |
|
State |
El estado deseado después de la creación. RUNNING: El clúster se inicia inmediatamente. STOPPED: El clúster se crea pero no se inicia. |
|
Scheduled Session Management |
Apaga automáticamente el clúster cuando no se ejecutan trabajos durante un periodo especificado, lo que evita el desperdicio de recursos por clústeres inactivos. |
|
Labels |
Etiquetas para filtrar trabajos en la página Overview. |
Configuración
|
Parámetro |
Descripción |
|
Engine Version |
La versión del motor VVR. Seleccione una versión Recommended o Stable. Para más detalles, consulte Engine versions y Lifecycle policies. |
|
Flink Restart Policy |
El comportamiento de reinicio cuando falla una tarea.
Si no se configura, se aplica la estrategia predeterminada: el JobManager no se reinicia al fallar una tarea si los checkpoints están desactivados, pero sí se reinicia cuando están activados. |
|
Other Configuration |
Entradas adicionales de configuración de Flink (por ejemplo, |
Recursos
|
Parameter |
Description |
|
Number of TaskManagers |
De forma predeterminada, este valor es igual al paralelismo. |
|
JobManager CPU Cores |
Predeterminado: 1. |
|
JobManager Memory |
Mínimo: 1 GiB. Recomendado: 4 GiB. |
|
TaskManager CPU Cores |
Predeterminado: 2. |
|
TaskManager Memory |
Mínimo: 1 GiB. Recomendado: 8 GiB. |
Recomendaciones de tamaño de slot:
|
Workload |
vCPU per slot |
Memory per slot |
|
Trabajos pequeños (paralelismo de 1) |
1 |
2 GiB |
|
Trabajos complejos |
1 |
4 GiB |
Comience con la configuración predeterminada de 2 slots por TaskManager.
Si un solo TaskManager tiene muy pocos recursos, la estabilidad del trabajo disminuye y la sobrecarga del TaskManager no puede distribuirse entre los slots. Si un solo TaskManager tiene demasiados recursos, un fallo en ese TaskManager afecta a muchos trabajos simultáneamente.
Registros
|
Parameter |
Description |
|
Root Log Level |
Niveles de registro en orden ascendente de severidad: TRACE, DEBUG, INFO, WARN, ERROR. |
|
Log Levels |
El nombre de la clase y el nivel de registro. |
|
Logging Profile |
Una plantilla del sistema o una plantilla personalizada. |
Para opciones relacionadas con la integración de Flink con frameworks de orquestación de recursos como Kubernetes y YARN, consulte Frameworks de orquestación de recursos.
Después de crear el clúster de sesión, podrá seleccionarlo en la página ETL al iniciar una sesión de depuración.
Paso 2: Depurar el borrador SQL
En la página ETL, escriba o abra el código SQL de su trabajo. Para obtener más información, consulte Job development overview.
Haga clic en Debug. Seleccione un clúster de sesión y haga clic en Next.
-
Configure el origen de datos de prueba:
Datos en vivo: Para usar datos en vivo del origen, haga clic en Confirm sin realizar cambios.
Datos de prueba: Para usar datos de prueba, haga clic en Download mock data template para obtener una plantilla CSV que coincida con el esquema de su tabla de origen. Complete la plantilla, cárguela y luego seleccione Use mock data.
Option
Description
Download mock data template
Descarga una plantilla CSV que coincide con el esquema de la tabla de origen.
Upload mock data
Cargue un archivo CSV con datos de prueba. El archivo debe incluir una fila de encabezado (por ejemplo,
id(INT)). Tamaño máximo del archivo: 1 MB o 1,000 registros.Data Preview
Después de cargar los datos de prueba, haga clic en el icono de expansión (+) junto al nombre de la tabla de origen para previsualizar los datos.
Code preview
Muestra las instrucciones DDL modificadas. La depuración modifica automáticamente las instrucciones DDL de las tablas de origen y sink, pero no cambia el código real de su trabajo.
Haga clic en OK. Los resultados de la depuración aparecen debajo del editor SQL.
Solución de problemas
|
Issue |
Cause |
Solution |
|
El botón Debug está atenuado |
Ningún clúster de sesión está en ejecución |
Cree e inicie un clúster de sesión en . |
|
La sesión de depuración expira |
Cada sesión tiene un límite de 3 minutos |
Simplifique la consulta o reduzca el volumen de datos de entrada. |
|
Los resultados de depuración están vacíos |
La tabla de origen no tiene datos o los datos de prueba no son válidos |
Compruebe la previsualización de datos. Si usa datos de prueba, verifique el formato CSV y la fila de encabezado. |
|
Tiempo de espera de heartbeat del clúster de sesión |
Demasiados trabajos ejecutándose en el clúster |
Reduzca el número de trabajos concurrentes o aumente el intervalo de heartbeat y el tiempo de espera. |
|
Resultados de depuración inesperados |
La modificación automática de DDL no es visible |
Consulte la Debug code preview para ver las instrucciones DDL modificadas. |
Pasos siguientes
Para desplegar un trabajo después del desarrollo o la depuración, consulte Deploy a job.
Después de desplegar un trabajo, consulte Start a deployment.
Para un recorrido completo por el flujo de trabajo de Flink SQL, consulte Quick start for Flink SQL jobs.