Esta guía muestra cómo crear, desplegar e iniciar trabajos Flink JAR de streaming y por lotes para ilustrar el flujo de trabajo en Realtime Compute for Apache Flink.
Requisitos previos
Si utiliza un usuario o rol de RAM, asegúrese de contar con los permisos obligatorios para la consola de Flink. Para obtener más información, consulte Permission management.
Debe haber creado un espacio de trabajo de Flink. Para obtener más información, consulte Activate Realtime Compute for Apache Flink.
Paso 1: Desarrollar el paquete JAR
La Development Console de Realtime Compute for Apache Flink no proporciona un entorno de desarrollo integrado (IDE) para paquetes JAR. Debe desarrollar, compilar y empaquetar su trabajo de forma local. Para obtener más información sobre cómo configurar dependencias, usar conectores y leer archivos dependientes desde Object Storage Service (OSS), consulte Develop a Flink JAR job.
Asegúrese de que la versión de Flink utilizada para el desarrollo local coincida con la versión del motor que seleccione en Step 3: Deploy the JAR job. Además, preste atención al alcance del paquete de dependencias.
Para ayudarle a comenzar rápidamente con los trabajos Flink JAR, esta guía proporciona un paquete JAR de ejemplo para contar palabras y un archivo de datos. Descargue estos archivos para completar los siguientes pasos.
-
Haga clic en FlinkQuickStart-1.0-SNAPSHOT.jar para descargar el paquete JAR de prueba.
Si le interesa el código fuente, haga clic en FlinkQuickStart.zip para descargarlo y compilarlo.
Haga clic en Shakespeare para descargar el archivo de datos.
Paso 2: Cargar el paquete JAR y el archivo de datos
Inicie sesión en la consola de Realtime Compute.
Busque el espacio de trabajo de Flink deseado y haga clic en Console en la columna Actions.
En el panel de navegación izquierdo, haga clic en Artifacts.
-
Haga clic en Upload Artifact para cargar el paquete JAR y el archivo de datos.
En este tutorial, cargue los archivos FlinkQuickStart-1.0-SNAPSHOT.jar y Shakespeare que descargó en el paso 1. Para obtener más información sobre las rutas de almacenamiento de archivos, consulte Artifacts.
Paso 3: Desplegar el trabajo JAR
Trabajo de streaming
En la página , haga clic en Create Deployment y seleccione JAR Deployment.
-
Configure los parámetros de despliegue.
Parámetro
Descripción
Ejemplo
Deployment mode
Seleccione Stream Mode como modo de despliegue.
Stream Mode
Deployment name
Introduzca un nombre para el trabajo JAR.
flink-streaming-test-jar
Engine version
Versión del motor de Flink para el trabajo.
Se recomienda utilizar una versión con la etiqueta RECOMMENDED o STABLE para obtener mayor confiabilidad y rendimiento. Para obtener más información, consulte Release notes y Engine versions.
vvr-8.0.9-flink-1.17
JAR URI
Seleccione el archivo FlinkQuickStart-1.0-SNAPSHOT.jar que cargó en el paso 2. También puede hacer clic en el ícono
para cargar su propio paquete JAR.Si el archivo ya existe en la página Artifacts, selecciónelo directamente.
NotaEl motor VVR 8.0.6 y versiones posteriores de Realtime Compute for Apache Flink solo pueden acceder al bucket vinculado al espacio de trabajo.
-
Entry point class
Punto de entrada del programa. Si el paquete JAR no especifica una clase principal, debe introducir su nombre de clase completo.
El paquete JAR de prueba proporcionado en este documento contiene código tanto para un trabajo de streaming como para uno por lotes. Por lo tanto, debe especificar el punto de entrada para el trabajo de streaming.
org.example.WordCountStreaming
Entry point main arguments
Argumentos que se pasan al método principal.
Para este tutorial, introduzca la ruta de almacenamiento del archivo de datos de entrada
Shakespeare.--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/ShakespeareCopie la ruta completa del archivo Shakespeare desde la página Artifacts .
Deployment target
En la lista desplegable, seleccione la resource queue o el session cluster de destino. Para obtener más información, consulte Manage resource queues y Step 1: Create a session cluster.
ImportanteLos trabajos desplegados en un session cluster no admiten monitoreo de alertas, configuración de alertas ni ajuste automático. No utilice session clusters en entornos de producción, ya que están diseñados para desarrollo y pruebas. Para obtener más información, consulte Debug a job.
default-queue
Para obtener más información sobre los parámetros de configuración, consulte Deploy a job.
Haga clic en Deploy.
Trabajo por lotes
En la página , haga clic en Create Deployment y seleccione JAR Deployment.
-
Configure los parámetros de despliegue.
Parámetro
Descripción
Ejemplo
Deployment mode
Seleccione Batch Mode como modo de despliegue.
Batch Mode
Deployment name
Introduzca un nombre para el trabajo JAR.
flink-batch-test-jar
Engine version
Versión del motor de Flink para el trabajo.
Se recomienda utilizar una versión con la etiqueta RECOMMENDED o STABLE para obtener mayor confiabilidad y rendimiento. Para obtener más información, consulte Release notes y Engine versions.
vvr-8.0.9-flink-1.17
JAR URI
Seleccione el archivo FlinkQuickStart-1.0-SNAPSHOT.jar que cargó en el paso 2. También puede hacer clic en el ícono
para cargar su propio paquete JAR.-
Entry point class
Clase de entrada del programa. Si su paquete JAR no especifica una clase principal, introduzca aquí el nombre completo de su Endpoint Class.
El paquete JAR de prueba proporcionado en este documento contiene código tanto para un trabajo de streaming como para uno por lotes. Por lo tanto, debe especificar el punto de entrada para el trabajo por lotes.
org.example.WordCountBatch
Entry point main arguments
Argumentos que se pasan al método principal.
Para este tutorial, introduzca las rutas de almacenamiento del archivo de datos de entrada
Shakespearey del archivo de datos de salidabatch-quickstart-test-output.txt.NotaEspecifique la ruta completa del archivo de salida. El sistema crea este archivo automáticamente. En este tutorial, la ruta de salida coloca el archivo en el mismo directorio que el archivo de entrada.
--input oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/Shakespeare--output oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txtCopie la ruta completa del archivo Shakespeare desde la página Artifacts.
Deployment target
En la lista desplegable, seleccione la resource queue o el session cluster de destino. Para obtener más información, consulte Manage resource queues y Step 1: Create a session cluster.
ImportanteLos trabajos desplegados en un session cluster no admiten monitoreo de alertas, configuración de alertas ni ajuste automático. No utilice session clusters en entornos de producción, ya que están diseñados para desarrollo y pruebas. Para obtener más información, consulte Debug a job.
default-queue
Para obtener más información sobre los parámetros de configuración, consulte Deploy a job.
Haga clic en Deploy.
Paso 4: Iniciar el trabajo y consultar los resultados
Trabajo de streaming
En la página , busque el trabajo deseado y haga clic en Start en la columna Actions.
Seleccione Initial Mode y haga clic en Start. Para obtener más información sobre cómo iniciar un trabajo, consulte Start a job.
-
Una vez que el estado del trabajo cambie a RUNNING, consulte los resultados del trabajo de streaming.
En el archivo de registro de TaskManager que termina con .out, busque
shakespearepara consultar los resultados de Flink.Para encontrar el archivo de registro, vaya a la pestaña Logs, seleccione un TaskManager en ejecución dentro de Running Task Managers y luego haga clic en la pestaña Log List. Abra el archivo
flink.outy busqueshakespearepara ubicar los resultados, como (shakespeare,1).
Trabajo por lotes
En la página , busque el trabajo deseado y haga clic en Start en la columna Actions.
En el cuadro de diálogo Start Job, haga clic en Start. Para obtener más información sobre cómo iniciar un trabajo, consulte Start a job.
-
Una vez que el estado del trabajo cambie a FINISHED, consulte los resultados del trabajo por lotes.
Inicie sesión en la consola de OSS y consulte los resultados en el archivo oss://<Your-OSS-Bucket-Name>/artifacts/namespaces/<Your-Namespace>/batch-quickstart-test-output.txt.
A continuación se muestra un ejemplo de los resultados del archivo
batch-quickstart-test-output.txt.a 164 abhor 2 abide 2 able 1 about 1 above 4 absence 5 absent 4 abundance 4 abundant 1 abuse 3 abused 1 abuses 1 abysm 1 accents 1 acceptable 1 acceptance 1
La cantidad de entradas de resultado del trabajo de streaming y del trabajo por lotes podría diferir, ya que el registro TaskManager.out muestra un máximo de 2,000 entradas. Para obtener más información sobre esta limitación, consulte Print.
(Opcional) Paso 5: Detener el trabajo
Para aplicar cambios a un trabajo (como modificaciones de código, actualizaciones de parámetros WITH o cambios de versión), debe volver a desplegarlo, detenerlo y reiniciarlo. También es necesario reiniciarlo para un inicio sin estado o para aplicar cambios de configuración no dinámicos. Para obtener más información sobre cómo detener un trabajo, consulte Stop a job.
Documentos relacionados
Configure los recursos del trabajo antes de iniciarlo o modifíquelos mientras se ejecuta. Se admiten los modos de recursos Basic (grano grueso) y Expert (grano fino). Para obtener más información, consulte Configure job resources.
Aprenda a actualizar dinámicamente los parámetros y recursos del trabajo para aplicar cambios más rápido y reducir las interrupciones por reinicios. Para obtener más información, consulte Dynamic scaling and parameter updates.
Configure los niveles de registro y especifique salidas independientes para cada nivel. Para obtener más información, consulte Configure job log output.
Siga un ejemplo sencillo para conocer el flujo de trabajo de desarrollo completo de un trabajo Flink SQL. Para obtener más información, consulte Flink SQL jobs.