Submit and view Flink jobs - E-MapReduce: Central de Documentação do Alibaba Cloud

Modos de implantação

Em um cluster Dataflow, o Flink executa sobre o YARN. Para enviar jobs, acesse o nó mestre via SSH e execute comandos da CLI do Flink.

O Flink no YARN oferece três modos de implantação. Cada modo define como o YARN aloca recursos do cluster para os jobs.

Modo	Funcionamento	Mais indicado para
Session mode	Inicia previamente um cluster Flink compartilhado. Todos os jobs executam nesse cluster, que permanece ativo após a conclusão dos jobs.	Jobs de curta duração em que a inicialização rápida é essencial
Per-Job Cluster mode	Inicia um cluster Flink dedicado para cada job. O cluster libera recursos quando o job termina ou é cancelado.	Jobs de longa execução que exigem isolamento de recursos
Application mode	Inicia um cluster Flink dedicado por aplicação. Uma única aplicação pode conter vários jobs. O método `main()` executa no JobManager em vez do cliente.	Cargas de trabalho de produção; redução da carga no lado do cliente

Considerações sobre o Session mode: Todos os jobs competem por recursos no mesmo cluster. Se um TaskManager falhar, todos os jobs em execução nele também falharão. Um único JobManager gerencia todos os jobs, o que aumenta a carga conforme o número de jobs cresce.

Considerações sobre o Per-Job Cluster mode e o Application mode: Cada job ou aplicação obtém um cluster isolado, de modo que as falhas ficam contidas. A desvantagem é o tempo de inicialização mais longo por envio.

Pré-requisitos

Antes de começar, verifique se você tem:

Um cluster Dataflow em execução no modo Flink. Para obter detalhes, consulte Criar um cluster.

Enviar um job e visualizar o status

Os exemplos a seguir usam o job de amostra TopSpeedWindowing da distribuição do Flink — um job de streaming que roda continuamente.

Escolha a seção correspondente ao seu modo de implantação.

Session mode

Acesse o nó mestre via SSH. Para obter detalhes, consulte Acessar o nó mestre de um cluster.
Inicie uma sessão do YARN.
```
yarn-session.sh --detached
```
A flag --detached executa a sessão em segundo plano, permitindo que o cliente encerre após o início da sessão. Sem essa flag, o cliente permanece conectado e a sessão encerra ao fechar o terminal. Após a execução bem-sucedida do comando, a saída inclui um Application ID, por exemplo application_1750137174986_0001. Nos comandos subsequentes, substitua <application_XXXX_YY> por esse valor.
Envie o job.
```
flink run --detached /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Após o envio, a saída inclui um job ID, por exemplo 3785db18d371326758d7843dd2a1****. Nos comandos subsequentes, substitua <jobId> por esse valor.

Visualize o status do job.

flink list -t yarn-session -Dyarn.application.id=<application_XXXX_YY>

A saída será semelhante a:

------------------ Running/Restarting Jobs -------------------
16.06.2025 18:20:55 : 3785db18d371326758d7843dd2a1**** : CarTopSpeedWindowingExample (RUNNING)

Também é possível verificar o status do job na interface web do Flink. Para obter detalhes, consulte Visualizar o status do job na interface web do Flink.

Cancele o job.

flink cancel -t yarn-session -Dyarn.application.id=<application_XXXX_YY> <jobId>

Per-Job Cluster mode

Acesse o nó mestre via SSH. Para obter detalhes, consulte Acessar o nó mestre de um cluster.
Envie o job.
```
flink run -t yarn-per-job --detached /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Após o envio, a saída inclui um Application ID (por exemplo application_1750125819948_****) e um job ID (por exemplo f5f980ac631192b02548235f1bbe****). Nos comandos subsequentes, substitua <application_XXXX_YY> e <jobId> por esses valores.
Visualize o status do job.
```
flink list -t yarn-per-job -Dyarn.application.id=<application_XXXX_YY>
```
Também é possível verificar o status do job na interface web do Flink. Para obter detalhes, consulte Visualizar o status do job na interface web do Flink.

Cancele o job.

flink cancel -t yarn-per-job -Dyarn.application.id=<application_XXXX_YY> <jobId>

Application mode

Acesse o nó mestre via SSH. Para obter detalhes, consulte Acessar o nó mestre de um cluster.
Envie o job.
```
flink run-application -t yarn-application /opt/apps/FLINK/flink-current/examples/streaming/TopSpeedWindowing.jar
```
Após o envio, a saída inclui um YARN Application ID, por exemplo application_1750125819948_0004. Nos comandos subsequentes, substitua <application_XXXX_YY> por esse valor.
Visualize o status do job.
```
flink list -t yarn-application -Dyarn.application.id=<application_XXXX_YY>
```
A saída será semelhante ao exemplo abaixo. O job ID (por exemplo 4db32b5339e6d64de2a1096c4762****) aparece na saída. Nos comandos subsequentes, substitua <jobId> por esse valor.
```
------------------ Running/Restarting Jobs -------------------
16.06.2025 18:20:55 : 4db32b5339e6d64de2a1096c4762**** : CarTopSpeedWindowingExample (RUNNING)
```
Também é possível verificar o status do job na interface web do Flink. Para obter detalhes, consulte Visualizar o status do job na interface web do Flink.

Cancele o job.

flink cancel -t yarn-application -Dyarn.application.id=<application_XXXX_YY> <jobId>

Configure um job

Há três métodos para definir parâmetros de jobs do Flink:

No código — defina parâmetros diretamente no código-fonte do job. Consulte Configuration.
No momento do envio — passe a flag -D ao executar flink run. Por exemplo:
```
flink run-application -t yarn-application -Dstate.backend=rocksdb ...
```
No arquivo de configuração — defina padrões em /etc/taihao-apps/flink-conf/flink-conf.yaml.

Se nenhum desses métodos definir um parâmetro, o Flink usará o valor padrão interno. Para obter a referência completa de parâmetros, consulte Apache Flink configuration.

Visualizar o status do job na interface web do Flink

Acesse o EMR console.
No painel de navegação à esquerda, escolha EMR on ECS.
Na barra de navegação superior, selecione a região onde reside o cluster e selecione um grupo de recursos.
Na página EMR on ECS, clique em Cluster ID do cluster.
Clique em aba Access Links and Ports.
Clique em link de YARN UI. Para obter mais informações sobre como acessar interfaces web de componentes, consulte Acessar as interfaces web de componentes open source.
Clique em Application ID do job.
Clique em link Tracking URL. O Apache Flink Dashboard abre e exibe o status de todos os jobs em execução.

Próximos passos

Saiba como o Flink no YARN gerencia recursos: Apache Hadoop YARN.