O nó Flink JAR Batch permite executar jobs em lote do Flink por meio do envio de pacotes JAR. No DataWorks, selecione um resource JAR do Flink já enviado como ponto de entrada do job, configure a classe de ponto de entrada e os parâmetros de agendamento para desenvolver e implantar jobs de processamento de dados em larga escala. Este tópico descreve como desenvolver e configurar um nó Flink JAR Batch no DataWorks.
Pré-requisitos
Um resource de computação do Realtime Compute for Apache Flink deve estar vinculado na Administração. Para mais informações, consulte Vincular um resource de computação Flink totalmente gerenciado.
É necessário ter enviado um resource JAR do Flink. Para mais detalhes, veja Resources e funções do Flink.
Crie um nó Flink JAR Batch previamente. Consulte Criar um nó para um fluxo de trabalho de agendamento para instruções completas.
-
O usuário RAM ou a função RAM do DataWorks precisa das seguintes permissões de API para chamar as APIs do Realtime Compute for Apache Flink. Essas permissões são obrigatórias para enviar e implantar o nó em um cluster Flink. Para mais informações, acesse Adicionar permissões.
{ "Version": "1", "Statement": [ { "Effect": "Allow", "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"], "Resource": ["*"] } ] }
Limitação
Apenas grupos de resources serverless são suportados. Grupos de resources exclusivos legados para agendamento não têm suporte.
Etapa 1: Configurar o nó Flink JAR Batch
Na página de edição do nó Flink JAR Batch, defina os parâmetros abaixo.
Configurar parâmetros principais
No painel esquerdo da página de edição do nó, especifique os seguintes parâmetros.
Parâmetro | Descrição |
JAR file | Obrigatório. Na lista suspensa, selecione um resource JAR do Flink enviado no Gerenciamento de Resources. |
Entry Point Class | Classe de ponto de entrada do programa. Caso o pacote JAR não defina uma classe principal, informe o caminho completo da classe de ponto de entrada. |
Entry Point Main Arguments | Argumentos passados ao método main. É possível inserir múltiplos argumentos. |
Additional dependency files | Escolha na lista suspensa um resource de arquivo do Flink já enviado para usar como dependência adicional. Nota Se o destino de implantação do resource de computação Flink for um cluster Session, os arquivos de dependência adicionais não terão efeito. |
Configurar agendamento
No painel Scheduling Settings, localizado à direita da página de edição, ajuste os parâmetros a seguir.
Informações de resource do Flink
|
Parâmetro |
Descrição |
|
Flink cluster |
Nome do resource de computação Flink totalmente gerenciado vinculado na Administração. |
|
Flink engine version |
Escolha a versão do mecanismo conforme sua necessidade. |
|
Resource Group |
Selecione um grupo de resources serverless com conectividade de rede ao Flink. |
|
Job Manager CPU |
Seguindo as melhores práticas do Flink, o JobManager necessita de pelo menos 0,5 núcleo de CPU e 2 GiB de memória para operar com estabilidade. Recomenda-se 1 núcleo de CPU e 4 GiB de memória, com limite máximo de 16 núcleos. |
|
Job Manager Memory |
A memória alocada ao JobManager influencia diretamente sua capacidade de gerenciar tarefas de agendamento e administração. O intervalo recomendado varia de 2 GiB a 64 GiB. |
|
Task Manager CPU |
A CPU destinada ao TaskManager determina seu poder de processamento de tarefas. Utilize no mínimo 0,5 núcleo de CPU e 2 GiB de memória; a configuração ideal é 1 núcleo de CPU e 4 GiB de memória, respeitando o teto de 16 núcleos. |
|
Task Manager Memory |
O volume de memória do TaskManager define o desempenho e a quantidade de dados processados nas tarefas. Os valores permitidos vão de 2 GiB (mínimo) a 64 GiB (máximo). |
|
Concurrency |
Quantidade de tarefas executáveis simultaneamente em um job Flink. Marque Auto Infer para que o sistema calcule automaticamente o paralelismo ideal segundo as características do job. |
|
Maximum Slots |
Limite superior de slots disponíveis para o job, restringindo o consumo máximo de resources. |
|
Number of slots per TaskManager |
Define quantas tarefas cada TaskManager consegue rodar em paralelo. |
Parâmetros de agendamento
Para ativar a passagem dinâmica de parâmetros em cenários de agendamento, utilize a seção Scheduling Parameters. Consulte Configurar parâmetros de agendamento para orientações detalhadas.
Quanto às demais configurações relacionadas ao agendamento — incluindo Flink Runtime Parameters, Scheduling Policy, Scheduling Time e Scheduling Dependencies —, verifique as descrições correspondentes em Nó Flink SQL Batch.
Ao finalizar a configuração da tarefa, clique em Save para salvar o nó.
Etapa 2: Executar o nó Flink JAR Batch
Antes de executar a tarefa, implante-a no Operation Center. Siga as instruções na tela para realizar a implantação do nó Flink JAR Batch. Para mais detalhes, consulte Implantar um nó. Após a implantação, acompanhe o status de execução das instâncias agendadas diretamente no Operation Center.