Flink JAR Streaming node usage - DataWorks: Central de Documentação do Alibaba Cloud

Utilize um nó Flink JAR Streaming e execute tarefas em tempo real do Flink a partir de um pacote JAR. No DataWorks, selecione um recurso JAR do Flink já enviado como ponto de entrada do job, configure a classe do ponto de entrada e os parâmetros de execução. Em seguida, desenvolva e implante uma tarefa de processamento de dados em tempo real. Este tópico descreve o processo de desenvolvimento e configuração de um nó Flink JAR Streaming no DataWorks.

Pré-requisitos

Você associou um mecanismo de computação Flink totalmente gerenciado no Administration. Para mais informações, consulte Associate a fully managed Flink computing resource.
Envie um recurso JAR do Flink. Para mais informações, consulte Flink resources and functions.
Crie um nó Flink JAR Streaming. Para mais informações, consulte Create nodes for scheduled workflows.
Você concedeu as seguintes permissões de openapi ao usuário RAM ou à função RAM que o DataWorks usa para chamar a openapi do Realtime Compute for Apache Flink. O sistema usa essas permissões para enviar e implantar tarefas de nó em um cluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limitações

Este nó não pode integrar um workflow, exigindo desenvolvimento e execução como nó independente.
Há suporte apenas para grupos de recursos serverless. Não há suporte para grupos de recursos exclusivos legados para agendamento.

Etapa 1: Configurar o nó Flink JAR Streaming

Na página de edição do nó Flink JAR Streaming, configure os seguintes parâmetros.

Parâmetros principais

No painel à esquerda da página de edição do nó, configure os parâmetros a seguir.

Parâmetro	Descrição
JAR file	Obrigatório: selecione um recurso JAR do Flink no Resource Management.
Entry point class	A classe de ponto de entrada do seu programa. Se o pacote JAR não especificar uma classe principal, insira o nome totalmente qualificado da classe de ponto de entrada.
Entry point main arguments	Os argumentos principais do job, passados para o método principal. Há suporte para múltiplos argumentos.
Additional dependencies	Na lista suspensa, selecione um arquivo Flink enviado como dependência adicional. Nota Se o destino de implantação no recurso de computação Flink estiver definido como um cluster Session, as dependências adicionais não terão efeito.

Configurar recursos do Flink

Na seção Flink resource information do painel Real-Time configuration no lado direito da página de edição, configure os seguintes parâmetros com base no Resource Mode. Para mais informações, consulte Configure job resources.

Parâmetro	Descrição
Flink cluster	O nome do recurso de computação Flink totalmente gerenciado associado no Administration.
Flink engine version	De acordo com os requisitos do seu negócio, selecione uma versão do mecanismo.
Resource Group	Para o grupo de recursos, selecione um grupo de recursos serverless que tenha conectividade de rede com o Flink.
Resource Mode	Há suporte para os dois modos a seguir. Para mais informações, consulte Configurar recursos do job. Basic mode (padrão): Ideal para iniciantes e cenários simples. Utiliza configurações padrão e simplificadas para iniciar e executar jobs do Flink rapidamente. Expert mode: Oferece opções de configuração avançadas para usuários experientes, permitindo o ajuste fino de desempenho e recursos para atender a requisitos complexos ou de alto desempenho.
Job Manager CPU	Com base nas melhores práticas do Flink, o JobManager requer pelo menos 0,5 núcleo de CPU e 2 GiB de memória para uma operação estável. Recomendamos 1 núcleo de CPU e 4 GiB de memória, com um máximo de 16 núcleos de CPU.
Job Manager Memory	A configuração de memória do JobManager afeta sua capacidade de lidar com tarefas de agendamento e gerenciamento. O intervalo recomendado é de 2 GiB a 64 GiB.
Task Manager CPU	A configuração de CPU do TaskManager afeta sua capacidade de processamento de tarefas. Recomendamos pelo menos 0,5 núcleo de CPU e 2 GiB de memória, com uma configuração recomendada de 1 núcleo de CPU e 4 GiB de memória, e um máximo de 16 núcleos de CPU.
Task Manager Memory	A configuração de memória do TaskManager determina o volume de dados e o desempenho do processamento de tarefas. O tamanho mínimo de memória é de 2 GiB e o máximo é de 64 GiB.
Concurrency	Determina o número de execuções de tarefas paralelas em um job do Flink. Uma simultaneidade maior pode melhorar a velocidade de processamento e a utilização de recursos. Com base nos recursos do cluster e nas características do job, defina este parâmetro.
Number of slots per TaskManager	O número de slots por TaskManager determina a quantidade de tarefas executadas em paralelo. Ajuste a configuração de slots para otimizar a utilização de recursos e a capacidade de processamento paralelo.

(Opcional) Configurar parâmetros de script

Na seção Script Parameters do painel Real-Time configuration no lado direito, clique em Add parameters e edite o Parameter name e o Parameter Value.

(Opcional) Configurar parâmetros de execução do Flink

Na seção Flink running parameters do painel Real-Time configuration no lado direito, configure os seguintes parâmetros. Para mais informações, consulte Configure job deployment.

Parâmetro	Descrição
System Checkpoint Interval	Este parâmetro define o intervalo no qual o Flink executa periodicamente os checkpoints do sistema. Um intervalo menor reduz o tempo de recuperação de falhas, mas aumenta a sobrecarga do sistema. Caso você não especifique este parâmetro, o sistema desativará os checkpoints.
Minimum time interval between two system checkpoints	Este parâmetro define o tempo mínimo de pausa que o Flink deve aguardar entre checkpoints consecutivos para evitar que checkpoints muito frequentes afetem o desempenho do sistema.
State data expiration time	Este parâmetro define a duração máxima que os dados de estado em um job do Flink podem ser retidos sem serem acessados ou atualizados. O valor padrão é 36 horas. Importante O valor padrão é baseado nas melhores práticas de cloud e difere do valor padrão de open source (0, o que significa que os dados de estado nunca expiram).
Others	Há suporte para outros parâmetros de execução do Flink. Por exemplo: `taskmanager.network.memory.max:4g`.

Após concluir a configuração da tarefa, clique em Save e salve a tarefa do nó.

Etapa 2: Iniciar o nó Flink JAR Streaming

Implante o nó Flink JAR Streaming.

É necessário implantar as tarefas no Operation Center antes de executá-las. Siga as instruções na tela para implantar o nó Flink JAR Streaming. Para mais informações, consulte Node and workflow deployment.
Inicie o nó Flink JAR Streaming.

Após implantar a tarefa, clique em Go to operation and maintenance abaixo de Deploy to production environment. No Operation Center, acesse Node O&M > Real-time Task O&M > Real-time computing tasks, encontre a tarefa que deseja iniciar e clique em Start na coluna Operation para iniciar e monitorar a tarefa em tempo real.