Uso do nó Flink Python Batch - DataWorks: Central de Documentação do Alibaba Cloud

O nó Flink Python Batch executa jobs de processamento em lote do Flink a partir de um arquivo Python enviado. No DataWorks, defina o caminho do arquivo Python selecionando um recurso Flink Python ou um Flink File já carregado. Após configurar o módulo de entrada e os parâmetros de agendamento, desenvolva e implante jobs de processamento em larga escala baseados em Python. Este tópico descreve como desenvolver e configurar um nó Flink Python Batch no DataWorks.

Pré-requisitos

Associe recursos computacionais do Realtime Compute for Apache Flink na Administração. Para mais informações, consulte Vincular recursos computacionais do Flink totalmente gerenciado.
Carregue um recurso Flink Python. Para mais informações, consulte Recursos e funções do Flink.
Crie um nó Flink Python Batch. Para mais informações, consulte Criar um nó para um workflow.
Conceda as seguintes permissões de OpenAPI ao usuário RAM ou à função RAM que o DataWorks utiliza para chamar as APIs do Realtime Compute for Apache Flink. Para mais informações, consulte Adicionar permissões. Essa autorização permite que o DataWorks envie o job do nó e o implante em um cluster Flink.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limitação

Somente grupos de recursos serverless são compatíveis. Grupos de recursos exclusivos legados para agendamento não têm suporte.

Etapa 1: Configure o nó Flink Python Batch

Na página de edição do nó Flink Python Batch, configure os seguintes parâmetros.

Parâmetros da aba Main

No painel esquerdo da página de edição do nó, configure os parâmetros abaixo.

Parâmetro	Descrição
Python file path	Obrigatório. Na lista suspensa, selecione um recurso Flink Python ou um Flink File carregado no Resource Management. Recursos Flink Python aceitam apenas arquivos `.py`. Para usar um arquivo `.zip` como ponto de entrada principal do job, carregue-o como um Flink File. Se o parâmetro Entry Module estiver vazio, este campo deve terminar com `.py`.
Entry Module	Módulo de entrada do programa, por exemplo, `example.word_count`. Este parâmetro é obrigatório quando o Python file path termina com `.zip`.
Entry Point Main Arguments	Parâmetros do job.
Python Libraries	Selecione, na lista suspensa, um Flink File carregado para atuar como pacote Python de terceiros. O sistema adiciona esses pacotes ao PYTHONPATH do processo worker Python, permitindo acesso direto nas funções definidas pelo usuário em Python.
Python Archives	Escolha, na lista suspensa, um Flink File carregado para servir como arquivo compactado. Há suporte para arquivos no formato ZIP, incluindo `.zip`, `.jar`, `.whl` e `.egg`.
Additional Dependencies	Use a lista suspensa para escolher um Flink File carregado como arquivo de dependência adicional.

Configure agendamento

Para obter detalhes sobre configurações de agendamento, como informações de recursos Flink, parâmetros de agendamento e de tempo de execução do Flink, políticas, horários e dependências, consulte as instruções em Configurar definições de agendamento.

Após concluir a configuração da tarefa, clique em Salve para salvar o nó.

Etapa 2: Execute o nó Flink Python Batch

Implante a tarefa no Operation Center antes de executá-la. Siga as instruções na tela para implantar o nó Flink Python Batch. Para mais informações, consulte Implantar um nó. Após a implantação, visualize o status de execução das instâncias agendadas no Operation Center.