Uso do nó Flink Python Streaming - DataWorks: Central de Documentação do Alibaba Cloud

O nó Flink Python Streaming permite executar tarefas em tempo real do Flink mediante o envio de arquivos Python. No DataWorks, selecione um recurso Flink Python carregado ou um Flink File como caminho do arquivo Python. Após configurar o módulo de entrada e os parâmetros de execução, desenvolva e implante tarefas de processamento de dados em tempo real baseadas em Python. Este tópico descreve como desenvolver e configurar um nó Flink Python Streaming no DataWorks.

Pré-requisitos

Associe um recurso de computação do Realtime Compute for Apache Flink na Administração. Para mais informações, consulte Vincular um recurso de computação Flink totalmente gerenciado.
Carregue um recurso Flink Python. Para mais detalhes, acesse Recursos e funções do Flink.
Crie um nó Flink Python Streaming. Consulte Criar um nó para um workflow de agendamento para obter instruções.
Conceda as permissões de OpenAPI abaixo ao usuário RAM ou à função RAM que o DataWorks utiliza para chamar a OpenAPI do Realtime Compute for Apache Flink. Essa autorização viabiliza o envio e a implantação de tarefas do nó em um cluster Flink. Para mais informações sobre a concessão, consulte Conceder permissões.
```
{
  "Version": "1",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": ["stream:CreateDeployment", "stream:UpdateDeployment", "stream:GetDeployment", "stream:DeleteDeployment"],
      "Resource": ["*"]
    }
  ]
}
```

Limitações

Este nó não é compatível com workflows. Desenvolva-o e execute-o apenas como nó independente.
Somente grupos de recursos serverless são suportados. Grupos de recursos exclusivos legados para agendamento não têm suporte.

Etapa 1: Configurar o nó Flink Python Streaming

Na página do editor do nó Flink Python Streaming, defina os parâmetros a seguir.

Configurar parâmetros principais

No painel esquerdo da página de edição do nó, configure os seguintes parâmetros.

Parâmetro	Descrição
Python file address	Obrigatório. Selecione, na lista suspensa, um recurso Flink Python carregado ou um Flink File. Recursos Flink Python aceitam apenas arquivos `.py`. Para usar um arquivo `.zip` como ponto de entrada principal do job, carregue-o como Flink File. Se o campo Entry Module estiver vazio, este valor deve terminar com `.py`.
Entry Module	Módulo de entrada do programa, por exemplo, `example.word_count`. Preenchimento obrigatório quando Python file address referencia um arquivo `.zip`.
Entry Point Main Arguments	Parâmetros do job.
Python Libraries	Selecione, na lista suspensa, um Flink File carregado para atuar como pacote Python de terceiros. O sistema adiciona esses pacotes ao PYTHONPATH do processo worker Python, permitindo acesso direto nas funções definidas pelo usuário em Python.
Python Archives	Selecione, na lista suspensa, um Flink File carregado para servir como arquivo compactado. Atualmente, há suporte para formatos ZIP, incluindo `.zip`, `.jar`, `.whl` e `.egg`.
Additional dependency files	Selecione, na lista suspensa, um Flink File carregado como arquivo de dependência adicional.

Configurar recursos do Flink

A configuração de recursos do Flink (incluindo cluster Flink, versão do mecanismo, grupo de recursos, modo de recurso e parâmetros de Job Manager/Task Manager) segue o mesmo padrão do nó Flink JAR Streaming. Consulte as instruções de configuração nesse tópico para mais detalhes.

(Opcional) Configurar parâmetros de script

No painel de navegação à direita, na seção Real-Time configuration, clique em Add parameters na área Script Parameters e edite os nomes e valores dos parâmetros.

(Opcional) Configurar parâmetros de execução do Flink

Os parâmetros de execução do Flink (como intervalo de checkpoint do sistema, pausa mínima entre checkpoints, tempo de expiração de dados de estado e outras definições) seguem a mesma estrutura do nó Flink JAR Streaming. Consulte as orientações completas naquele tópico.

Ao concluir a configuração da tarefa, clique em Save para salvar o nó.

Etapa 2: Iniciar o nó Flink Python Streaming

Implante o nó Flink Python Streaming.

É necessário implantar as tarefas no Operation Center antes da execução. Siga as instruções na tela para implantar o nó Flink Python Streaming. Para mais informações, acesse Implantar um nó.
Inicie o nó Flink Python Streaming.

Após a implantação da tarefa, clique em Go to operation and maintenance abaixo de Deploy to production environment. No Operation Center, acesse Node O&M > Real-time Task O&M > Real-time computing tasks, localize a tarefa desejada e clique em Start na coluna Operation para iniciar a tarefa em tempo real e acompanhar seu status de execução.