DataWorks:Nó de lote Flink SQL

Desenvolver código SQL

Desenvolva o código da tarefa na área de edição SQL. No código, defina variáveis usando o formato ${variable_name}. Em seguida, no lado direito da página de edição do nó, atribua um valor à variável na seção Scheduling Parameters do painel Scheduling Settings. Isso permite passar parâmetros dinamicamente para o código em cenários de agendamento. Para mais informações sobre o uso de parâmetros de agendamento, consulte Scheduling parameter sources and their expressions. Veja um exemplo abaixo.

-- Create a source table named datagen_source.
CREATE TEMPORARY TABLE datagen_source_${var}(
  name VARCHAR
) WITH (
  'connector' = 'datagen',
  'number-of-rows' = '1000' 
);

-- Create a result table named blackhole_sink.
CREATE TEMPORARY TABLE blackhole_sink_${var}(
  name  VARCHAR
) WITH (
  'connector' = 'blackhole'
);

-- Insert data from the source table into the result table.
INSERT INTO blackhole_sink_${var}
SELECT
  name
FROM datagen_source_${var};

Configurar recursos Flink

Defina os seguintes parâmetros no lado direito da página de edição, na seção Flink resource information dentro de Scheduling Settings. Para mais detalhes, consulte Configure schedule settings.

(Opcional) Configurar parâmetros de agendamento

No lado direito da página de edição, na seção Scheduling Parameters dentro de Scheduling Settings, clique em Add parameters e edite o Parameter name e o Parameter Value para usá-los dinamicamente no código.

(Opcional) Configurar parâmetros de runtime do Flink

Configure parâmetros de runtime no lado direito da página de edição, na seção Flink running parameters dentro de Scheduling Settings. Para mais informações, consulte Configure schedule settings.

Ao configurar parâmetros de runtime do Flink, a sintaxe é compatível com VVP (Ververica Platform). Escreva as configurações diretamente em formato YAML, sem adicionar ponto e vírgula ou outros caracteres especiais para quebras de linha.

Configurar informações de recursos Flink

No lado direito da página de edição do nó, na seção Flink resource information do painel Run Configuration, configure os parâmetros descritos na tabela a seguir.

Ao alternar o recurso de computação do nó atual, o Flink Debug Cluster selecionado e os dados de depuração enviados são limpos. É necessário selecionar novamente um cluster e reenviar os dados.

Preparar dados de depuração

Na seção Debug Data do painel Run Configuration, prepare dados simulados para as tabelas de origem referenciadas no código.

1. Clique em Generate Template. O sistema analisa as tabelas de origem referenciadas no código SQL atual e gera registros correspondentes aos nomes das tabelas na lista abaixo. Dados enviados anteriormente não são apagados.

2. Na coluna Actions do registro da tabela, clique em Download Template para baixar um modelo CSV compatível com a estrutura da tabela de origem.

3. Preencha os dados de depuração no modelo baixado respeitando a ordem das colunas e salve o arquivo em formato CSV.

4. Na coluna Actions do registro da tabela, clique em Upload e selecione o arquivo CSV preenchido para envio. Após o sucesso do upload, a coluna Status exibirá Enabled.

5. (Opcional) Após o sucesso do upload, clique em Preview no painel inferior para visualizar os dados. Para modificar os dados, envie novamente um arquivo CSV para substituir os existentes.

6. Se não desejar usar os dados simulados de uma tabela de origem específica na sessão de depuração atual, clique em Disable para alterar o status para Disabled. Para reativar os dados, clique em Enable. Somente dados com status Enabled são utilizados na sessão de depuração atual.

Antes de enviar dados de depuração, selecione primeiro um Flink Debug Cluster. Caso contrário, o sistema solicitará a seleção de um recurso de computação.

Os dados de depuração aceitam apenas o formato CSV, e o tamanho do arquivo não pode exceder 1 MB. A primeira linha do arquivo CSV deve conter os nomes das colunas. Recomendamos o uso da codificação UTF-8.

Executar a tarefa de depuração

Com os dados de depuração prontos, clique no botão Run na barra de ferramentas do editor (ou pressione F8). O sistema envia o código, os dados simulados e as informações de recursos Flink ao cluster de sessão selecionado para execução.

Se o código utilizar parâmetros no formato ${variable_name}, certifique-se de ter atribuído valores às variáveis na seção Scheduling Parameters. Durante a depuração, o sistema substitui os placeholders no código pelos valores atribuídos antes do envio.

Visualizar os resultados da depuração

Após a execução da tarefa de depuração, a área de resultados na parte inferior do nó fornece as seguintes informações para ajudar na identificação rápida de problemas:

• Code: O código SQL enviado ao motor Flink nesta execução (com as substituições de variáveis aplicadas).

• Logs: O log de runtime e informações de erro da tarefa de depuração.

• Query results: Os dados de saída da tarefa de depuração.