DataWorks:Nó Serverless Kyuubi

Observações de uso

• Limitações de recursos de computação: O sistema suporta apenas recursos de computação EMR Serverless Spark vinculados. Garanta a comunicação de rede entre o grupo de recursos e o recurso de computação.

  Restrições de grupos de recursos: Esta tarefa é executada exclusivamente em um grupo de recursos Serverless.

• (Opcional, para usuários RAM) Adicione o usuário do Resource Access Management (RAM) responsável pelo desenvolvimento da tarefa ao workspace e atribua a ele a função Development ou Workspace Administrator (esta função possui permissões amplas; conceda-a com cautela). Para mais informações, consulte Adicionar membros ao workspace.

  Se você estiver usando uma conta raiz, ignore esta etapa.

Crie um nó

Para obter instruções, consulte Criar um nó.

Desenvolver o nó

Escreva o código da tarefa no editor SQL. Defina variáveis com a sintaxe ${variable_name} e atribua valores na seção Scheduling Parameters das Scheduling Settings à direita. O sistema substitui as variáveis pelos valores atribuídos durante a execução. Para mais detalhes, consulte Fontes e expressões de parâmetros de agendamento. Exemplo:

SHOW TABLES; SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Use with a scheduling parameter.

Uma instrução SQL não pode exceder 130 KB.

Depurar o nó

1. Na Run Configuration, configure parâmetros como Compute Resource e Resource Group.

   Parâmetro	Descrição
   Compute Resource	Selecione um recurso de computação EMR Serverless Spark vinculado. Antes, vincule um recurso de computação EMR Serverless Spark. Se não houver recursos disponíveis, selecione Create Compute Resource na lista suspensa.
   Resource Group	Selecione um grupo de recursos vinculado ao workspace.
   Script Parameters	Se você definir variáveis com a sintaxe ${parameter_name} no conteúdo do nó, especifique o Parameter name e o Parameter Value na seção Script Parameters. O sistema substitui as variáveis pelos valores reais durante a execução. Para mais informações, consulte Fontes e expressões de parâmetros de agendamento.
   ServerlessSpark Node Parameters	Parâmetros de propriedades nativas do Spark. Para mais detalhes, consulte os parâmetros de propriedades do Spark open source e os parâmetros de configuração do EMR Serverless Spark. Formato de configuração: "spark.eventLog.enabled": false . Nota Você pode definir parâmetros globais do Spark no nível do workspace para aplicá-los a todos os módulos do DataWorks e configurar se eles têm prioridade sobre os parâmetros de nível de módulo. Para mais informações, consulte Configurar parâmetros globais do Spark.

2. Na barra de ferramentas superior do editor de nós, clique em Run para executar a tarefa.

   Importante

   Antes de implantar o nó, sincronize os Serverlessspark Node Parameters da Run Configuration para a seção Serverlessspark Node Parameters nas Scheduling Settings.

Próximas etapas

• Configurar o agendamento do nó: Para executar um nó periodicamente, configure a Scheduling Policy no painel Scheduling Settings à direita.

• Publicar um nó: Para executar uma tarefa no ambiente de produção, clique no ícone para publicar o nó. A execução agendada ocorre somente após a publicação no ambiente de produção.

• O&M de tarefas: Após publicar a tarefa, monitore o status das execuções periódicas no Operation Center. Para mais informações, consulte Introdução ao Operation Center.