DataWorks:Nó Serverless Kyuubi

Observações de uso

• Limitações de recursos de computação: Há suporte apenas para bound EMR Serverless Spark compute resources. Garanta que o grupo de recursos e o recurso de computação tenham comunicação via rede.

  Restrições de grupos de recursos: Somente Serverless resource groups podem executar este tipo de tarefa.

• (Opcional, para usuários RAM) Adicione o usuário do Resource Access Management (RAM) responsável pelo desenvolvimento da tarefa ao workspace e atribua a ele a função Development ou Workspace Administrator (esta função possui permissões amplas e deve ser concedida com cautela). Para mais informações, consulte Add workspace members.

  Se você estiver usando uma conta raiz, ignore esta etapa.

Crie um nó

Para obter instruções, consulte Create a node.

Desenvolver o nó

Escreva o código da tarefa no editor SQL. Defina variáveis com a sintaxe ${variable_name} e atribua valores na seção Scheduling Parameters das Scheduling Settings à direita. O sistema substitui as variáveis pelos valores atribuídos durante a execução. Para mais detalhes, consulte Scheduling parameter sources and expressions. Exemplo:

SHOW TABLES; SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Use with a scheduling parameter.

Uma instrução SQL não pode exceder 130 KB.

Depurar o nó

1. Na Run Configuration, configure parâmetros como Compute Resource e Resource Group.

   Parâmetro	Descrição
   Compute Resource	Selecione um recurso de computação EMR Serverless Spark vinculado. Primeiro, bind an EMR Serverless Spark compute resource. Se não houver recursos de computação disponíveis, selecione Create Compute Resource na lista suspensa para criar um.
   Resource Group	Selecione um grupo de recursos vinculado ao workspace.
   Script Parameters	Se definir variáveis com a sintaxe ${parameter_name} no conteúdo do nó, especifique o Parameter name e o Parameter Value na seção Script Parameters. O sistema substitui as variáveis pelos valores reais em tempo de execução. Para mais informações, consulte Scheduling parameter sources and expressions.
   ServerlessSpark Node Parameters	Parâmetros de propriedade Spark integrados. Para mais detalhes, consulte os parâmetros de propriedade Spark open source e EMR Serverless Spark configuration parameters. Formato de configuração: "spark.eventLog.enabled": false . Nota Defina parâmetros globais do Spark no nível do workspace para aplicá-los a todos os módulos do DataWorks e configure se eles têm prioridade sobre os parâmetros no nível do módulo. Para mais informações, consulte Configure global Spark parameters.

2. Na barra de ferramentas na parte superior do editor de nós, clique em Run para executar a tarefa.

   Importante

   Antes de implantar o nó, sincronize os Serverlessspark Node Parameters da Run Configuration para a seção Serverlessspark Node Parameters das Scheduling Settings.

Próximas etapas

• Configure node scheduling: Para executar um nó periodicamente, configure sua Scheduling Policy no painel Scheduling Settings à direita.

• Publish a node: Para executar uma tarefa no ambiente de produção, clique em para publicar o nó. Um nó só é executado conforme o agendamento após a publicação no ambiente de produção.

• O&M de tarefas: Após publicar a tarefa, monitore suas execuções periódicas no Operation Center. Para mais informações, consulte Get started with Operation Center.