Nó CDH Spark - DataWorks: Central de Documentação do Alibaba Cloud

O Spark é um motor de análise de big data de propósito geral, conhecido por seu alto desempenho, facilidade de uso e ampla aplicabilidade. Ele oferece suporte a análises complexas na memória e a grandes aplicativos de análise com baixa latência. O DataWorks fornece nós CDH Spark para que você possa desenvolver tarefas do Spark e agendá-las periodicamente no DataWorks. Este tópico descreve como configurar e usar um nó CDH Spark.

Pré-requisitos

Você criou um cluster CDH da Alibaba Cloud e o associou a um espaço de trabalho do DataWorks. Para mais informações, consulte Associate a CDH compute engine.

Importante
O Spark está instalado no cluster CDH e você configurou as informações do Spark ao vincular o cluster.
(Opcional, para usuários do RAM) Você adicionou o usuário do RAM para desenvolvimento de tarefas ao espaço de trabalho correspondente e atribuiu a ele a função Development ou Workspace Administrator. A função de Workspace Administrator possui permissões amplas, portanto, conceda-a com cautela. Para mais informações sobre como adicionar membros, consulte Add members to a workspace.

Nota
Se você usar uma conta da Alibaba Cloud, poderá pular esta etapa.
Você configurou uma fonte de dados do Hive no DataWorks e verificou se ela passou no teste de conectividade. Para mais informações, consulte Manage data sources.

Preparação: Desenvolva uma tarefa do Spark e obtenha seu pacote JAR

Antes de agendar uma tarefa CDH Spark com o DataWorks, desenvolva e compile o código da tarefa do Spark no CDH para gerar um pacote JAR. Para obter instruções sobre o desenvolvimento de tarefas CDH Spark, consulte Overview.

Crie um recurso JAR do CDH

Faça o upload do pacote JAR da tarefa para o DataWorks para que você possa agendar periodicamente a tarefa do Spark no CDH por meio do DataWorks.

Para obter detalhes, consulte Resource Management Configuration. Você pode fazer o upload do pacote JAR do seu computador local para o diretório que armazena os recursos JAR. Clique em Click Upload para fazer o upload do recurso JAR.
Selecione Storage Path, Data Sources e Resource Group.
Clique em Save para salvar.

Crie um nó

Para obter instruções, consulte Create a node.

Desenvolva o nó

Na página de edição do nó CDH Spark, execute as seguintes etapas de desenvolvimento.

Referencie um recurso JAR do CDH

Abra o nó CDH Spark criado e permaneça na página de edição de código.
Encontre o recurso a ser referenciado em Resource Management no painel de navegação à esquerda, clique com o botão direito do mouse nele e selecione Insert Resource Path.
Após referenciar o recurso, uma instrução no formato ##@resource_reference{""} aparecerá na página de edição de código do nó CDH Spark. Isso indica que você referenciou o recurso de código com sucesso. Em seguida, execute o seguinte comando. O pacote de recursos, o nome do bucket, o caminho e outros valores no comando são apenas exemplos. Substitua-os pelos seus valores reais.

##@resource_reference{"spark_examples_2.11_2.4.0.jar"}
spark_examples_2.11_2.4.0.jar

Edite o código do nó CDH Spark

Modifique o código do nó CDH Spark para incluir o comando Spark Submit. O exemplo a seguir mostra o código modificado:

Importante

O código do nó CDH Spark não oferece suporte a instruções de comentário. Reescreva o código da tarefa com base no exemplo a seguir. Não adicione comentários arbitrariamente, caso contrário, o nó falhará durante a execução.

##@resource_reference{"spark-examples_2.11-2.4.0.jar"}
spark-submit --class org.apache.spark.examples.SparkPi --master yarn  spark-examples_2.11-2.4.0.jar 100

Nota

org.apache.spark.examples.SparkPi: A classe principal da tarefa no pacote JAR que você compilou.
spark-examples_2.11-2.4.0.jar: O nome do recurso JAR do CDH que você enviou.

Depure o nó

Em Run Configuration > Compute Resource, configure Compute Resource e Resource Group.
1. Para o recurso de computação, selecione o nome do cluster CDH registrado no DataWorks.
2. Para o grupo de recursos, selecione um grupo de recursos de agendamento que tenha passado no teste de conectividade com a fonte de dados. Para obter detalhes, consulte Network connectivity solutions.
Nota
Você também pode ajustar as CUs for Scheduling com base nos recursos exigidos pela tarefa. A CU padrão é 0.5.
Na barra de ferramentas na parte superior da página de edição do nó, clique em Run para executar a tarefa.

Próximas etapas

Configure node scheduling: Se você precisar executar um nó periodicamente, configure sua Scheduling Policy no painel Scheduling Settings à direita.
Publish a node: Para executar uma tarefa no ambiente de produção, clique no ícone para publicar o nó. O DataWorks só executa um nó conforme o agendamento após você publicá-lo no ambiente de produção.
Operação e Manutenção de tarefas: Após a publicação de uma tarefa, monitore suas execuções periódicas no Operation Center. Para mais informações, consulte Get started with Operation Center.