MaxCompute:Desenvolver uma tarefa do MaxCompute Spark

Visão geral

O Spark on MaxCompute é um serviço de computação do MaxCompute compatível com o Spark open source. Ele oferece um framework de computação Spark sobre recursos unificados e um sistema de permissões de conjuntos de dados. Isso permite submeter e executar tarefas Spark com métodos de desenvolvimento familiares, atendendo a diversas necessidades de processamento e análise de dados. No DataWorks, use um nó MaxCompute Spark para agendar e executar tarefas do Spark on MaxCompute e integrá-las a outras tarefas.

O Spark on MaxCompute suporta desenvolvimento em Java, Scala e Python, com execução de tarefas no modo local ou cluster. No DataWorks, as tarefas offline do Spark on MaxCompute executam no modo cluster. Para obter mais informações sobre os modos de execução, consulte Modos de execução.

Limites

Se ocorrer um erro ao enviar um nó ODPS Spark que utiliza a versão Spark 3.X, adquira um grupo de recursos serverless. Para mais detalhes, consulte Criar e usar um grupo de recursos serverless.

Preparações

Use um nó MaxCompute Spark para executar uma tarefa offline do Spark on MaxCompute em Java/Scala ou Python. As etapas de desenvolvimento e configuração variam conforme a linguagem. Escolha a linguagem adequada aos seus requisitos de negócio.

Descrição dos parâmetros

O DataWorks executa tarefas offline do Spark on MaxCompute no modo cluster. Nesse modo, especifique o ponto de entrada da aplicação personalizada no método main. A tarefa Spark termina quando o método main finaliza a execução, retornando o status Success ou Fail. Além disso, adicione individualmente as configurações do arquivo spark-defaults.conf aos itens de configuração do nó MaxCompute Spark. Exemplos incluem o número de instâncias de executor, tamanho de memória e a configuração spark.hadoop.odps.runtime.end.point.

Exemplo simples de edição de código

Esta seção apresenta um exemplo simples de como usar um nó ODPS Spark para desenvolver uma tarefa Spark on MaxCompute. Neste exemplo, uma tarefa Spark on MaxCompute verifica se uma string pode ser convertida em dígitos.

1. Crie um recurso.

   1. Na página DataStudio, crie um novo recurso Python com o nome spark_is_number.py. Para mais informações, consulte Criar e usar recursos do MaxCompute. Use o seguinte código:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Salve e envie o recurso.

2. No nó ODPS Spark criado, configure os parâmetros e as propriedades de agendamento da tarefa MaxCompute Spark consultando a seção Descrição dos parâmetros deste tópico. Em seguida, salve e envie o nó.

   Parâmetro	Descrição
   Spark Version	Selecione Spark2.x.
   Language	Selecione Python.
   Main Python Resource	O recurso Python spark_is_number.py criado.

3. Acesse o Operation Center no ambiente de desenvolvimento para realizar backfill de dados no nó ODPS Spark. Para mais informações, consulte Backfill de dados e visualização de instâncias de backfill (nova versão).

   Nota

   O DataWorks não fornece pontos de entrada para executar nós ODPS Spark diretamente no DataStudio. Execute os nós ODPS Spark no Operation Center do ambiente de desenvolvimento.

4. Visualize o resultado.

   Após a execução bem-sucedida da instância de backfill de dados, clique em tracking URL nos logs de execução gerados para visualizar o resultado. As seguintes informações serão retornadas:

   False
   True
   True
   True
   True

Exemplos avançados de edição de código

Para obter mais informações sobre o desenvolvimento de tarefas Spark on MaxCompute em outros cenários, consulte os seguintes tópicos:

• Exemplos do Spark 1.x para Java ou Scala

• Exemplos do Spark 2.x para Java ou Scala

• Desenvolver uma aplicação Spark on MaxCompute usando PySpark

• Acessar instâncias em uma VPC a partir do Spark on MaxCompute

• Acessar o OSS a partir do Spark on MaxCompute

Próximos passos

Após concluir o desenvolvimento da tarefa Spark on MaxCompute, execute as seguintes operações:

• Configuração de agendamento: Defina propriedades de agendamento periódico, como configurações de reexecução e dependências para tarefas regulares. Visão geral da configuração de agendamento de tarefas.

• Depuração de tarefas: Teste e execute o código do nó para validar sua lógica. Processo de depuração de tarefas.

• Implantação de tarefas: Implante os nós para executá-los periodicamente com base nas configurações de agendamento. Implantar tarefas.

• Habilitar o diagnóstico de tarefas Spark pelo sistema: O MaxCompute oferece a ferramenta Logview e a Spark Web UI. Consulte os logs das tarefas Spark para verificar se elas foram submetidas e executadas conforme o esperado.