MaxCompute:Desenvolver uma tarefa do MaxCompute Spark

Visão geral

O Spark on MaxCompute é um service de computação do MaxCompute compatível com o Spark open-source. Ele oferece um framework de computação Spark sobre recursos de computação unificados e um sistema de permissões de conjuntos de dados. No DataWorks, utilize um nó MaxCompute Spark para agendar e executar tarefas do Spark on MaxCompute, além de integrá-las a outras tarefas.

O Spark on MaxCompute suporta desenvolvimento em Java, Scala e Python, permitindo a execução de tarefas no modo local ou no modo cluster. No DataWorks, as tarefas offline do Spark on MaxCompute são executadas no modo cluster. Para obter mais informações sobre os modos de execução, consulte Run modes.

Limites

Caso ocorra um erro ao enviar um nó ODPS Spark que utiliza a versão Spark 3.X, adquira um grupo de recursos serverless. Para mais detalhes, consulte Create and use a serverless resource group.

Preparações

Um nó MaxCompute Spark suporta Java/Scala e Python. As etapas de desenvolvimento e o processo de configuração variam conforme a linguagem escolhida.

Descrição dos parâmetros

O DataWorks executa tarefas offline do Spark on MaxCompute no modo cluster. Especifique o ponto de entrada da aplicação no método main. A tarefa termina quando a execução do método main é concluída, resultando em um status de Success ou Fail. Adicione também cada configuração do arquivo spark-defaults.conf individualmente ao nó MaxCompute Spark, como o número de instâncias de executor, o tamanho da memória e a configuração spark.hadoop.odps.runtime.end.point.

Exemplo simples de edição de código

O exemplo a seguir utiliza um nó ODPS Spark para desenvolver uma tarefa Spark on MaxCompute. Neste exemplo, a tarefa verifica se uma string pode ser convertida em dígitos.

1. Crie um recurso.

   1. Na página DataStudio, crie um novo recurso Python com o nome spark_is_number.py. Para mais informações, consulte Create and use MaxCompute resources. Utilize o seguinte código:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Salve e envie o recurso.

2. No nó ODPS Spark criado, configure os parâmetros e as propriedades de agendamento da tarefa MaxCompute Spark consultando a seção Descriptions of parameters deste tópico. Em seguida, salve e envie o nó.

   Parâmetro	Descrição
   Spark Version	Selecione Spark2.x.
   Language	Selecione Python.
   Main Python Resource	O recurso Python spark_is_number.py que você criou.

3. Acesse o Operation Center no ambiente de desenvolvimento para realizar o backfill de dados do nó ODPS Spark. Para mais informações, consulte Backfill data and view data backfill instances (new version).

   Nota

   O DataWorks não fornece pontos de entrada para executar nós ODPS Spark diretamente no DataStudio. Execute os nós ODPS Spark no Operation Center do ambiente de desenvolvimento.

4. Visualize o resultado.

   Após a execução bem-sucedida da instância de backfill de dados, clique em tracking URL nos logs de execução gerados para visualizar o resultado. As seguintes informações serão retornadas:

   False
   True
   True
   True
   True

Exemplos avançados de edição de código

Para desenvolvimento com Spark on MaxCompute em outros cenários, consulte os seguintes tópicos:

• Spark 1.x examples for Java or Scala

• Spark 2.x examples for Java or Scala

• Develop a Spark on MaxCompute application by using PySpark

• Access instances in a VPC from Spark on MaxCompute

• Access OSS from Spark on MaxCompute

Próximos passos

Após desenvolver a tarefa Spark on MaxCompute, realize as operações abaixo:

• Configuração de agendamento: Defina propriedades de agendamento periódico, como configurações de reexecução e dependências para tarefas regulares. Overview of task scheduling configuration.

• Depuração de tarefas: Teste e execute o código do nó para validar sua lógica. Task debugging process.

• Implantação de tarefas: Implante os nós para executá-los periodicamente com base nas configurações de agendamento. Deploy tasks.

• Enable the system to diagnose Spark tasks: O MaxCompute oferece a ferramenta Logview e a Spark Web UI. Consulte os logs das tarefas Spark para verificar se foram enviadas e executadas conforme o esperado.