DataWorks:Desenvolver uma tarefa do MaxCompute Spark

Visão geral

O Spark on MaxCompute é um service de computação do MaxCompute compatível com o Spark de open source. Ele fornece uma estrutura de computação Spark sobre recursos de computação unificados e um sistema de permissões de conjuntos de dados. No DataWorks, você pode usar um nó do MaxCompute Spark para agendar e executar tarefas do Spark on MaxCompute e integrá-las a outras tarefas.

O Spark on MaxCompute oferece suporte ao desenvolvimento em Java, Scala e Python, e executa tarefas no modo local ou no modo cluster. No DataWorks, as tarefas offline do Spark on MaxCompute são executadas no modo cluster. Para obter mais informações sobre os modos de execução, consulte modos de execução.

Limites

Se um erro for relatado ao enviar um nó ODPS Spark que usa a versão Spark 3.X, adquira um grupo de recursos serverless. Para obter mais informações, consulte crie e use um grupo de recursos serverless.

Preparativos

Um nó do MaxCompute Spark oferece suporte a Java/Scala e Python. As etapas de desenvolvimento e o processo de configuração diferem para cada linguagem.

Descrições dos parâmetros

O DataWorks executa tarefas offline do Spark on MaxCompute no modo cluster. Especifique o ponto de entrada do seu aplicativo no método main. A tarefa termina quando a execução do método main é concluída, com um status de Success ou Fail. Adicione também cada configuração do arquivo spark-defaults.conf individualmente ao nó do MaxCompute Spark, como o número de instâncias de executor, o tamanho da memória e a configuração spark.hadoop.odps.runtime.end.point.

Exemplo simples de edição de código

O exemplo a seguir usa um nó ODPS Spark para desenvolver uma tarefa do Spark on MaxCompute. Neste exemplo, a tarefa determina se uma string pode ser convertida em dígitos.

1. Crie um recurso.

   1. Na página DataStudio, crie um novo recurso Python e nomeie-o como spark_is_number.py. Para obter mais informações, consulte crie e use recursos do MaxCompute. Use o seguinte código:

      # -*- coding: utf-8 -*-
      import sys
      from pyspark.sql import SparkSession
      try:
          # for python 2
          reload(sys)
          sys.setdefaultencoding('utf8')
      except:
          # python 3 not needed
          pass
      if __name__ == '__main__':
          spark = SparkSession.builder\
              .appName("spark sql")\
              .config("spark.sql.broadcastTimeout", 20 * 60)\
              .config("spark.sql.crossJoin.enabled", True)\
              .config("odps.exec.dynamic.partition.mode", "nonstrict")\
              .config("spark.sql.catalogImplementation", "odps")\
              .getOrCreate()
      def is_number(s):
          try:
              float(s)
              return True
          except ValueError:
              pass
          try:
              import unicodedata
              unicodedata.numeric(s)
              return True
          except (TypeError, ValueError):
              pass
          return False
      print(is_number('foo'))
      print(is_number('1'))
      print(is_number('1.3'))
      print(is_number('-1.37'))
      print(is_number('1e3'))

   2. Salve e envie o recurso.

2. No nó ODPS Spark criado, configure os parâmetros e as propriedades de agendamento para a tarefa do MaxCompute Spark consultando a seção Descrições dos parâmetros neste tópico, e salve e envie o nó.

   Parâmetro	Descrição
   Spark Version	Selecione Spark2.x.
   Language	Selecione Python.
   Main Python Resource	O recurso Python spark_is_number.py que você criou.

3. Acesse o Operation Center no ambiente de desenvolvimento para fazer o backfill de dados do nó ODPS Spark. Para obter mais informações, consulte Faça o backfill de dados e visualize instâncias de backfill de dados (nova versão).

   Nota

   O DataWorks não fornece pontos de entrada para executar nós ODPS Spark no DataStudio. Execute os nós ODPS Spark no Operation Center no ambiente de desenvolvimento.

4. visualize o resultado.

   Após a execução bem-sucedida da instância de backfill de dados, clique em tracking URL nos logs de execução gerados para visualizar o resultado. As seguintes informações são retornadas:

   False
   True
   True
   True
   True

Exemplos avançados de edição de código

Para o desenvolvimento do Spark on MaxCompute em outros cenários, consulte os seguintes tópicos:

• exemplos Spark 1.x para Java ou Scala

• exemplos Spark 2.x para Java ou Scala

• Desenvolva um aplicativo Spark on MaxCompute usando PySpark

• Acesse instâncias em uma VPC do Spark on MaxCompute

• Acesse o OSS do Spark on MaxCompute

Próximos passos

Após desenvolver a tarefa do Spark on MaxCompute, você pode realizar as seguintes operações:

• Configuração de agendamento: Configure propriedades de agendamento periódico, como configurações de nova execução e dependências para tarefas executadas regularmente. Visão geral da configuração de agendamento de tarefas.

• Depuração de tarefas: Teste e execute o código do nó e verifique sua lógica. Processo de depuração de tarefas.

• Implantação de tarefas: Implante nós para executá-los periodicamente com base em suas configurações de agendamento. Implante tarefas.

• ative o sistema para diagnosticar tarefas do Spark: O MaxCompute fornece a ferramenta Logview e a Spark Web UI. visualize os logs das tarefas Spark e verifique se as tarefas são enviadas e executadas conforme o esperado.