AnalyticDB:Editor Spark

Pré-requisitos

Antes de começar, verifique se você tem:

• Um cluster do AnalyticDB for MySQL Data Lakehouse Edition Data Lakehouse Edition

• Um grupo de recursos de job criado para o cluster. Consulte Data Lakehouse EditionCriar um grupo de recursos

• Permissões necessárias concedidas ao seu usuário do Resource Access Management (RAM). Consulte a seção "Conceder permissões a um usuário RAM" em Gerenciar usuários e permissões do RAM

• Uma conta de banco de dados para o cluster:

  • Conta Alibaba Cloud: uma conta privilegiada. Consulte a seção "Criar uma conta privilegiada" em Criar uma conta de banco de dados

  • Usuário RAM: uma conta privilegiada e uma conta padrão, com a conta padrão associada ao usuário RAM. Consulte Criar uma conta de banco de dados e Associar ou desassociar uma conta de banco de dados a/de um usuário RAM

• Autorização para o AnalyticDB for MySQL assumir a função AliyunADBSparkProcessingDataRole. Consulte Realizar autorização

• Um caminho de armazenamento de log configurado para aplicações Spark

Para configurar o caminho de armazenamento de log: Faça login no console do AnalyticDB for MySQL. Localize o cluster e clique em ID dele. No painel de navegação à esquerda, escolha Job Development > Spark JAR Development e clique em Log Settings. Selecione o caminho padrão ou insira um caminho personalizado. O caminho personalizado não pode ser o diretório raiz do OSS e deve incluir pelo menos um nível de pasta.

Criar e executar uma aplicação Spark

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo, selecione uma região. No painel de navegação à esquerda, clique em ClustersData Lakehouse Edition. Na aba Data Lakehouse Edition, localize o cluster e clique em ID dele.

2. No painel de navegação à esquerda, escolha Job Development > Spark JAR Development.

3. Na página Spark JAR Development, clique em ícone à direita de Applications.

4. No painel Create Application, configure os seguintes parâmetros.

   Parâmetro	Descrição
   Name	Nome da aplicação ou do diretório. Os nomes de arquivo não diferenciam maiúsculas de minúsculas.
   Type	Application: cria um modelo Spark baseado em arquivo. Directory: cria uma pasta para organizar aplicações.
   Parent Level	Diretório pai do arquivo ou da pasta.
   Job Type	Tipo de job Spark: Batch para processamento em lote, Streaming para aplicações de streaming ou SQL Engine para cargas de trabalho do mecanismo SQL distribuído do Spark.

5. Clique em OK.

6. Configure a aplicação no editor Spark. Para obter detalhes sobre a configuração, consulte Visão geral.

7. Antes de executar a aplicação, selecione um grupo de recursos de job e um tipo de aplicação no editor. Em seguida, escolha uma das seguintes ações:

   • Clique em Save para salvar a aplicação e usá-la posteriormente.

   • Clique em Run Now para executar a aplicação imediatamente. O status é atualizado em tempo real na aba Applications.

   Nota

   Por padrão, o sistema não tenta executar novamente após uma falha. Para configurar o comportamento de nova tentativa, defina os parâmetros spark.adb.maxAttempts e spark.adb.attemptFailuresValidityInterval antes da execução. Para mais detalhes, consulte Parâmetros de configuração de aplicação Spark.

Monitorar uma aplicação Spark

Na aba Applications, pesquise uma aplicação pelo ID dela. Use as ações na coluna Actions conforme a necessidade de investigação.

Para visualizar o histórico de novas tentativas de todas as aplicações, clique em aba Execution History.