DataWorks:Nó Lindorm Spark SQL

Contexto

O Lindorm é um serviço de computação distribuída baseado em arquitetura cloud-native. Ele suporta modelos de computação da edição comunitária, é compatível com interfaces Spark e integra-se profundamente ao mecanismo de armazenamento do Lindorm. Ao aproveitar os recursos subjacentes de armazenamento de dados e as capacidades de indexação, executa jobs distribuídos com eficiência. É ideal para cenários como processamento massivo de dados, análise interativa, machine learning e computação em grafos.

Pré-requisitos

• (Opcional, obrigatório para usuários RAM) Adicione o usuário RAM que realiza o desenvolvimento da tarefa ao workspace de destino e atribua a ele a função Development ou Workspace Administrator (atribua com cautela devido às permissões amplas). Para obter detalhes sobre como adicionar membros, consulte Adicionar membros a um workspace.

  Nota

  Se você utiliza uma conta Alibaba Cloud, ignore esta etapa.

• Crie uma instância do Lindorm e associe-a ao workspace do DataWorks. Para mais detalhes, consulte Associar um recurso de computação do Lindorm.

Criar um nó Lindorm Spark SQL

Para obter instruções sobre como criar um nó, consulte Criar um nó Lindorm Spark SQL.

Desenvolver um nó Lindorm Spark SQL

Ao escrever o código da tarefa no editor SQL, defina variáveis no formato ${variable_name} e atribua valores a elas no painel Run Configuration ou Scheduling Settings, localizado no lado direito da página de edição do nó. Veja um exemplo abaixo.

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Para mais informações sobre operações do Lindorm Spark SQL, consulte Referência de SQL.

Depurar um nó Lindorm Spark SQL

1. Configure as propriedades de depuração.

   No painel Run Configuration, à direita do nó, configure o Compute Resource, o Lindorm Resource Group e o Resource Group. Os parâmetros são descritos a seguir.

   Parâmetro	Descrição
   Compute Resource	Selecione o recurso de computação do Lindorm associado.
   Lindorm Resource Group	Escolha o grupo de recursos do Lindorm especificado durante a associação do recurso de computação do Lindorm.
   Resource Group	Indique um grupo de recursos aprovado no teste de conectividade durante a associação do recurso de computação do Lindorm Spark.
   Script parameters	Ao configurar o conteúdo do nó, defina variáveis no formato ${parameter_name}. Em Script Parameters, configure o Parameter name e o Parameter Value. Durante a execução da tarefa, as variáveis são substituídas dinamicamente pelos seus valores reais. Para mais detalhes, consulte Fontes e expressões de parâmetros de agendamento.
   Spark parameter	Parâmetros de tempo de execução para o programa Spark. Para mais configurações de propriedades do Spark, consulte Configurar parâmetros para jobs.

2. Depure e execute o nó.

   Para executar a tarefa do nó, clique em Save e, em seguida, clique em Run.

Próximas etapas

• Configurar o agendamento do nó: Caso os nós no diretório do projeto precisem ser agendados e executados periodicamente, configure a Scheduling Policy no painel Scheduling Settings, à direita do nó, para definir as propriedades de agendamento relacionadas.

• Implantar um nó: Se a tarefa precisar ser implantada no ambiente de produção para execução, clique no ícone na página para iniciar o processo de implantação e enviar a tarefa ao ambiente de produção. Os nós no diretório do projeto são agendados periodicamente somente após a implantação no ambiente de produção.

• Data Map (dados de tabela do Lindorm): Acesse o Data Map para coletar informações de metadados do Lindorm.