DataWorks:Nó Lindorm Spark SQL

Contexto

Lindorm é um service de computação distribuída construído sobre uma arquitetura cloud nativa. Ele oferece suporte a modelos de computação da edição da comunidade, é compatível com interfaces Spark e possui integração profunda com o mecanismo de armazenamento Lindorm. Ao aproveitar os recursos de armazenamento de dados subjacentes e as capacidades de indexação, ele conclui jobs distribuídos com eficiência. É ideal para cenários como processamento massivo de dados, análise interativa, aprendizado de máquina e computação em grafos.

Pré-requisitos

• (Opcional, obrigatório para usuários RAM) O usuário RAM responsável pelo desenvolvimento de tarefas deve ser adicionado ao workspace de destino e receber a função Development ou Workspace Administrator (atribua com cautela devido às permissões extensas). Para obter detalhes sobre como adicionar membros, consulte Add members to a workspace.

  Nota

  Se você utiliza uma conta Alibaba Cloud, ignore esta etapa.

• Uma instância Lindorm já deve estar criada e associada ao workspace do DataWorks. Para mais detalhes, consulte Associate a Lindorm computing resource.

Crie um nó Lindorm Spark SQL

Para instruções sobre como crie um nó, consulte Create a Lindorm Spark SQL node.

Desenvolva um nó Lindorm Spark SQL

Ao escrever o código da tarefa no editor SQL, você pode definir variáveis no formato ${variable_name} e atribuir valores a elas no painel Run Configuration ou Scheduling Settings no lado direito da página de edição do nó. Veja o exemplo a seguir.

CREATE TABLE IF NOT EXISTS lindorm_table_job (
  id INT,
  name STRING,
  data STRING
)
USING parquet
PARTITIONED BY (partition_date DATE);

INSERT OVERWRITE TABLE lindorm_table_job PARTITION (partition_date='${var}')
VALUES (1, 'Alice', 'Sample data 1'), (2, 'Bob', 'Sample data 2');

Para mais informações sobre operações do Lindorm Spark SQL, consulte SQL reference.

Depure um nó Lindorm Spark SQL

1. Configure as propriedades de depuração.

   No painel Run Configuration no lado direito do nó, configure os campos Compute Resource, Lindorm Resource Group e Resource Group. Os parâmetros estão descritos a seguir.

   Parâmetro	Descrição
   Compute Resource	Selecione o recurso de computação Lindorm que você associou.
   Lindorm Resource Group	Selecione o grupo de recursos Lindorm especificado durante a associação do recurso de computação Lindorm.
   Resource Group	Escolha um grupo de recursos que tenha passado no teste de conectividade durante a associação do recurso de computação Lindorm Spark.
   Parâmetros de script	Ao configurar o conteúdo do nó, defina variáveis no formato ${parameter_name}. Em Script Parameters, configure o Parameter name e o Parameter Value. Durante a execução da tarefa, as variáveis são substituídas dinamicamente pelos valores reais. Para mais detalhes, consulte Scheduling parameter sources and expressions.
   Spark parameter	Parâmetros de tempo de execução do programa Spark. Para mais configurações de propriedades do Spark, consulte Job configurations.

2. Depure e execute o nó.

   Para execute a tarefa do nó, clique em Save e, em seguida, execute o nó clicando em Run.

Próximas etapas

• Configure node scheduling: Se os nós no diretório do projeto precisam ser agendados e executados periodicamente, configure a Scheduling Policy no painel Scheduling Settings no lado direito do nó para defina as propriedades de agendamento relacionadas.

• Deploy a node: Se a tarefa precisa ser implantada no ambiente de produção para execução, clique em no ícone na página para iniciar o processo de implantação e implantar a tarefa no ambiente de produção. Os nós no diretório do projeto só são agendados periodicamente após a implantação no ambiente de produção.

• Data Map (Lindorm table data): Acesse o Data Map para coletar informações de metadados do Lindorm.