Lindorm computing resource - DataWorks: Central de Documentação do Alibaba Cloud

Para desenvolver e gerenciar tarefas do Lindorm no DataWorks, associe sua instância do Lindorm como recurso de computação. Em seguida, use esse recurso para operações como sincronização e desenvolvimento de dados.

Contexto

O Lindorm é um serviço de computação distribuída baseado em arquitetura cloud-native. Ele oferece suporte a modelos de computação da edição comunitária, é compatível com interfaces Spark e integra-se profundamente ao mecanismo de armazenamento do Lindorm. Ao aproveitar os recursos subjacentes de armazenamento de dados e as capacidades de indexação, o Lindorm executa jobs distribuídos com eficiência. Isso o torna ideal para cenários como processamento massivo de dados, análise interativa, machine learning e computação em grafos.

Pré-requisitos

Você já criou um workspace.

Importante
Este recurso está disponível apenas em workspaces onde a opção Use Data Studio (New Version) está ativada.
Você já criou uma instância do Lindorm que atende às seguintes condições:
- O compute engine está habilitado para a instância do Lindorm.
- A instância do Lindorm e o workspace do DataWorks estão na mesma região.
Você já usou um grupo de recursos Serverless e o vinculou ao workspace do DataWorks de destino.

Associar um recurso de computação do Lindorm****

Limitações

Regiões suportadas: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japão (Tóquio), Singapura, Malásia (Kuala Lumpur) e Indonésia (Jacarta).
Restrições de permissão:
- Apenas grupos de recursos Serverless do DataWorks podem executar tarefas do Lindorm.
- Somente membros com a função O&M ou Workspace Administrator, ou com a permissão AliyunDataWorksFullAccess, podem criar recursos de computação. Para mais detalhes sobre funções e permissões de membros, consulte Adicionar membros ao workspace e gerenciar suas funções e permissões.

Acessar a página de recursos de computação

Acesse a página DataWorks Workspaces. Na barra de navegação superior, alterne para a região desejada e localize o workspace onde pretende criar o recurso de computação. Clique em nome do workspace ou em Details na coluna Operation para abrir a página de detalhes do workspace.
No painel de navegação à esquerda, clique em Computing Resources e selecione o tipo de recurso de computação necessário para acessar sua página de lista.

Associar um recurso de computação do Lindorm

Na página de recursos de computação, configure e associe um recurso de computação do Lindorm conforme descrito na tabela a seguir.

Acesse a página de associação do Lindorm.
1. Clique em Associate Computing Resources para acessar a página Associate Computing Resources.
2. Na página Associate Computing Resources, selecione Lindorm como tipo de recurso de computação. A página de configuração Associate Lindorm Computing Resource será exibida.

Configure o recurso de computação do Lindorm.

Na página Associate Lindorm Computing Resource, defina os parâmetros conforme a tabela abaixo.

Seção	Parâmetro	Descrição
Basic Information	Configuration Mode	Apenas o Alibaba Cloud Instance Mode é suportado.
	Instance	Selecione a instância do Lindorm para associar ao DataWorks. Esta lista suspensa exibe todas as instâncias do Lindorm na região atual.
	Database Name	Escolha o banco de dados ao qual o DataWorks se conectará por padrão ao usar este recurso de computação do Lindorm. O banco de dados padrão é `default`.
	Username/Password	Insira o nome de usuário e a senha para que o DataWorks acesse este recurso de computação do Lindorm. Você encontra essas credenciais no console do Lindorm. Localize sua instância do Lindorm, clique em Instance Name e acesse Database Connection no painel de navegação à esquerda para obter o nome de usuário e a senha.
	Username/Password
	Computing Resource Instance Name	Defina um nome personalizado para a instância do recurso de computação. Durante a execução, as tarefas usam esse nome para selecionar o recurso.
Connection Configuration	Connected state	Na seção de configuração de conexão, selecione o grupo de recursos Serverless para executar tarefas do Lindorm. Clique em Test Connectivity para garantir que o grupo de recursos consiga acessar sua instância do Lindorm. Para mais informações, consulte Visão geral das soluções de conectividade de rede.

Clique em Confirm para concluir a configuração do recurso de computação do Lindorm.

(Opcional) Configurar parâmetros globais do Spark

No DataWorks, é possível especificar parâmetros do Spark no nível do workspace para módulos como Data Studio, DataAnalysis e Operation Center. Esses módulos passam a usar os parâmetros definidos por padrão na execução de tarefas. Para detalhes sobre a personalização de parâmetros globais do Spark e sua precedência sobre parâmetros locais configurados em um módulo específico, consulte Definir parâmetros globais do Spark.

Contexto

O Apache Spark é um motor para análise de dados em grande escala. No DataWorks, você configura os parâmetros do Spark usados pelos nós de agendamento durante a execução das seguintes formas:

Método 1: Configure parâmetros globais do Spark para definir as configurações no nível do workspace usadas por um módulo do DataWorks ao executar tarefas do Lindorm. Também é possível determinar se essa configuração global tem precedência sobre as configurações específicas do módulo. Para mais informações, consulte Configurar parâmetros globais do Spark.

Método 2: No Data Studio, defina propriedades específicas do Spark para um nó diretamente em sua página de edição. Atualmente, outros módulos do produto não oferecem suporte à definição interna de propriedades do Spark.

Controle de acesso

Apenas usuários com as seguintes funções podem configurar parâmetros globais do Spark:

Conta Alibaba Cloud.
Usuário RAM ou função RAM com a permissão AliyunDataWorksFullAccess.
Usuário RAM com a função Workspace Administrator.

Visualizar parâmetros globais do Spark

Acesse a página de recursos de computação e localize o recurso de computação do Lindorm associado.
Clique em Spark parameters para abrir o painel de configuração e visualizar os parâmetros globais do Spark.

Configurar parâmetros globais do Spark

Siga as etapas abaixo para configurar os parâmetros globais do Spark. Para definir parâmetros específicos para o recurso de computação do Lindorm, consulte Configuração de job.

Acesse a página de recursos de computação e localize o recurso de computação do Lindorm associado.
Clique em Spark parameters para abrir o painel de configuração e visualizar os parâmetros globais do Spark.

Defina os parâmetros globais do Spark.

No canto superior direito da página Spark parameters, clique em Edit Spark parameters para configurar os parâmetros globais e sua precedência para cada módulo.

Nota

Esta é uma configuração global no nível do workspace. Antes de prosseguir, certifique-se de estar no workspace correto.

Parâmetro

Etapas

Spark property

Configure as propriedades do Spark que os módulos usam ao executar tarefas do Lindorm. Para mais informações, consulte Configuração de job.

Clique em Add abaixo e insira um Spark Property Name e seu respectivo Spark Property Value.

Nota

Para habilitar a linhagem de dados e a coleta de informações de saída, configure o seguinte:

Defina o Spark Property Name como spark.sql.queryExecutionListeners.
Defina o Spark Property Value como com.aliyun.dataworks.meta.lineage.LineageListener.

Para mais configurações de propriedades do Spark, consulte Configuração de job.

Global Settings Take Precedence

Ao selecionar esta opção, a configuração global prevalece sobre as definições feitas dentro dos módulos do produto. As tarefas usam consistentemente as propriedades globais do Spark.

Configuração global: Refere-se às propriedades do Spark configuradas na página Spark parameters para o recurso de computação do Lindorm em Management Center > Computing Resources.
Atualmente, os parâmetros globais do Spark podem ser definidos apenas para os módulos Data Studio e Operation Center.
Configuração no nível do módulo:
- Data Studio: Para nós Lindorm Spark e Lindorm Spark SQL, configure propriedades do Spark para um nó específico na página de edição do nó ou na seção Configuration Items.
- Outros módulos do produto: Atualmente não oferecem suporte à definição de propriedades do Spark internamente.

Clique em Confirm para salvar seus parâmetros globais do Spark.

Próximas etapas

Após configurar o recurso de computação do Lindorm, use-o para desenvolver tarefas de nó no Data Studio. Para mais informações, consulte Nó Lindorm Spark e Nó Lindorm Spark SQL.
Ao configurar parâmetros globais do Spark, ative a linhagem de dados e a coleta de informações de saída para o Lindorm. Depois de criar e executar um coletor de metadados, use o Data Map para visualizar e gerenciar metadados do Lindorm.