DataWorks:Associar um recurso de computação do Lindorm

Limitações

• Regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur) e Indonesia (Jakarta).

• Permissões:

  • É necessário utilizar um grupo de recursos Serverless do DataWorks para executar tarefas do Lindorm no DataWorks.

  • Somente membros do workspace com a função O&M ou Workspace Administrator, ou aqueles com a permissão AliyunDataWorksFullAccess, podem criar recursos de computação. Para visualizar as funções dos membros ou conceder permissões, consulte Add workspace members and manage member roles and permissions.

Acessar a página Computing Resources

1. Acesse a página DataWorks Workspaces. Na barra de navegação superior, selecione a região de destino e localize o workspace onde deseja criar um recurso de computação. Clique em nome do workspace ou em Details na coluna Operation para acessar a página de detalhes do workspace.

2. No painel de navegação à esquerda, clique em Computing Resources.

Associar um recurso de computação do Lindorm

Na página Computing Resources, configure os parâmetros para associar o recurso de computação do Lindorm.

1. Selecione o tipo de recurso de computação a ser associado.

   1. Clique em Associate Computing Resources para abrir a página Associate Computing Resources.

   2. Na página Associate Computing Resources, selecione Lindorm como o tipo de recurso de computação para acessar a página de configuração Bind Lindorm Computing Resource.

2. Configure o recurso de computação do Lindorm.

   Na página Associate Lindorm Computing Resource, defina os seguintes parâmetros.

   Seção	Parâmetro	Descrição
   Basic Information	Configuration Mode	Há suporte apenas para ApsaraDB for RDS.
   	Instance	Selecione a instância do Lindorm para associar ao DataWorks. A lista suspensa exibe as instâncias do Lindorm disponíveis na região atual.
   	Database Name	Escolha o banco de dados padrão para este recurso de computação. O DataWorks se conecta a este banco de dados durante a execução das tarefas. O valor padrão é default.
   	Username/Password	Insira o nome de usuário e a senha para que o DataWorks faça a autenticação neste recurso de computação do Lindorm. Para obter as credenciais, acesse o console do Lindorm, clique em Instance Name e localize as credenciais na seção Database Connection do painel de navegação à esquerda.
   	Computing Resource Instance Name	Utilize este nome para identificar e selecionar o recurso ao configurar tarefas.
   Connection Configuration	Connected state	Na seção de configuração de conexão, selecione o grupo de recursos Serverless que o DataWorks usará para executar tarefas do Lindorm e clique em Test Connectivity para verificar se o grupo de recursos consegue acessar sua instância do Lindorm. Para mais informações, consulte Network connectivity solutions.

3. Clique em Confirm para concluir a configuração do recurso de computação do Lindorm.

Contexto

No DataWorks, você pode configurar os parâmetros do Spark que os nós de agendamento usam em tempo de execução das seguintes maneiras:

Método 1: Configure parâmetros globais do Spark no nível do workspace para controlar as configurações do Spark que cada módulo do DataWorks usa nas tarefas do Lindorm. Também é possível definir se os parâmetros globais têm precedência sobre os específicos do módulo. Para mais informações, consulte Configure global Spark parameters.

Método 2: No Data Studio, defina propriedades do Spark para tarefas individuais de nó na página de edição do nó. Outros módulos não oferecem suporte à configuração de propriedades do Spark por tarefa.

Controle de acesso

Apenas as seguintes funções podem configurar parâmetros globais do Spark:

• Conta Alibaba Cloud.

• Usuário RAM ou função RAM com a permissão AliyunDataWorksFullAccess.

• Usuário RAM com a função Workspace Administrator.

Visualizar parâmetros globais do Spark****

1. Acesse a página Computing Resources e localize seu recurso de computação do Lindorm associado.

2. Clique em Spark Parameters para abrir o painel de configuração de parâmetros do Spark.

Configurar parâmetros globais do Spark

Siga estas etapas para configurar os parâmetros globais do Spark. Para detalhes sobre parâmetros específicos, consulte Job configuration.

1. Acesse a página Computing Resources e localize seu recurso de computação do Lindorm associado.

2. Clique em Spark Parameters para abrir o painel de configuração de parâmetros do Spark.

3. Defina os parâmetros globais do Spark.

   Clique em Edit Spark Parameters no canto superior direito do painel Spark Parameters para configurar os parâmetros globais do Spark e as prioridades de cada módulo.

   Nota

   Esta é uma configuração no nível do workspace. Certifique-se de estar no workspace correto antes de prosseguir.

   Parâmetro	Etapas
   Spark Property	Configure as propriedades do Spark que cada módulo utiliza ao executar tarefas do Lindorm. Para mais informações, consulte Job configuration. Clique em Add e insira o Spark Property Name e o Spark Property Value correspondente. Nota Para ativar a linhagem de dados e a coleta de saídas, configure as seguintes propriedades: Defina o Spark Property Name como spark.sql.queryExecutionListeners. Defina o Spark Property Value como com.aliyun.dataworks.meta.lineage.LineageListener. Para mais informações sobre as configurações de propriedades do Spark, consulte Job configuration.
   Global Settings Take Precedence	Ao selecionar esta opção, as configurações globais terão precedência sobre as configurações dentro dos módulos do product. Nesse caso, as tarefas são executadas com base nas propriedades do Spark configuradas globalmente. Configuração global: As propriedades do Spark definidas na página Spark Parameters para o recurso de computação do Lindorm em Management Center > Computing Resources. Atualmente, é possível definir parâmetros globais do Spark apenas para os módulos Data Studio e Operation Center. Configuração dentro dos módulos do product: Data Studio: Para nós Lindorm Spark e Lindorm Spark SQL, você pode definir propriedades do Spark para uma única tarefa de nó na aba Configuration Items da página de edição do nó. Outros módulos do product: Não há suporte para definir propriedades do Spark separadamente dentro de um módulo.

4. Clique em Confirm para salvar os parâmetros globais do Spark.