Todos os produtos
Search

Este produto

    DataWorks:Associar recurso de computação do EMR Serverless Spark

    Central de documentação

    DataWorks:Associar recurso de computação do EMR Serverless Spark

    Última atualização: Aug 25, 2026

    Associe seu workspace do EMR Serverless Spark ao DataWorks como um recurso de computação Serverless Spark para desenvolver e gerenciar tarefas do EMR Serverless Spark no DataWorks.

    Pré-requisitos

    Limites

    • Limites de região: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Indonesia (Jakarta), Germany (Frankfurt), US (Silicon Valley) e US (Virginia).

    • Limites de permissão:

      Operador

      Permissões necessárias

      Conta Alibaba Cloud

      Nenhuma permissão adicional necessária.

      Usuário RAM/Função RAM

      • Permissões de gerenciamento do DataWorks: Somente membros do workspace com as funções O&M e Workspace Administrator, ou com a política AliyunDataWorksFullAccess, podem criar recursos de computação. Para mais informações, consulte Grant a user the permissions of a Workspace Administrator.

      • Permissões de serviço do EMR Serverless Spark:

        • A política AliyunEMRServerlessSparkFullAccess.

        • A permissão Owner para o workspace do EMR Serverless Spark. Para mais informações, consulte Manage users and roles.

    Acessar a página da lista de recursos de computação

    1. Faça login no console do DataWorks. No painel de navegação à esquerda, alterne para a região de destino e clique em More > Management Center. Selecione seu workspace na lista suspensa e clique em Go to Management Center.

    2. No painel de navegação à esquerda, clique em Computing Resources para abrir a página da lista de recursos de computação.

    Associar recurso de computação Serverless Spark

    Na página da lista de recursos de computação, configure e vincule um recurso de computação Serverless Spark.

    1. Selecione o tipo de recurso de computação a associar.

      1. Clique em Associate Computing Resources para acessar a página Associate Computing Resources.

      2. Na página Associate Computing Resources, selecione Serverless Spark como tipo de recurso de computação para abrir a página de configuração Associate EMR Serverless Spark Computing Resource.

    2. Configure o recurso de computação Serverless Spark.

      Na página de configuração Associate EMR Serverless Spark Computing Resource, defina os seguintes parâmetros.

      Parâmetro

      Descrição

      EMR Serverless Spark Workspace

      Selecione o workspace Spark a associar. Você também pode clicar em Create na lista suspensa para criar um workspace Spark.

      Default Engine Version

      Selecione a versão do mecanismo a usar.

      • Ao criar uma tarefa EMR Spark no Data Studio, esta versão do mecanismo é usada por padrão.

      • Para definir versões diferentes do mecanismo para tarefas distintas, especifique as versões nas configurações avançadas da janela de edição da tarefa Spark.

      Default Resource Queue

      Selecione a fila de recursos a usar. Você também pode clicar em Create na lista suspensa para adicionar uma fila.

      • Ao criar uma tarefa EMR Spark no Data Studio, esta fila de recursos é usada por padrão.

      • Para definir filas de recursos diferentes para tarefas distintas, especifique as filas nas configurações avançadas da janela de edição da tarefa Spark.

      Default Kyuubi Gateway

      Opcional. A configuração do Kyuubi Gateway determina como as seguintes tarefas são executadas:

      • Se um Kyuubi Gateway estiver configurado:

        • Todas as tarefas relacionadas (EMR Spark SQL/Kyuubi e Serverless Spark SQL/Kyuubi) são executadas via Kyuubi Gateway.

      • Se nenhum Kyuubi Gateway estiver configurado:

        • As tarefas EMR Spark SQL e Serverless Spark SQL são executadas usando spark-submit.

        • As tarefas EMR Kyuubi e Serverless Kyuubi falham na execução.

      Para configurar um gateway, crie um Kyuubi Gateway e um token no EMR Serverless Spark console > Operation Center > Gateway > Kyuubi Gateway .

      • Se o Kerberos não estiver ativado: Clique no nome do Kyuubi Gateway para obter a URL JDBC e o token e, em seguida, combine-os para formar a string de conexão completa.

      • Se o Kerberos estiver ativado: Obtenha a string de conexão Beeline com base na sua configuração do Kerberos. Para mais informações, consulte Use Kerberos with Kyuubi Gateway.

        # Example of a standard connection string
jdbc:hive2://kyuubi-cn-hangzhou-internal.spark.emr.aliyuncs.com:80/;transportMode=http;httpPath=cliservice/token/<token>
# Example of a connection string for a Kerberos-enabled cluster. Make sure to include the principal of the Kyuubi service.
jdbc:hive2://ep-xxxxxxxxxxx.epsrv-xxxxxxxxxxx.cn-hangzhou.privatelink.aliyuncs.com:10009/;principal=kyuubi/_HOST@EMR.C-DFD43*****7C204.COM

      Default Access Identity

      A identidade usada para acessar este workspace Spark a partir do DataWorks.

      • Ambiente de desenvolvimento: Somente a identidade Executor é compatível.

      • Ambiente de produção: As identidades Alibaba Cloud Account, Alibaba Cloud RAM Sub-account e Task Owner são compatíveis.

      Computing Resource Instance Name

      O identificador do recurso de computação. Durante a execução, as tarefas usam este nome para selecionar o recurso.

    3. Clique em Confirm para concluir a configuração do recurso de computação Serverless Spark.

    Configurar parâmetros globais do Spark

    Você pode configurar parâmetros do Spark no nível do workspace para cada módulo e controlar se os parâmetros globais têm precedência sobre as configurações específicas do módulo. Após a configuração, as tarefas usam os parâmetros do Spark especificados por padrão.

    Escopo

    Método de configuração

    Configuração global

    No nível do workspace, configure parâmetros globais do Spark para módulos que executam tarefas EMR e defina sua prioridade sobre os parâmetros específicos do módulo. Para mais informações, consulte Configurar parâmetros globais do SPARK.

    Nó único

    No Data Studio, defina propriedades específicas do Spark para uma tarefa de nó individual na página de edição do nó. Outros módulos de product não suportam a definição de propriedades do Spark dentro dos próprios módulos.

    Gerenciamento de permissões

    Somente usuários com as seguintes funções podem configurar parâmetros globais do Spark:

    • Conta Alibaba Cloud

    • Um usuário RAM ou função RAM com a política AliyunDataWorksFullAccess

    • Um usuário RAM com a função Workspace Administrator

    Configurar parâmetros globais do Spark

    Configure os parâmetros globais do Spark seguindo as etapas abaixo. Para mais informações sobre os parâmetros do Spark para um recurso de computação Serverless Spark, consulte Job configuration overview.

    1. Acesse a página da lista de recursos de computação e localize o recurso de computação Serverless Spark associado.

    2. Clique em Spark Parameters para abrir o painel de configuração e visualizar as definições globais de parâmetros do Spark.

    3. Defina os parâmetros globais do Spark.

      No canto superior direito da página Spark Parameters, clique em Edit Spark Parameters para configurar os parâmetros globais do Spark e as prioridades para cada módulo.

      Nota

      Esta é uma configuração no nível do workspace. Antes de prosseguir, certifique-se de ter selecionado o workspace correto.

      Parâmetro

      Etapas

      Spark property

      Configure as propriedades do Spark para executar tarefas Serverless Spark.

      • Clique em Add abaixo e insira o Spark Property Name e o Spark Property Value correspondente para definir as informações da propriedade Spark.

      • Para mais informações sobre os parâmetros de propriedade do Spark compatíveis, consulte Spark Configuration e List of custom Spark Conf parameters.

      Global Settings Take Precedence

      Se você selecionar esta opção, a configuração global substituirá as configurações nos módulos do product. Nesse caso, as tarefas serão executadas com base nas propriedades globais do Spark.

      • Configuração global: refere-se às propriedades do Spark configuradas na página Spark Parameters do recurso de computação Serverless Spark em Management Center > Computing Resources.

        Atualmente, é possível definir parâmetros globais do Spark apenas para Data Studio, Operation Center e Data Analysis.

      • Configurações nos módulos do product:

        • Data Studio: Para nós EMR Spark, EMR Kyuubi, EMR Spark SQL, EMR Spark Streaming, Serverless Spark Batch, Serverless Spark SQL e Serverless Kyuubi, defina propriedades do Spark para uma tarefa de nó individual na seção Spark Parameters na aba Run Configuration ou Scheduling Settings da página de edição do nó.

        • Outros módulos de product: Não é possível definir propriedades do Spark dentro dos módulos.

    4. Clique em Confirm para salvar os parâmetros globais do Spark configurados.

    Configurar mapeamentos de conta do cluster

    Configure mapeamentos entre as contas Alibaba Cloud dos membros do DataWorks e as contas de identidade no cluster EMR. Isso permite que os membros executem tarefas do EMR Serverless Spark usando as identidades de cluster mapeadas.

    Importante

    Este recurso está disponível apenas em um grupo de recursos serverless. Se você adquiriu um grupo de recursos serverless antes de 15 de agosto de 2025 e deseja usar este recurso, deve enviar um ticket para atualizar o grupo de recursos.

    1. Acesse a página da lista de recursos de computação e localize o recurso de computação Serverless Spark associado.

    2. Clique em Account Mappings para acessar o painel de configuração Account Mappings.

    3. Clique em Edit Account Mapping para configurar as informações de mapeamento de conta do cluster. Defina os parâmetros relacionados com base no Mapping Type selecionado.

      Mapping Type de conta

      Execução de tarefa

      Configuração

      Mapeamento de conta do sistema

      Executa EMR Spark, EMR Spark SQL, EMR Kyuubi e tarefas de notebook desenvolvidas em um ambiente de desenvolvimento pessoal usando uma conta de cluster que tenha o mesmo nome da Default Access Identity especificada nas informações básicas do recurso de computação.

      Por padrão, o mapeamento de mesmo nome é utilizado. Para usar mapeamentos de conta diferentes, configure as contas manualmente.

      Mapeamento de conta OpenLDAP

      A Default Access Identity especificada nas informações básicas do recurso de computação é usada para executar tarefas EMR Spark e EMR Spark SQL.

      A conta OpenLDAP mapeada para a identidade de acesso padrão nas informações básicas do recurso de computação é usada para executar EMR Kyuubi e tarefas de notebook desenvolvidas em um ambiente de desenvolvimento pessoal.

      Se você tiver configurado e ativado a autenticação LDAP para o Kyuubi Gateway, deverá configurar mapeamentos entre Account e contas OpenLDAP (LDAP Account e LDAP Password) para executar tarefas relacionadas.

      Importante

      Se uma conta Alibaba Cloud necessária não estiver na lista de mapeamento, a tarefa poderá falhar.

      Mapeamento de conta Kerberos

      A Default Access Identity especificada nas informações básicas do recurso de computação é usada para executar tarefas EMR Spark e EMR Spark SQL.

      A conta Kerberos mapeada para a identidade de acesso padrão nas informações básicas do recurso de computação é usada para executar tarefas de nó EMR Kyuubi.

      1. Faça upload do arquivo krb5.conf do serviço Kerberos configurado para o cluster EMR Serverless Spark.

      2. Para a conta Alibaba Cloud especificada como identidade de acesso padrão, configure o principal e o keytab necessários para a autenticação Kerberos.

    4. Clique em Confirm para concluir a configuração dos mapeamentos de conta do cluster.

    Próximas etapas

    Após configurar o recurso de computação Serverless Spark, utilize-o para desenvolver tarefas de nó no Data Studio. Para mais informações, consulte EMR Spark node, EMR Spark SQL node, EMR Spark Streaming node, EMR Kyuubi node, Serverless Spark Batch node, Serverless Spark SQL node e Serverless Kyuubi node.