Após registrar um cluster E-MapReduce (EMR) no DataWorks, configure as informações de conexão do Kyuubi para definir como o DataWorks se autentica ao executar tarefas do Kyuubi. Use a identidade padrão do EMR ou um nome de usuário e senha personalizados.
Informações básicas
O Apache Kyuubi é um gateway distribuído e multilocatário que fornece serviços de consulta, como consultas SQL, para mecanismos de consulta de data lake, incluindo Spark, Flink e Trino. Para mais informações, consulte Kyuubi.
Pré-requisitos
Antes de começar, verifique se você:
Adicionou o serviço Kyuubi ao cluster EMR. Para mais informações, consulte Adicionar o serviço Kyuubi.
Vinculou o cluster EMR como recurso de computação do DataWorks e concluiu a inicialização do grupo de recursos. Para mais informações, consulte Desenvolvimento de dados (nova versão): Vincular um recurso de computação EMR.
Conclua a inicialização do grupo de recursos ao vincular o recurso de computação EMR. Sem essa etapa, a página de configuração do Kyuubi fica indisponível.
Configurar as informações de conexão do Kyuubi
-
Acesse a página de configuração do Kyuubi.
Faça login no console do DataWorks. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha More > Management Center.
Na página exibida, selecione o workspace desejado na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Computing Resources.
Localize o cluster EMR desejado e clique em Kyuubi Configuration > Edit Kyuubi Configuration.
-
Selecione um modo de conexão.
Modo de conexão
Descrição
Quando usar
Connection Information of Alibaba Cloud EMR Cluster
Usa a Default Access Identity especificada durante o registro do cluster EMR.
Padrão. Use quando a identidade integrada do cluster atender às necessidades das suas tarefas.
Custom Configuration Information
Usa um nome de usuário e senha personalizados para fazer login no Kyuubi via JDBC.
Use quando for necessária uma identidade dedicada ou credenciais personalizadas para acesso ao Kyuubi.
-
(Opcional) Caso tenha selecionado Custom Configuration Information, configure a URL JDBC. O formato da URL JDBC é:
jdbc:hive2://host:port/;user=<logon username>;password=<logon password>NotaAo selecionar Custom Configuration Information pela primeira vez, o sistema preenche automaticamente a URL JDBC com base nas informações da conta configuradas durante o registro do cluster EMR. Modifique a URL pré-preenchida conforme necessário.
Como
DATAWORKS_PROXY_USERafeta a URL JDBC Se você selecionou Pass Proxy User Information ao registrar o cluster EMR, o DataWorks anexa a configuraçãohive.server2.proxy.userà URL JDBC sempre que uma tarefa EMR é executada. O comportamento varia conforme a presença do placeholderDATAWORKS_PROXY_USERna URL:Cenário
Comportamento
DATAWORKS_PROXY_USERnão está na URL JDBCO DataWorks adiciona o valor de
hive.server2.proxy.userao final da URL durante a execução da tarefa.DATAWORKS_PROXY_USERestá na URL JDBCO DataWorks substitui o placeholder pelo valor de
hive.server2.proxy.userdurante a execução da tarefa.
Próximos passos
Siga o Guia do processo de desenvolvimento de dados para configurar os ambientes dos componentes e executar tarefas de desenvolvimento de dados no DataWorks.