DataWorks:Criar um nó EMR Trino

Pré-requisitos

• Um cluster Alibaba Cloud EMR criado e registrado no workspace do DataWorks.

  Antes de criar nós relacionados ao EMR, registre o cluster EMR no workspace do DataWorks. Para mais detalhes, consulte Bind EMR compute resources in legacy DataStudio.

• (Opcional, para usuários RAM) O usuário RAM responsável pelo desenvolvimento de tarefas deve estar adicionado ao workspace e ter a função Development ou Workspace Administrator. A função Workspace Administrator possui permissões amplas; atribua-a com cautela. Para mais informações, consulte Add members to a workspace.

• Um grupo de recursos serverless adquirido e configurado, incluindo a vinculação do grupo de recursos a um workspace e a configuração de rede. Para mais informações, consulte Use a serverless resource group.

• Um workflow criado no DataStudio.

  O DataStudio organiza as operações de desenvolvimento por workflow. Crie um workflow antes de criar um nó. Para mais informações, consulte Create a workflow.

Limites

• Esse tipo de tarefa executa apenas em grupos de recursos serverless.

• Para gerenciar metadados de clusters DataLake ou personalizados no DataWorks, configure o EMR-HOOK no cluster. Sem o EMR-HOOK, não é possível visualizar metadados em tempo real, gerar logs de auditoria, exibir linhagem de dados ou executar tarefas de governança relacionadas ao EMR no DataWorks. Para mais informações, consulte Configure EMR-HOOK for Hive.

• Se a autenticação LDAP (Lightweight Directory Access Protocol) estiver ativada para o Trino, faça logon no nó mestre do cluster EMR e baixe o arquivo de keystore do diretório /etc/taihao-apps/trino-conf. Em seguida, faça logon no console do DataWorks. No painel de navegação à esquerda, clique em More > Management Center. Selecione o workspace desejado na lista suspensa e clique em Go to Management Center. Ainda no painel de navegação à esquerda, clique em Cluster Management. Localize o cluster EMR registrado. Na aba Account Mappings, clique em Edit Account Mappings e, em seguida, em Upload Keystore File para enviar o arquivo.

(Opcional) Selecionar uma instância de cluster EMR

Se houver vários clusters EMR registrados no workspace, selecione o cluster apropriado na lista suspensa na parte superior da página do editor de nós. Caso haja apenas um cluster EMR registrado, o DataWorks o selecionará automaticamente.

Para acessar domínios com lista de permissões de endereços IP, utilize um grupo de recursos de agendamento dedicado.

Configuração do conector

• Antes de consultar tabelas MySQL, configure o conector integrado do EMR Trino. Para mais informações, consulte MySQL connector.

• Para consultar tabelas Hive, configure o conector integrado do EMR Trino. Para mais detalhes, consulte Hive connector.

• Para consultar tabelas em outras fontes de dados, consulte Configure connectors e obtenha instruções sobre como configurar os conectores integrados.

Editar código SQL

Insira o código da tarefa no editor SQL. Exemplo:

-- Usage
-- SELECT * FROM <catalog>.<schema>.<table>;
-- Parameter description
-- <catalog>: the name of the data source to connect to.
-- <schema>: the name of the database to use.
-- <table>: the table to query.
-- Example: To view data in the hive_table table in the default database of a Hive data source:
-- Query a Hive table
SELECT * FROM hive.default.hive_table;
-- Example: To view data in the rt_user table in the user-created rt_data database of a MySQL data source:
-- Query a MySQL table  
SELECT * FROM mysql.rt_data.rt_user;
-- Join a Hive table and a MySQL table
SELECT DISTINCT a.id, a.name,b.rt_name FROM hive.default.hive_table a INNER JOIN mysql.rt_data.rt_user b ON a.id = b.id;
-- Query a Hive table using a scheduling parameter
SELECT * FROM hive.default.${table_name};

Executar a tarefa SQL

1. Na barra de ferramentas, clique no ícone . Na caixa de diálogo Parameter, selecione um grupo de recursos de agendamento e clique em Running.

   Nota

   • Para acessar recursos de computação pela internet pública ou em uma VPC, utilize um grupo de recursos de agendamento com conectividade a esses recursos. Para mais informações, consulte Network connectivity solutions.

   • Para alterar o grupo de recursos nas execuções subsequentes, clique no ícone Running with Parameters e selecione o grupo de recursos desejado.

   • Consultas em nós EMR Trino retornam no máximo 10.000 registros, e o tamanho total dos dados não pode exceder 10 MB.

2. Clique no ícone para salvar o código SQL.

(Opcional) Configurar parâmetros avançados

Para ajustar a execução das instruções SQL, clique em Advanced Settings no painel de navegação à direita.