DataWorks:Melhores práticas do DataWorks no EMR Serverless StarRocks

Contexto

Pré-requisitos

• Ative o DataWorks e crie um workspace. Para o procedimento, consulte Purchase guide.

• Compre um grupo de recursos, vincule-o ao workspace e configure sua rede. Para mais detalhes, consulte Resource Group Overview.

• Crie uma instância do EMR Serverless StarRocks. Para o procedimento, consulte Get started with a storage-compute integrated instance.

  Nota

  Após criar a instância, visualize seus detalhes no console do EMR e use o EMR StarRocks Manager para se conectar e inspecionar bancos de dados e tabelas.

• Adicione os endereços IP do grupo de recursos do DataWorks à lista de permissões da instância do EMR Serverless StarRocks.

  Para configurar as listas de permissões da instância:

  Na página Instance Details da instância do EMR Serverless StarRocks, clique em Security Group ID e, em seguida, em Private Network Allowlist para configurar a lista de permissões da rede privada. Na seção FE Details, clique em Public Address e, em seguida, em Public Network Allowlist para configurar a lista de permissões da rede pública.

Criar uma fonte de dados

Para usar o EMR Serverless StarRocks no DataWorks, primeiro crie uma fonte de dados StarRocks conectada ao banco de dados existente. Em seguida, utilize-a nos módulos do DataWorks.

Para detalhes sobre a fonte de dados, consulte StarRocks data source. O ponto de entrada da fonte de dados e as principais configurações são:

1. 1. Faça login no console do DataWorks. Na região de destino, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

   2. Na página Workspace Management, clique em Data Sources no painel de navegação à esquerda para abrir a página de fontes de dados.

2. Clique em Add Data Source. Configure as seguintes definições principais; os outros parâmetros podem manter seus valores padrão.

   Escolha como criar a fonte de dados com base na conectividade entre a instância do StarRocks e o grupo de recursos do DataWorks. Para opções de conectividade, consulte Overview.

   Conexão de rede privada

   Parâmetro principal	Descrição
   Configuration mode	Selecione ApsaraDB for RDS.
   Alibaba Cloud Account	Se a instância e o DataWorks estiverem na mesma conta, selecione Current Alibaba Cloud Account. Se a instância estiver em outra conta da Alibaba Cloud, selecione Another Alibaba Cloud Account. Após selecionar Another Alibaba Cloud Account, configure também o UID of Alibaba Cloud Account e a RAM Role. Para mais informações sobre a RAM role da outra parte, consulte Cross-account authorization (RDS, Hive, or Kafka).
   Region	Selecione a região da instância do EMR Serverless StarRocks.
   Instance	Selecione a instância específica do StarRocks da Serverless edition.
   Database Name	Nome do banco de dados a ser conectado. Use o EMR StarRocks Manager e verifique o Metadata Management após se conectar à instância.
   Username/Password	Nome de usuário e senha da instância. Um usuário administrador é criado por padrão quando a instância do StarRocks é criada. A senha é definida na criação da instância.
   Connection Configuration	Teste a conectividade entre a fonte de dados e o grupo de recursos comprado. O status Connectable indica que a conexão de rede está disponível.

   Conexão de rede pública

   Parâmetro principal	Descrição
   Configuration mode	Selecione User-created Data Store with Public IP Addresses.
   Host Address/IP Address	O Public network address do FE. O formato do endereço público é fe-c-<instance-id>.starrocks.aliyuncs.com, com a porta HTTP 8030. Clique em Public Network Allowlist para configurar uma lista de permissões de acesso, ou em Disable Public Access para interromper o acesso público.
   Public network address	A Port do FE (9030 por padrão).
   Query port	Os endereços do FE do StarRocks são usados para o Stream Load. Você pode especificar vários endereços FE no formato FE public address:FE HTTP port, separados por vírgulas.
   Load URL	Nome do banco de dados a ser conectado. Use o EMR StarRocks Manager e verifique o Database Name após se conectar à instância.
   Metadata Management/Username	Nome de usuário e senha da instância. Um usuário administrador é criado por padrão quando a instância do StarRocks é criada. A senha é definida na criação da instância.
   Password	Teste a conectividade entre a fonte de dados e o grupo de recursos comprado. O status Connection Configuration indica que a conexão de rede está disponível.

Data Integration

O DataWorks pode sincronizar MySQL, Hive, Kafka, OSS, HDFS e outras fontes para tabelas do EMR Serverless StarRocks. O exemplo a seguir mostra como sincronizar dados do MySQL em lote para essa tabela.

1. Faça login no console do DataWorks. Na região de destino, clique em Connectable > Data Development no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Go to .

2. Crie um nó de sincronização em lote. Defina o MySQL como source e o StarRocks como destino.

   Na árvore de navegação à esquerda, expanda Data Integration e clique em Create Node > Batch Synchronization. Na etapa Network and Resource Configuration, selecione um grupo de recursos e clique em Test Connectivity tanto para o source quanto para o destino. Confirme se ambos exibem Connected.

3. Teste a conectividade do grupo de recursos selecionado para as fontes de dados de source e de destino.

4. Defina um ciclo de agendamento e, em seguida, confirme e publique o nó para execuções periódicas.

   Após a depuração, clique em Data Development na barra lateral. Configure o ciclo de agendamento, a política de nova execução, outros parâmetros de agendamento e o grupo de recursos. Em seguida, clique em Scheduling e Submission.

Desenvolvimento e operações agendadas

Para jobs do EMR Serverless StarRocks que exigem agendamento periódico, crie um nó StarRocks no DataStudio e selecione a fonte de dados conectada. Escreva o SQL do StarRocks e defina um ciclo de agendamento. Principais etapas:

1. Faça login no console do DataWorks. Na região de destino, clique em Data Development and O&M > Data Development and O&M no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Data Development.

2. Crie um nó StarRocks no DataStudio e selecione a fonte de dados StarRocks conectada para escrever o SQL.

   Clique com o botão direito em Database Nodes em um processo de negócios e selecione Create Node > StarRocks. No editor SQL, selecione a fonte de dados e escreva o SQL, como SELECT * FROM testdb.testtb;.

3. Para depurar o SQL do StarRocks no DataStudio, selecione a instrução SQL, clique em execute, escolha um grupo de recursos e depure-a.

4. Defina um ciclo de agendamento e, em seguida, confirme e publique o nó para execuções periódicas.

   Após a depuração, clique em Data Development na barra lateral. Configure o ciclo de agendamento, a política de nova execução, outros parâmetros de agendamento e o grupo de recursos. Em seguida, clique em Scheduling e Submission.

Data Analysis

Use o Data Analysis para analisar rapidamente os dados das tabelas do EMR Serverless StarRocks:

1. Acesse a página SQL Query.

   Faça login no console do DataWorks. Na região de destino, clique em Deploy > Data Analysis and Service no painel de navegação à esquerda. Clique em DataAnalysis Go to para abrir a página do Data Analysis. No painel de navegação à esquerda, clique em DataAnalysis.

2. Clique no ícone na barra lateral esquerda e, em seguida, clique em SQL Query > More para abrir a página System Management. Defina o grupo de recursos de consulta do StarRocks como o grupo usado pela tarefa.

   No SQL Query, nas configurações de Resource group, o mecanismo StarRocks usa o public scheduling resource group por padrão. Altere para o grupo de recursos de destino e clique em salve.

3. Retorne ao SQL Query, mude o mecanismo para StarRocks no canto superior direito, selecione uma fonte de dados e execute uma consulta para analisar os dados.

   No painel de configurações, selecione também um workspace e clique em OK.

DataService Studio

O DataService Studio pode gerar APIs a partir de fontes de dados StarRocks.

1. Faça login no console do DataWorks. Na região de destino, clique em System Management > Data Analysis and Service no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to DataService Studio.

2. Gere uma API e configure seus parâmetros.

   O DataService Studio oferece os modos de assistente e de script. O modo de script pode gerar parâmetros de requisição e resposta a partir do SQL. O exemplo de assistente a seguir mostra as etapas principais.

   Na árvore de navegação à esquerda, expanda API sob o processo de negócios, clique com o botão direito e selecione Create API > Generate API para abrir a configuração do assistente.

   Selecione StarRocks como o tipo de fonte de dados, a fonte de dados e a tabela StarRocks criadas e, em seguida, configure os parâmetros de requisição e resposta.

3. Clique em DataService Studio na barra lateral direita e selecione um grupo de recursos exclusivo para o DataService Studio.

   Na lista Exclusive Service Resource Group, selecione um grupo como test, defina o API Gateway Instance Type como Shared Instance, o Timeout e o Maximum Rows per Request como 10000 linhas.

4. Após testar a API, confirme-a e publique-a.

Data Map

O Data Map oferece suporte à coleta de metadados, pesquisa e detalhes de tabelas para o StarRocks.