E-MapReduce:Gerenciamento de fontes de dados

Limites

O cluster onde a fonte de dados reside e o cluster usado para execute um workflow devem estar implantados na mesma Virtual Private Cloud (VPC).

Criar uma fonte de dados

1. Acesse a página Datasource.

   1. Faça login no console do EMR com sua conta Alibaba Cloud ou um usuário RAM.

   2. No painel de navegação à esquerda, escolha EMR Workbench > Workflow.

   3. Na página Workflow, localize o workspace desejado e clique em Console na coluna Actions.

   4. Clique na aba Data Source Center.

2. Na página Data Source Center, clique em Create Data Source.

3. Na caixa de diálogo CreateDataSource, configure os parâmetros descritos na tabela a seguir.

   Fonte de dados Hive/Impala

   Parâmetro	Obrigatório	Descrição
   Datasource	Sim	Tipo da fonte de dados.
   Data Source Name	Sim	Nome da fonte de dados.
   Description	Não	Descrição da fonte de dados.
   Host IP Address	Sim	Endereço IP ou nome do host para a conexão Hive/Impala.
   Port	Sim	A porta da fonte de dados Hive/Impala é 10000.
   Username	Sim	Nome de usuário para a conexão Hive/Impala.
   Password	Não	Senha para a conexão Hive/Impala.
   Database Name	Sim	Nome do banco de dados para a conexão Hive/Impala.
   JDBC connection parameters	Não	Parâmetros da conexão com a fonte de dados. Formato: {"key1":"value1","key2":"value2"...}.
   Test Connectivity	Não	Use um grupo de recursos de agendamento para testar a conexão ao adicionar a fonte de dados. Nota Se um workflow utilizar esta fonte de dados, garanta a conectividade entre ela e o grupo de recursos de agendamento. É possível testar a conectividade apenas entre a fonte de dados e o grupo de recursos padrão ou os grupos de recursos do cluster.

   Fonte de dados Presto

   Parâmetro	Obrigatório	Descrição
   Datasource	Sim	Tipo da fonte de dados.
   Data Source Name	Sim	Nome da fonte de dados.
   Description	Não	Descrição da fonte de dados.
   Host IP Address	Sim	Endereço IP ou nome do host para a conexão com a fonte de dados.
   Port	Sim	A porta da fonte de dados Presto é 8080.
   Username	Sim	Nome de usuário para a conexão Presto.
   Password	Não	Senha para a conexão Presto.
   Catalog	Não	Nome do catálogo para a conexão Presto.
   Database Name	Sim	Nome do banco de dados para a conexão Presto.
   JDBC connection parameters	Não	Parâmetros da conexão com a fonte de dados. Formato: {"key1":"value1","key2":"value2"...}.
   Test Connectivity	Não	Use um grupo de recursos de agendamento para testar a conexão ao adicionar a fonte de dados. Nota Se um workflow utilizar esta fonte de dados, garanta a conectividade entre ela e o grupo de recursos de agendamento. É possível testar a conectividade apenas entre a fonte de dados e o grupo de recursos padrão ou os grupos de recursos do cluster.

   Fonte de dados Doris

   Parâmetro	Obrigatório	Descrição
   Datasource	Sim	Tipo da fonte de dados.
   Data Source Name	Sim	Nome da fonte de dados.
   Description	Não	Descrição da fonte de dados.
   Host IP Address	Sim	Endereço IP ou nome do host para a conexão Doris.
   Port	Sim	A porta da fonte de dados Doris é 9030.
   Username	Sim	Nome de usuário para a conexão Doris.
   Password	Não	Senha para a conexão Doris.
   FE Endpoint	Não	Endereço IP e porta do nó frontend (FE), no formato ip:port. Separe vários nós por vírgulas.
   Database Name	Sim	Nome do banco de dados para a conexão Doris.
   JDBC connection parameters	Não	Parâmetros da conexão Doris. Formato: {"key1":"value1","key2":"value2"...}.
   Test Connectivity	Não	Use um grupo de recursos de agendamento para testar a conexão ao adicionar a fonte de dados. Nota Se um workflow utilizar esta fonte de dados, garanta a conectividade entre ela e o grupo de recursos de agendamento. É possível testar a conectividade apenas entre a fonte de dados e o grupo de recursos padrão ou os grupos de recursos do cluster.

   Fonte de dados SSH

   Parâmetro	Obrigatório	Descrição
   Datasource	Sim	Tipo da fonte de dados.
   Data Source Name	Sim	Nome da fonte de dados.
   Description	Não	Descrição da fonte de dados.
   Host IP Address	Sim	Endereço IP ou nome do host para a conexão SSH.
   Port	Sim	A porta da fonte de dados SSH é 22.
   Username	Sim	Nome de usuário para a conexão SSH.
   Password	Não	Senha para a conexão SSH.
   Private key	Não	Chave privada para a conexão SSH.
   Test Connectivity	Não	Use um grupo de recursos de agendamento para testar a conexão ao adicionar a fonte de dados. Nota Se um workflow utilizar esta fonte de dados, garanta a conectividade entre ela e o grupo de recursos de agendamento. É possível testar a conectividade apenas entre a fonte de dados e o grupo de recursos padrão ou os grupos de recursos do cluster.

   Fonte de dados StarRocks

   Parâmetro	Obrigatório	Descrição
   Datasource	Sim	Tipo da fonte de dados.
   Data Source Name	Sim	Nome da fonte de dados.
   Description	Não	Descrição da fonte de dados.
   Host IP Address	Sim	Endereço IP ou nome do host para a conexão StarRocks.
   Port	Sim	A porta da fonte de dados StarRocks é 9030.
   Username	Sim	Nome de usuário para a conexão StarRocks.
   Password	Não	Senha para a conexão StarRocks.
   FE Endpoint	Não	Endereço IP e porta do nó FE. Formato: ip:port. Separe vários nós por vírgulas, por exemplo: ip1:port1,ip2:port2.
   Database Name	Sim	Nome do banco de dados para a conexão StarRocks.
   JDBC connection parameters	Não	Parâmetros da conexão StarRocks. Formato: {"key1":"value1","key2":"value2"...}.
   Test Connectivity	Não	Use um grupo de recursos de agendamento para testar a conexão ao adicionar a fonte de dados. Nota Se um workflow utilizar esta fonte de dados, garanta a conectividade entre ela e o grupo de recursos de agendamento. É possível testar a conectividade apenas entre a fonte de dados e o grupo de recursos padrão ou os grupos de recursos do cluster.

4. Clique em OK.