AnalyticDB:Importar dados on-premises com o Kettle

Contexto

O Kettle é uma ferramenta ETL (extração, transformação e carga) open-source popular para integração, transformação e migração de dados. Ele oferece suporte a diversos bancos de dados relacionais e fontes de dados NoSQL, como HBase e MongoDB, além de fontes baseadas em arquivos, como Excel e Access. É possível estender seus recursos para suportar mais fontes de dados por meio de plug-ins.

Para obter mais informações, consulte o site oficial do Kettle.

Pré-requisitos

• Kettle instalado.

• Um database e uma table de destino criados no AnalyticDB for MySQL.

• Endereço IP da máquina onde o Kettle está instalado adicionado à whitelist do cluster do AnalyticDB for MySQL.

• Se for necessário conectar-se ao cluster do AnalyticDB for MySQL pela internet, apply for a public endpoint.

Procedimento

1. Abra o Kettle. Na barra de menus, clique em File > Create > Transform para crie uma nova transformação.

2. Na barra de menus, clique em File > Create > Database Connection para crie uma conexão de banco de dados.

   Parâmetro	Descrição
   Connection Name	Insira um nome para identificar a conexão.
   Connection type	Selecione MySQL.
   Encryption	Selecione Native (JDBC).
   Host Name	Endpoint do cluster do AnalyticDB for MySQL. Esse endpoint está disponível na página Cluster Information do console do AnalyticDB for MySQL.
   Database Name	Nome do banco de dados no AnalyticDB for MySQL.
   Port	3306
   Database Account	Conta usada para acessar o cluster do AnalyticDB for MySQL. Pode ser um dos seguintes tipos: Conta privilegiada Conta padrão
   Password	Senha da conta de usuário especificada.

   Nota

   Não marque a caixa de seleção Use Result Streaming Cursor.

3. Após configure os parâmetros anteriores, clique em Test. Na caixa de diálogo Database Connection Test, siga as instruções para verifique a conexão com o banco de dados do AnalyticDB for MySQL e clique em OK após a aprovação no teste.

4. No painel Core objects à esquerda, expanda a pasta Input e arraste a etapa Excel Input para a área de trabalho principal.

5. Clique duas vezes em Excel Input na área de trabalho. Na caixa de diálogo Excel Input, clique em Browse para carregar a planilha do Excel a ser importada e, em seguida, clique em Add para adicioná-la aos Selected files.

   Configure as opções nas abas Sheets, Content e Field. Clique em Preview records para confirmar a leitura correta dos dados.

6. No painel Core objects, expanda a pasta Output e arraste a etapa Table output para a área de trabalho.

7. Crie um hop (linha de conexão) da etapa Excel Input para a etapa Table output.

8. Clique duas vezes na etapa Table output para abrir a caixa de diálogo Table output e defina as configurações abaixo.

   • Target schema: insira o nome do banco de dados do AnalyticDB for MySQL.

   • Target Table: especifique o nome da tabela de destino no banco de dados do AnalyticDB for MySQL.

   • Marque a caixa de seleção Specify database fields.

   • Marque a caixa de seleção Use batch insert.

   Na aba Database Fields da Table Output, clique em Get Fields e em Input Field Mapping para configure o mapeamento entre as colunas do Excel e os nomes das colunas na tabela do AnalyticDB for MySQL.

9. Clique no ícone Run (triângulo verde) para execute a transformação. Acompanhe os logs de execução e o status no painel Log na parte inferior da janela.

   Após a importação, execute consultas analíticas diretamente no AnalyticDB for MySQL.