:Importar dados de um banco de dados MySQL

Limites

• Este recurso é suportado apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Hohhot), China (Ulanqab), China (Chengdu), China (Shenzhen), China (Heyuan), China (Guangzhou), China (Hong Kong), Singapura, Malásia (Kuala Lumpur), Indonésia (Jacarta), Filipinas (Manila), Tailândia (Bangkok), Japão (Tóquio), Coreia do Sul (Seul), Reino Unido (Londres), Alemanha (Frankfurt), EUA (Virgínia) e EUA (Vale do Silício).

• Ao importar dados de uma source do AnalyticDB for MySQL, converta os campos JSON para o tipo VARCHAR antes da importação. Por exemplo, se um campo chamado detail for do tipo de dados JSON, use cast(detail as VARCHAR) as detail para realizar a conversão. Para mais informações sobre a função CAST, consulte Função CAST.

Pré-requisitos

• Crie um banco de dados MySQL e uma conta de banco de dados com permissões de somente leitura.

• Adicione os endereços IP do Simple Log Service à lista de permissões de endereços IP do seu banco de dados MySQL.

  Inclua na lista de permissões os endereços IP correspondentes à região do seu projeto e ao tipo de rede do banco de dados. Para obter a lista de endereços IP necessários, consulte Lista de permissões de endereços IP. Para instruções sobre como configurar uma lista de permissões no MySQL, consulte Configurar uma lista de permissões de endereços IP.

• Crie um projeto e um Logstore. Para mais informações, consulte Gerenciar projetos e Criar um Logstore básico.

Importar dados

1. Faça login no console do Simple Log Service.

2. Na seção Projects, clique em no projeto desejado.

   

3. No painel Log Storage > Logstore, clique em > ao lado do Logstore de destino. Passe o mouse sobre Data Collection > Data Import e clique em +.

4. No assistente Quick Data Import, pesquise e clique em MySQL - Data Import.

5. Configure a tarefa de importação de dados.

   1. Na etapa Configure Data Source, defina os parâmetros a seguir.

      Parâmetros básicos

      Parâmetro	Descrição
      Task Name	Nome exclusivo da tarefa de importação de dados.
      Display Name	Nome de exibição da tarefa.
      Job Description	Descrição da tarefa de importação de dados.
      Use VPC Endpoint	Instância do RDS na VPC Selecione Use VPC Endpoint e ApsaraDB RDS Instance e configure os parâmetros abaixo. VPC ID: ID da VPC onde a instância do ApsaraDB RDS for MySQL está localizada. RDS Instance ID: ID da instância do ApsaraDB RDS for MySQL. Defina este parâmetro como o VpcCloudInstanceId da instância. É possível chamar a operação DescribeDBInstanceAttribute para obter o valor de VpcCloudInstanceId. Autogerenciado no ECS Selecione Use VPC Endpoint e Self-managed Database on ECS e configure os parâmetros abaixo. VPC ID: ID da VPC onde a instância do ECS está localizada. ECS Instance IP Address: Endereço IP privado da instância do ECS. Banco de dados público Desmarque a caixa de seleção Use VPC Endpoint e configure o parâmetro a seguir. Public IP Address or Domain Name of Database: Endereço IP público ou nome de domínio do banco de dados MySQL.
      MySQL Port	Porta de serviço do banco de dados MySQL. Valor padrão: 3306.
      Username	Nome de usuário utilizado para fazer login no banco de dados MySQL. Recomendamos conceder permissões de somente leitura a esta conta.
      Password	Senha da conta.
      Database	Nome do banco de dados MySQL.
      Query	Utilize uma instrução SELECT ou SHOW. Caso utilize uma instrução SHOW, não será possível definir o parâmetro Page Size nas configurações avançadas. Um ponto de interrogação (?) pode ser usado como espaço reservado, funcionando em conjunto com o CheckPoint Field. Por exemplo, se sua instrução de consulta for SELECT * FROM employees WHERE id > ?, defina o CheckPoint Field como id e o Starting Value of CheckPoint Field como 0. Após a conclusão de cada tarefa de importação, o sistema salva o ID do último registro como checkpoint. Na próxima execução da tarefa, o ponto de interrogação (?) na instrução de consulta será substituído por esse valor de checkpoint.

      Parâmetros avançados

      Parâmetro	Descrição
      Maximum Number of Rows for Each Import	Número máximo de linhas a serem importadas em cada tarefa agendada. O valor 0 indica que não há limite. Padrão: 0.
      Connection Timeout Settings	Tempo limite para conexão com o banco de dados MySQL. Valor padrão: 3.000 ms.
      Query Timeout Settings	Tempo limite para consulta ao banco de dados MySQL. Valor padrão: 5.000 ms.
      Page Size	O valor 0 desativa a paginação. Se o valor for maior que 0, o sistema anexa limit pageSize offset {checkpoint} à instrução SELECT, permitindo a importação de dados em várias páginas dentro de uma única tarefa.
      Time Field	Campo nos dados do MySQL que representa o tempo, como create_time ou update_time. O Simple Log Service utiliza o valor deste campo como timestamp para os dados importados.
      Time Field Format	Formato do campo de tempo. Formatos de tempo baseados em Java são suportados, como yyyy-MM-dd HH:mm:ss. Para mais informações, consulte Formatos de tempo.
      Time Zone	Fuso horário do campo de tempo.
      CheckPoint Field	Selecione um campo de checkpoint para especificar o ponto inicial da próxima importação de dados. Por exemplo, se a instrução de consulta for select * from t where id > ? e id for um campo de incremento automático, defina id como o campo de checkpoint. Campos como create_time ou update_time também podem ser utilizados. Nota Caso não especifique um intervalo de tempo na consulta SQL, recomendamos configurar um campo de checkpoint para importar dados incrementais e evitar duplicidade.
      Starting Value of CheckPoint Field	Valor inicial para o campo de checkpoint.
      Additional Fields	Adicione campos constantes aos dados importados. O formato é map[string]string. Por exemplo, se a instrução de consulta for select a, b from t;, o sistema importa os campos a e b por padrão. Outros campos podem ser adicionados para importação no SLS, como {"k1": "v1", "k2": "v2"}.

   2. Clique em Preview para verificar os resultados da importação. Após confirmar os resultados, clique em Next Configuration.

   3. Na etapa Scheduling Interval, configure os parâmetros a seguir.

      Parâmetro	Descrição
      Import Interval	Intervalo em que os dados são importados do banco de dados MySQL para o Simple Log Service.
      Execute Now	Selecione Execute Now para executar a tarefa de importação uma única vez.

   4. Após concluir a configuração, clique em Next.

6. Crie índices e visualize os dados. Em seguida, clique em Next. Por padrão, a indexação de texto completo está ativada no Simple Log Service. Também é possível criar manualmente índices de campo para os logs coletados ou clicar em Automatic Index Generation para que o Simple Log Service gere os índices de campo automaticamente. Para mais informações, consulte Criar índices.

   Importante

   Para consultar todos os campos nos logs, recomendamos o uso de índices de texto completo. Se precisar consultar apenas campos específicos, utilize índices de campo para reduzir o tráfego de indexação. A criação de índices de campo é obrigatória para análise de campos, e a instrução de consulta deve incluir uma instrução SELECT para realizar a análise.

7. Aguarde aproximadamente 1 minuto para que os índices entrem em vigor. Depois disso, visualize os logs coletados na aba Raw Logs. Para mais informações sobre como consultar e analisar logs, consulte Guia de início rápido para consulta e análise.

Visualizar a tarefa de importação e relatórios estatísticos

Após criar uma tarefa de importação de dados, visualize suas configurações e relatórios estatísticos no console.

1. Na seção Projects, clique em no projeto de destino.

2. No painel de navegação à esquerda, escolha Data Collection > Data Import e clique em no nome da tarefa desejada.

3. Na página Import Configuration Overview, visualize as informações básicas e os relatórios estatísticos da tarefa de importação.

Operações relacionadas

Na página Import Configuration Overview, também é possível realizar as operações a seguir.

• Modifique uma tarefa

  Clique em Edit Configurations para alterar a configuração da tarefa. Para detalhes sobre os parâmetros, consulte Importar dados.

• Exclua uma tarefa

  Clique em Delete Configuration para excluir a tarefa de importação de dados.

  Aviso

  Esta operação não pode ser desfeita. Proceda com cautela.