AnalyticDB:Synchronize SLS data by using the data synchronization feature

Etapa 1: Criar fonte de dados e link de dados

1. Faça login no console do Simple Log Service.

2. Na lista de projetos, clique no projeto desejado. No painel de navegação à esquerda, clique em , acesse a aba Logstores e expanda o Logstore alvo.

3. Clique em Data Processing > Export, e, em seguida, clique em + ao lado de AnalyticDB.

4. Na caixa de diálogo Shipping Note exibida, selecione Create in AnalyticDB for MySQL Console.

   A entrega direta envia todos os novos dados para o destino. Para processar dados (por exemplo, através de filtragem, conversão de formato ou enriquecimento de dados) ou entregar dados históricos, utilize o recurso Data Processing. Isso envolve rotear os dados para um Logstore temporário e, então, configurar a entrega direta a partir desse Logstore.

5. Na página AnalyticDB for MySQL Log Synchronization, configure os parâmetros nas seções Source and Destination Settings, Destination Database and Table Settings e Synchronization Settings.

   • A tabela a seguir descreve os parâmetros da seção Source and Destination Settings.

     Parâmetro	Descrição
     Job Name	Nome do link de dados. O sistema gera um nome padrão com base no tipo de fonte de dados e na hora atual. Altere o nome conforme necessário.
     Simple Log Service Project	Projeto do SLS.
     Simple Log Service Logstore	Logstore do SLS.
     Destination AnalyticDB for MySQL Cluster	Selecione o cluster do AnalyticDB for MySQL.
     AnalyticDB for MySQL Account	Conta de banco de dados do cluster do AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	Senha da conta de banco de dados do cluster do AnalyticDB for MySQL.

   • Destination Database and Table Settings parâmetros:

     Parâmetro	Descrição
     Database Name	Nome do banco de dados no cluster do AnalyticDB for MySQL.
     Table Name	Nome da tabela de dados no cluster do AnalyticDB for MySQL.
     Source Data Preview	Clique em View Latest 10 Logstore Data Entries para visualizar as 10 entradas de dados mais recentes do Logstore de origem do SLS.
     Schema Field Mapping	O sistema preenche automaticamente os campos Destination Field e Source Field com os campos da tabela do cluster do AnalyticDB for MySQL. Caso o mapeamento entre Destination Field e Source Field esteja incorreto, modifique-o manualmente. Por exemplo, se um campo na tabela do cluster do AnalyticDB for MySQL se chamar name e o campo correspondente nos dados de origem do SLS for user_name, o sistema preencherá tanto Destination Field quanto Source Field com name. Nesse caso, altere manualmente o Source Field para user_name.

   • A tabela abaixo detalha os parâmetros da seção Synchronization Settings.

     Parâmetro	Descrição
     Start Offset	Ao iniciar, a tarefa de sincronização começa a consumir dados do SLS a partir do horário especificado. Por exemplo, se você definir Start Offset como 2024-04-09 13:10, o sistema iniciará o consumo de dados a partir da primeira entrada posterior às 13:10 de 9 de abril de 2024.
     Dirty Data Processing Mode	Durante a sincronização, se o tipo de dado de um campo na tabela de destino não corresponder ao tipo do campo correspondente nos dados de origem do SLS, a sincronização falhará. Por exemplo, se os dados de origem forem abc, mas o tipo do campo de destino for int, ocorrerá um erro de conversão e a sincronização falhará. O modo de tratamento de dados incorretos pode ser um dos seguintes: Stop Synchronization (Padrão): A tarefa de sincronização é interrompida. É necessário alterar o tipo de campo na tabela de destino ou selecionar um modo de tratamento diferente e, então, reiniciar a tarefa. Treat as Null: Os dados incorretos são gravados como valor NULL na tabela de destino, e os dados originais incorretos são descartados. Por exemplo, se uma linha de dados do SLS tiver três campos (col1, col2 e col3) e o campo col2 contiver dados incorretos, o valor de col2 será convertido para NULL e gravado na tabela. Os dados dos campos col1 e col3 serão gravados normalmente.
     Convert UNIX Timestamp into Datetime	Se um campo de origem do SLS for um timestamp Unix (por exemplo, 1710604800) e o tipo do campo de destino for DATETIME ou TIMESTAMP, ative este recurso para converter o timestamp. Após ativá-lo, selecione Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds ou Timestamp Accurate to Microseconds conforme a precisão dos seus dados do SLS.
     Job Resource Group	Selecione o grupo de recursos específico do job para executar a tarefa de sincronização incremental. Importante Este parâmetro é obrigatório apenas se o cluster do AnalyticDB for MySQL for da Enterprise Edition, Basic Edition ou Data Lakehouse Edition.
     ACUs for Incremental Synchronization	Número inicial de ACUs para a tarefa de sincronização incremental. Este valor deve estar dentro do intervalo [1, Recursos máximos de computação do grupo de recursos específico do job]. Após a criação do link de dados, o AnalyticDB for MySQL dimensiona automaticamente o número de ACUs usadas para executar a tarefa de sincronização incremental com base na carga de trabalho. O número de ACUs pode aumentar até 64 ou diminuir até 1. Importante Este parâmetro é obrigatório apenas se o cluster do AnalyticDB for MySQL for da Enterprise Edition, Basic Edition ou Data Lakehouse Edition.

6. Após configurar os parâmetros, clique em Submit.

   O sistema cria automaticamente uma fonte de dados do SLS e um link de dados no AnalyticDB for MySQL e redireciona você para a página SLS/Kafka Data Synchronization no console do AnalyticDB for MySQL.

Etapa 2: Iniciar a tarefa de sincronização

1. Na coluna Actions do link de dados desejado, clique em Start.

2. Depois que a tarefa iniciar, clique em Search no canto superior direito para atualizar o status. A tarefa foi iniciada com sucesso quando o status mudar para Running.

Etapa 3: Gerenciar a tarefa de sincronização

As seguintes operações estão disponíveis na coluna Actions:

Etapa 1 (Opcional): Configurar autorização RAM

Para sincronizar dados do SLS entre contas para o AnalyticDB for MySQL, crie uma função RAM na conta de origem, conceda as permissões necessárias e modifique sua política de confiança.

1. Crie uma função RAM. Para mais informações, consulte {{XREF_9}}.

   Nota

   No parâmetro Select Trusted Alibaba Cloud Account, selecione Other Alibaba Cloud Account e insira o ID da conta Alibaba Cloud proprietária do cluster do AnalyticDB for MySQL. Para obter o ID da conta, faça login no Account Center. Na página Overview, localize seu Account ID.

2. Utilize {{XREF_10}} para conceder a permissão AliyunAnalyticDBAccessingLogRolePolicy à função RAM.

3. {{XREF_11}} para permitir que o cluster do AnalyticDB for MySQL pertencente à conta Alibaba Cloud especificada assuma esta função RAM.

   {
     "Statement": [
       {
         "Action": "sts:AssumeRole",
         "Effect": "Allow",
         "Principal": {
           "RAM": [
               "acs:ram::<Alibaba Cloud account ID>:root"
           ],
           "Service": [
               "<Alibaba Cloud account ID>@ads.aliyuncs.com"
           ]
         }
       }
     ],
     "Version": "1"
   }

   Nota

   O ID da conta Alibaba Cloud é o ID da conta proprietária do cluster do AnalyticDB for MySQL, especificado na Etapa 1. Não inclua os sinais de maior e menor (<>) ao configurar a política.

Etapa 2: Criar uma fonte de dados

1. Faça login no console do AnalyticDB for MySQL. No canto superior esquerdo do console, selecione uma região. No painel de navegação à esquerda, clique em Clusters. Localize o cluster que deseja gerenciar e clique no ID do cluster.

2. No painel de navegação à esquerda, clique em Simple Log Service Data Ingestion > Data Sources.

3. No canto superior direito, clique em Create Data Source.

4. Na página Create Data Source, configure os parâmetros. A tabela a seguir descreve os parâmetros:

   Parâmetro	Descrição
   Data Source Type	Selecione SLS.
   Data Source Name	O sistema gera um nome com base no tipo de fonte de dados e na hora atual. Altere o nome conforme necessário.
   Data Source Description	Descrição da fonte de dados, como cenário de aplicação ou limites de negócios.
   Deployment Mode	Apenas Alibaba Cloud Instance é suportado.
   Region of Simple Log Service Project	Região onde o projeto do SLS está localizado. Nota Apenas a região onde o cluster do AnalyticDB for MySQL está localizado é suportada.
   Across Alibaba Cloud Accounts	Um cluster do AnalyticDB for MySQL pode sincronizar dados do SLS da mesma conta Alibaba Cloud ou de outra conta Alibaba Cloud (entre contas). No: Sincroniza dados do SLS da conta Alibaba Cloud atual para o cluster do AnalyticDB for MySQL. Yes: Sincroniza dados do SLS de outra conta Alibaba Cloud para o cluster do AnalyticDB for MySQL. Ao selecionar Yes, configure a autorização RAM e especifique os parâmetros Alibaba Cloud Account e RAM Role. Para mais informações sobre como configurar a autorização RAM, consulte {{XREF_13}}. Nota Alibaba Cloud Account: O ID da conta Alibaba Cloud à qual o projeto do SLS pertence. RAM Role: A função RAM pertencente à conta Alibaba Cloud do projeto do SLS. Esta é a função RAM criada na Etapa 1 de {{XREF_14}}.
   Simple Log Service Project	Projeto do SLS de origem.
   Simple Log Service Logstore	Logstore do SLS de origem.

5. Após configurar os parâmetros, clique em Create.

Etapa 3: Criar um link de sincronização

1. No painel de navegação à esquerda, clique em Simple Log Service Data Ingestion > Data Synchronization.

2. No canto superior direito, clique em Create Synchronization Job.

3. Na página Create Synchronization Job, configure Source and Destination Settings, Destination Database and Table Settings e Synchronization Settings. A tabela a seguir descreve os parâmetros.

   • Source and Destination Settings parâmetros:

     Parâmetro	Descrição
     Job Name	Nome do link de dados. O sistema gera um nome padrão com base no tipo de fonte de dados e na hora atual. Altere o nome conforme necessário.
     Data Source	Selecione uma fonte de dados do SLS existente ou crie uma nova.
     Destination Type	Para clusters da Enterprise Edition, Basic Edition e Data Lakehouse Edition, selecione Data Warehouse-ADB Storage. Não é necessário especificar este parâmetro para clusters da Data Warehouse Edition.
     AnalyticDB for MySQL Account	A conta de banco de dados do cluster do AnalyticDB for MySQL.
     AnalyticDB for MySQL Password	A senha da conta de banco de dados do cluster do AnalyticDB for MySQL.

   • Destination Database and Table Settings parâmetros:

     Parâmetro	Descrição
     Database Name	Nome do banco de dados no cluster do AnalyticDB for MySQL.
     Table Name	Nome da tabela de dados no cluster do AnalyticDB for MySQL.
     Source Data Preview	Clique em View Latest 10 Logstore Data Entries para visualizar as 10 entradas de dados mais recentes do Logstore de origem do SLS.
     Schema Field Mapping	O sistema preenche automaticamente os campos Destination Field e Source Field com os campos da tabela do cluster do AnalyticDB for MySQL. Caso o mapeamento entre Destination Field e Source Field esteja incorreto, modifique-o manualmente. Por exemplo, se um campo na tabela do cluster do AnalyticDB for MySQL se chamar name e o campo correspondente nos dados de origem do SLS for user_name, o sistema preencherá tanto Destination Field quanto Source Field com name. Nesse caso, altere manualmente o Source Field para user_name.

   • Synchronization Settings parâmetros:

     Parâmetro	Descrição
     Start Offset	Ao iniciar, a tarefa de sincronização começa a consumir dados do SLS a partir do horário especificado. Por exemplo, se você definir Start Offset como 2024-04-09 13:10, o sistema iniciará o consumo de dados a partir da primeira entrada posterior às 13:10 de 9 de abril de 2024.
     Dirty Data Processing Mode	Durante a sincronização, se o tipo de dado de um campo na tabela de destino não corresponder ao tipo do campo correspondente nos dados de origem do SLS, a sincronização falhará. Por exemplo, se os dados de origem forem abc, mas o tipo do campo de destino for int, ocorrerá um erro de conversão e a sincronização falhará. O modo de tratamento de dados incorretos pode ser um dos seguintes: Stop Synchronization (Padrão): A tarefa de sincronização é interrompida. É necessário alterar o tipo de campo na tabela de destino ou selecionar um modo de tratamento diferente e, então, reiniciar a tarefa. Treat as Null: Os dados incorretos são gravados como valor NULL na tabela de destino, e os dados originais incorretos são descartados. Por exemplo, se uma linha de dados do SLS tiver três campos (col1, col2 e col3) e o campo col2 contiver dados incorretos, o valor de col2 será convertido para NULL e gravado na tabela. Os dados dos campos col1 e col3 serão gravados normalmente.
     Convert UNIX Timestamp into Datetime	Se um campo de origem do SLS for um timestamp Unix (por exemplo, 1710604800) e o tipo do campo de destino for DATETIME ou TIMESTAMP, ative este recurso para converter o timestamp. Após ativá-lo, selecione Timestamp Accurate to Seconds, Timestamp Accurate to Milliseconds ou Timestamp Accurate to Microseconds conforme a precisão dos seus dados do SLS.

4. Após configurar os parâmetros, clique em Submit.

Etapa 4: Iniciar a tarefa de sincronização de dados

1. Na página Data Synchronization, selecione a tarefa de sincronização de dados criada. Na coluna Actions, clique em Start.

2. Clique em Search no canto superior direito. A tarefa de sincronização foi iniciada com sucesso quando o status mudar para Running.

Etapa 5: Gerenciar fontes de dados

Na página Data Synchronization, as seguintes ações estão disponíveis na coluna Actions.