ApsaraDB for SelectDB:Migrar dados do StarRocks

Pré-requisitos

• Garanta a conectividade de rede entre a instância do StarRocks e a instância do ApsaraDB for SelectDB.

  • Todos os nós do cluster do SelectDB e a instância do ApsaraDB for SelectDB devem estar na mesma VPC. Se estiverem em VPCs diferentes, estabeleça primeiro a conectividade de rede. Para mais informações, consulte How do I establish network connectivity between an ApsaraDB for SelectDB instance and a data source?

  • Adicione o endereço IP da instância do StarRocks à lista de permissões do SelectDB da instância do ApsaraDB for SelectDB. Para mais informações, consulte Configure a whitelist.

  • Se a instância do StarRocks usar uma lista de permissões, adicione o bloco CIDR da VPC onde reside a instância do SelectDB à lista de permissões do StarRocks.

    • Para obter o intervalo de IPs da VPC onde reside a instância do SelectDB, consulte How do I find the IP CIDR block of the VPC where my ApsaraDB for SelectDB instance is located?

    • Para obter o endereço IP público da instância do SelectDB, use o comando ping no endpoint público dela SelectDB.

• Familiarize-se com catalogs e suas operações básicas. Para mais informações, consulte Lakehouse Data Processing.

Ambiente de exemplo

Este exemplo mostra como migrar dados da tabela SR_t no banco de dados starRocks_db do StarRocks para a tabela test_SR2SelectDB no banco de dados test_db do SelectDB. Ao realizar a migração, altere os parâmetros conforme necessário. O ambiente de exemplo é o seguinte:

• Banco de dados de destino: test_db

• Tabela de destino: test_SR2SelectDB

• Banco de dados de origem: starRocks_db

• Tabela de origem: SR_t

Exemplo: Preparar dados de origem

Faça login na instância StarRocks de origem e conclua as etapas a seguir.

1. Crie um banco de dados.

   CREATE DATABASE starRocks_db;

2. Crie uma tabela.

   CREATE TABLE SR_t
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

3. Insira dados.

   INSERT INTO SR_t VALUES
   (1, 'Alice', 25),
   (2, 'Bob', 30),
   (3, 'Charlie', 35),
   (4, 'David', 40),
   (5, 'Eve', 45);

Procedimento

1. Conecte-se à instância do SelectDB. Para mais informações, consulte Connect to an instance.

   Nota

   O comando SWITCH não funciona quando você faz login usando o Data Management Service (DMS). Conecte-se usando um cliente MySQL.

2. Crie um catalog JDBC do StarRocks. Para mais informações, consulte JDBC data source.

   CREATE CATALOG starrocks_catalog PROPERTIES (
       "type"="jdbc",
       "user"="root",
       "password"="123456",
       "jdbc_url" = "jdbc:mysql://127.0.0.1:3306/demo",
       "driver_url" = "mysql-connector-java-8.0.25.jar",
       "driver_class" = "com.mysql.cj.jdbc.Driver",
       "checksum" = "fdf55dcef04b09f2eaf42b75e61ccc9a"
   )

   Parâmetros

   Parâmetro	Obrigatório	Valor padrão	Descrição
   user	Sim	Nenhum	Conta do banco de dados StarRocks.
   password	Sim	Nenhum	Senha do banco de dados StarRocks.
   jdbc_url	Sim	Nenhum	String de conexão JDBC. Deve conter o endereço de conexão do banco de dados StarRocks.
   driver_url	Sim	Nenhum	Nome do pacote JAR do driver JDBC. Nota Use mysql-connector-java-8.0.25.jar. Para usar um pacote JAR diferente, abra um ticket para suporte.
   driver_class	Sim	Nenhum	Nome da classe do driver JDBC. Defina este parâmetro como com.mysql.cj.jdbc.Driver.
   lower_case_table_names (Renomeado para lower_case_meta_names na versão 4,0)	Não	"false"	Especifica se os nomes de bancos de dados e tabelas da fonte de dados JDBC externa devem ser sincronizados em letras minúsculas. true: Permite consultar bancos de dados e tabelas com nomes que não estão em minúsculas, mantendo um mapeamento dos nomes em minúsculas para os nomes reais no sistema remoto. Nesse caso, os nomes de bancos de dados, tabelas e colunas são convertidos para minúsculas. false: Não é possível consultar bancos de dados e tabelas com nomes que não estejam em minúsculas. Importante Para o SelectDB 3.0: Se o parâmetro lower_case_table_names do FE estiver definido como 1 ou 2, defina o parâmetro lower_case_table_names do catalog como true. Se o parâmetro lower_case_table_names do FE estiver definido como 0, o parâmetro do catalog pode ser definido como true ou false. Para o SelectDB 4,0: Se o parâmetro lower_case_table_names do FE estiver definido como 0 ou 2, os nomes de bancos de dados, tabelas e colunas não são convertidos. Se o parâmetro lower_case_table_names do FE estiver definido como 1, os nomes das tabelas são convertidos para minúsculas, mas os nomes de bancos de dados e colunas não.
   only_specified_database	Não	"false"	Especifica se apenas o banco de dados especificado deve ser sincronizado. true: Sincroniza apenas o banco de dados especificado na URL JDBC. false: Sincroniza todos os bancos de dados na URL JDBC.
   include_database_list	Não	""	Quando only_specified_database=true, especifica os bancos de dados a serem sincronizados. Separe vários bancos de dados com vírgulas (,). Os nomes dos bancos de dados diferenciam maiúsculas de minúsculas.
   exclude_database_list	Não	""	Quando only_specified_database=true, especifica os bancos de dados a serem excluídos da sincronização. Separe vários bancos de dados com vírgulas (,). Os nomes dos bancos de dados diferenciam maiúsculas de minúsculas.
   meta_names_mapping	Não	""	Se a fonte de dados externa tiver nomes que diferem apenas em maiúsculas/minúsculas, como DORIS e doris, a consulta ao catalog pode causar um erro devido à ambiguidade. Nesse caso, configure o parâmetro meta_names_mapping para resolver o conflito. Para mais informações, consulte Configurações de diferenciação de maiúsculas e minúsculas. Importante Este parâmetro aplica-se apenas ao SelectDB 4,0.

3. Visualize o catalog.

   SHOW CATALOGS; -- Check if the catalog was created successfully.

   O resultado a seguir é retornado.

   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | 436009309195 | SR_catalog | jdbc      |           | 2024-08-06 17:09:08.058 | 2024-07-19 18:04:37 |                        |
   |            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

4. (Opcional) Alterne para o catalog externo SR_catalog.

   Você pode visualizar e acessar os dados no catalog externo SR_catalog da mesma forma que em um catalog interno.

   Nota

   Atualmente, o Alibaba Cloud SelectDB suporta apenas operações de leitura em dados de catalogs externos.

   SWITCH SR_catalog;

5. (Opcional) Alterne para o catalog interno.

   Se você não executou a Etapa 4, pule esta etapa.

   SWITCH internal;

6. (Opcional) Crie um banco de dados.

   Se você já criou o banco de dados de destino, pule esta etapa.

   CREATE database test_db;

7. Alterne para o banco de dados de destino.

   USE test_db;

8. Crie uma tabela.

   Se você já tem uma tabela de destino, verifique se os tipos de coluna na tabela de destino correspondem aos tipos de coluna nos dados de origem do StarRocks.

   Se você não tem uma tabela de destino, garanta que os tipos de coluna correspondam aos tipos de coluna nos dados de origem do StarRocks ao criar a tabela.

   Para mais informações sobre mapeamento de colunas, consulte Type mapping.

   CREATE TABLE test_SR2SelectDB
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

9. Migre os dados.

   INSERT INTO test_SR2SelectDB SELECT *  FROM doris_catalog.SR_db.SR_t;

10. Verifique o status da importação de dados.

    SELECT *  FROM test_SR2SelectDB;