ApsaraDB for SelectDB:Migrasikan data dari database Doris

Prasyarat

• Persyaratan OSS:

  • OSS telah diaktifkan. Untuk informasi lebih lanjut, lihat Aktifkan OSS.

  • Pengguna RAM yang digunakan untuk mengakses OSS memiliki izin baca dan tulis pada objek OSS. Untuk informasi tentang cara memberikan izin, lihat Ikhtisar izin dan kontrol akses.

• Persyaratan akun:

  Anda telah membuat akun database. Untuk informasi lebih lanjut, lihat Manajemen akun.

Persiapan

Buat bucket di OSS. Untuk informasi lebih lanjut, lihat Buat bucket.

Dalam contoh ini, bucket diberi nama test-selectdb.

Langkah 1: Ekspor data sumber

1. Login ke kluster sumber.

   Untuk informasi tentang cara login ke database Doris yang dikelola sendiri, lihat Menghubungkan melalui Protokol MySQL - Apache Doris.

2. (Opsional) Siapkan data sampel.

   Jika Anda sudah memiliki data yang siap dimigrasikan, langkah ini dapat dilewati.

   1. Buat database.

      Jalankan pernyataan berikut untuk membuat database:

      CREATE DATABASE source_db;

   2. Buat tabel.

      Jalankan pernyataan berikut untuk membuat tabel:

      CREATE TABLE IF NOT EXISTS source_tb (
          `c1` int(11) NULL,
          `c2` string NULL,
          `c3` bigint NULL
      )
      DISTRIBUTED BY HASH(c1) BUCKETS 20
      PROPERTIES("replication_num" = "1");

   3. Masukkan data sampel.

      INSERT INTO source_tb VALUES
          (1, 'doris', 18),
          (2, 'nereids', 20),
          (3, 'pipelibe', 99999),
          (4, 'Apache', 122123455),
          (5, null, null);

   4. Verifikasi data.

      Jalankan pernyataan berikut untuk memverifikasi data sampel:

      SELECT * FROM `source_tb` limit 10;

      Hasil berikut dikembalikan:

      +--------------+--------------+--------------+
      | c1           | c2           | c3           |
      +--------------+--------------+--------------+
      | 1            | doris        | 18           |
      | 3            | pipelibe     | 99999        |
      | 5            |              |              |
      | 2            | nereids      | 20           |
      | 4            | Apache       | 122123455    |
      +--------------+--------------+--------------+

3. Backup pernyataan CREATE TABLE untuk tabel sumber.

   Anda dapat menggunakan pernyataan SHOW CREATE TABLE untuk melihat pernyataan pembuatan tabel dan mencadangkannya. Berikut adalah contohnya.

   SHOW CREATE TABLE source_tb ;

   Hasil berikut dikembalikan:

   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | Table           | Create Table                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     |
   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   | source_tb       | CREATE TABLE `source_tb` (
                           `c1` int NULL,
                           `c2` text NULL,
                           `c3` bigint NULL
                         ) ENGINE=OLAP
                         DUPLICATE KEY(`c1`)
                         DISTRIBUTED BY HASH(`c1`) BUCKETS 20
                         PROPERTIES (
                         "file_cache_ttl_seconds" = "0",
                         "is_being_synced" = "false",
                         "storage_medium" = "hdd",
                         "storage_format" = "V2",
                         "inverted_index_storage_format" = "V2",
                         "light_schema_change" = "true",
                         "disable_auto_compaction" = "false",
                         "enable_single_replica_compaction" = "false",
                         "group_commit_interval_ms" = "10000",
                         "group_commit_data_bytes" = "134217728"
                         ); |
   +-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
   Rows returned: [1], Time taken: [22ms]

4. Ekspor data ke bucket OSS.

   Jalankan pernyataan EXPORT untuk mengekspor data ke bucket OSS.

   Sintaks:

   EXPORT TABLE table_name
   [PARTITION (p1[,p2])]
   [WHERE]
   TO export_path
   [opt_properties]
   WITH S3
   [s3_properties];

   Tabel berikut menjelaskan parameter tersebut.

   Parameter	Wajib	Deskripsi
   table_name	Ya	Nama tabel dari mana Anda ingin mengekspor data.
   partition	Tidak	Menentukan partisi tabel yang ingin diekspor.
   where	Tidak	Memfilter data yang akan diekspor.
   export_path	Ya	Jalur tempat file yang diekspor disimpan. Ini bisa berupa direktori, atau direktori dengan awalan file, seperti s3://path/to/my_file_.
   opt_properties	Tidak	Menentukan properti untuk pekerjaan ekspor. Untuk informasi lebih lanjut, lihat Sintaks opt_properties.
   s3_properties	Ya	Menentukan properti terkait protokol S3. Untuk informasi lebih lanjut, lihat Sintaks s3_properties.

   Sintaks opt_properties:

   [PROPERTIES ("key"="value", ...)]

   Anda dapat menentukan parameter berikut.

   Parameter	Wajib	Deskripsi
   label	Tidak	Label untuk pekerjaan ekspor. Jika Anda tidak menentukan label, sistem akan menghasilkan satu secara otomatis.
   column_separator	Tidak	Pemisah kolom untuk data yang diekspor. Nilai default adalah \t. Parameter ini mendukung karakter multi-byte dan hanya digunakan untuk format file CSV.
   line_delimiter	Tidak	Pemisah baris untuk data yang diekspor. Default ke \n dan mendukung karakter multi-byte. Parameter ini hanya digunakan untuk format file CSV.
   columns	Tidak	Menentukan kolom tabel yang ingin diekspor.
   format	Tidak	Format file dari data yang diekspor. Format yang didukung: parquet, orc, csv, csv_with_names, dan csv_with_names_and_types. Format default adalah csv.
   max_file_size	Tidak	Ukuran maksimum file tunggal yang diekspor. Jika set hasil melebihi ukuran ini, akan dibagi menjadi beberapa file. Rentang nilai: 5 MB hingga 2 GB Nilai default: 1 GB Ketika Anda menentukan format file ekspor sebagai ORC (yaitu, parameter format_as adalah ORC), ukuran sebenarnya dari file yang dipisah adalah ceil (max_file_size/64) * 64 MB.
   parallelism	Tidak	Paralelisme pekerjaan ekspor. Nilai default adalah 1. Pekerjaan ekspor memulai sejumlah thread yang sama dengan nilai paralelisme untuk mengeksekusi pernyataan select into outfile. (Jika nilai paralelisme lebih besar dari jumlah tablet dalam tabel, sistem secara otomatis mengatur paralelisme ke jumlah tablet. Ini berarti setiap pernyataan select into outfile bertanggung jawab atas satu tablet).
   delete_existing_files	Tidak	Menentukan apakah akan menghapus semua file di jalur tujuan. false (default): Tidak menghapus file di jalur tujuan. true: Menghapus semua file di direktori yang ditentukan oleh export_path lalu mengekspor data ke direktori tersebut. Contohnya: Jika "file_path" = "/user/tmp", semua file dan direktori di "/user/" akan dihapus. Jika "file_path" = "/user/tmp/", semua file dan direktori di "/user/tmp/" dihapus. Peringatan Menentukan delete_existing_files = true adalah operasi berisiko. Kami menyarankan Anda hanya menggunakan pengaturan ini di lingkungan pengujian. Untuk menggunakan parameter delete_existing_files, Anda dapat mengajukan tiket ke layanan pelanggan Alibaba Cloud. Parameter delete_existing_files hanya berlaku setelah tim teknis SelectDB menambahkan konfigurasi enable_delete_existing_files = true ke file fe.conf dan me-restart FE.
   with_bom	Tidak	Nilai default adalah false. Jika diatur ke true, file yang diekspor dikodekan dalam UTF-8 dengan Byte Order Mark (BOM). Parameter ini hanya berlaku untuk format file terkait CSV.
   timeout	Tidak	Periode timeout untuk pekerjaan ekspor. Nilai default adalah 2 jam. Satuan: detik.

   Sintaks s3_properties:

   ("key"="value"[,...])

   Anda dapat menentukan parameter berikut.

   Parameter	Wajib	Deskripsi
   s3.endpoint	Ya	Titik akhir penyimpanan tujuan yang kompatibel dengan S3. Contoh ini menggunakan Alibaba Cloud OSS untuk migrasi. Dalam hal ini, parameter yang digunakan adalah akses data OSS Titik akhir. Untuk mendapatkan Titik akhir, lihat Wilayah dan Titik Akhir. Penting Pastikan bucket OSS dan instans ApsaraDB for SelectDB Anda berada di wilayah yang sama.
   s3.access_key	Ya	ID AccessKey untuk tujuan penyimpanan yang kompatibel dengan S3. Contoh ini menggunakan Alibaba Cloud OSS untuk migrasi. Ini adalah ID AccessKey Pengguna RAM yang digunakan untuk mengakses OSS.
   s3.secret_key	Ya	Rahasia AccessKey untuk tujuan penyimpanan yang kompatibel dengan S3. Contoh ini menggunakan Alibaba Cloud OSS untuk migrasi, dan ini adalah Rahasia AccessKey Pengguna RAM yang mengakses OSS.
   s3.region	Ya	Wilayah tujuan penyimpanan yang kompatibel dengan S3. Karena contoh ini menggunakan Alibaba Cloud OSS untuk migrasi, parameter ini adalah wilayah bucket OSS. Untuk informasi tentang cara mendapatkan wilayah, lihat Wilayah dan titik akhir.
   use_path_style	Tidak	Default-nya adalah false. Secara default, SDK S3 menggunakan gaya virtual-hosted untuk akses. Namun, beberapa sistem penyimpanan objek mungkin tidak mendukung akses gaya virtual-hosted. Anda dapat menambahkan parameter use_path_style untuk memaksa akses gaya path. Catatan URI saat ini mendukung tiga skema: http://, https://, dan s3://. Jika Anda menggunakan http:// atau https://, parameter use_path_style mengontrol apakah akses gaya path digunakan untuk target protokol S3. Jika Anda menggunakan s3://, target S3 akan diakses menggunakan gaya virtual-hosted.

   Kode berikut memberikan contoh:

   EXPORT TABLE  source_tb  -- Ekspor data dari tabel source_tb.
               TO "s3://test-selectdb/test/"  -- Ekspor data ke folder test di bucket test-selectdb.
               PROPERTIES (
                   "label" = "test_export", -- Label untuk pekerjaan.
                   "format" = "orc",   -- Format penyimpanan file adalah ORC.
                   "max_file_size" = '2048MB', -- Ukuran untuk pemisahan file.
                   'parallelism' = '10'  -- Paralelisme ekspor adalah 10.
               ) WITH s3 (
                   "s3.endpoint" = "oss-cn-hangzhou-internal.aliyuncs.com",  -- URL untuk mengakses bucket OSS.
                   "s3.region" = "oss-cn-hangzhou",  -- Wilayah bucket OSS.
                   "s3.secret_key"="yourAccessKeySecret",  -- Rahasia AccessKey Pengguna RAM untuk mengakses OSS.
                   "s3.access_key" = "LTAI****************"  -- ID AccessKey Pengguna RAM untuk mengakses OSS.
               );

5. Verifikasi bahwa data telah diekspor.

   Anda dapat memverifikasi ekspor data dengan salah satu cara berikut:

   • Jalankan pernyataan.

     Di klien yang terhubung ke Doris, jalankan pernyataan berikut untuk memeriksa status ekspor:

     SHOW export;

     • Ekspor berhasil: Jika State bernilai FINISHED, ekspor berhasil.

     • Ekspor gagal: Jika State dalam hasil bernilai CANCELLED, ekspor data gagal. Gunakan informasi di ErrorMsg untuk memecahkan masalah kegagalan tersebut.

   • Gunakan konsol OSS.

     Login ke konsol OSS dan periksa apakah file yang sesuai telah dihasilkan di jalur ekspor yang ditentukan.

Langkah 2: Impor data

1. Login ke kluster tujuan. Untuk informasi lebih lanjut, lihat Hubungkan ke instans ApsaraDB for SelectDB menggunakan DMS.

2. Buat tabel tujuan.

3. Buat database.

   1. (Opsional) Buat database.

      Jika Anda sudah memiliki database tujuan, langkah ini dapat dilewati.

      Jalankan pernyataan berikut untuk membuat database:

      CREATE DATABASE aim_db;

   2. Buat tabel.

      Jalankan pernyataan CREATE TABLE yang telah Anda backup pada langkah ekspor.

      Kode berikut memberikan contoh:

      CREATE TABLE IF NOT EXISTS aim_tb (
          `c1` int(11) NULL,
          `c2` string NULL,
          `c3` bigint NULL
      ) ENGINE=OLAP
      DUPLICATE KEY(`c1`)
      DISTRIBUTED BY HASH(c1) BUCKETS 20
      PROPERTIES("replication_num" = "1");

4. Impor data.

   Gunakan S3 load untuk mengimpor data OSS ke SelectDB. Untuk sintaks S3 load dan contoh lainnya, lihat OSS Load.

   Kode berikut memberikan contoh:

    LOAD LABEL label_1  -- Pengidentifikasi unik untuk pekerjaan. Anda dapat menentukan nama kustom.
                   (
                       DATA INFILE("s3://test-selectdb/test/59ab2e9dc4ec4c04-9e50e45a6fda2c8e_0.orc")  -- Jalur OSS file data yang diekspor pada langkah sebelumnya.
                       INTO TABLE aim_tb  -- Nama tabel tujuan untuk mengimpor data.
                       FORMAT AS ORC   -- Format file impor, yang harus sama dengan format file yang diekspor.
                   )
                   WITH S3
                   (
                       "AWS_PROVIDER" = "OSS",
                       "AWS_REGION" = "oss-cn-hangzhou",  -- Wilayah bucket OSS.
                       "AWS_ENDPOINT" = "oss-cn-hangzhou-internal.aliyuncs.com",  -- URL untuk mengakses bucket OSS.
                       "AWS_ACCESS_KEY" = "LTAI****************",  -- ID AccessKey Pengguna RAM untuk mengakses OSS.
                       "AWS_SECRET_KEY"="yourAccessKeySecret"  -- Rahasia AccessKey Pengguna RAM untuk mengakses OSS.
                   )
                   PROPERTIES
                   (
                       "timeout" = "3600"   -- Periode timeout untuk pekerjaan impor.
                   );

5. Verifikasi hasil impor.

   Anda dapat memeriksa hasil impor dengan salah satu cara berikut:

   • Jalankan pernyataan.

     Pada klien yang terhubung ke SelectDB, Anda dapat menjalankan pernyataan berikut untuk memeriksa status ekspor.

     SHOW load;

     Impor berhasil: Jika State dalam hasil bernilai FINISHED, impor data berhasil.

   • Kueri tabel tujuan. Kode berikut memberikan contoh:

     SELECT * FROM `aim_tb` limit 10;

     Hasil berikut dikembalikan:

     +--------------+--------------+--------------+
     | c1           | c2           | c3           |
     +--------------+--------------+--------------+
     | 1            | doris        | 18           |
     | 3            | pipelibe     | 99999        |
     | 5            |              |              |
     | 2            | nereids      | 20           |
     | 4            | Apache       | 122123455    |
     +--------------+--------------+--------------+

     Data di tabel tujuan cocok dengan data sumber dari Langkah 1: Ekspor data sumber, yang mengonfirmasi impor berhasil.

Prasyarat

• Pastikan konektivitas jaringan antara instans Doris dan instans SelectDB.

  • Instans Doris dan instans SelectDB harus berada di VPC yang sama. Jika berada di VPC berbeda, Anda harus terlebih dahulu menyelesaikan masalah konektivitas jaringan. Untuk informasi lebih lanjut, lihat Bagaimana cara menyelesaikan masalah konektivitas jaringan antara instans SelectDB dan sumber data?

  • Alamat IP instans Doris telah ditambahkan ke daftar putih SelectDB. Untuk informasi lebih lanjut, lihat Atur daftar putih.

  • Jika instans Doris menggunakan daftar putih, Anda telah menambahkan rentang alamat IP instans SelectDB ke daftar putih instans Doris.

    • Untuk mendapatkan rentang IP VPC tempat instans SelectDB Anda berada, lihat Bagaimana cara menemukan Blok CIDR IP VPC tempat instans ApsaraDB for SelectDB saya berada?

    • Untuk mendapatkan Alamat IP publik instans SelectDB Anda, gunakan perintah ping pada titik akhir publiknyaSelectDB.

• Versi SelectDB tidak boleh lebih rendah dari versi Doris.

  Catatan

  SelectDB adalah gudang data real-time cloud-native yang dibangun di atas Doris. Untuk hubungan antara versinya, lihat Catatan Rilis Kernel.

• Anda terbiasa dengan katalog dan operasi dasarnya. Untuk informasi lebih lanjut, lihat Data lakehouse.

Lingkungan contoh

Contoh ini memigrasikan data dari tabel doris_t di database doris_db Doris ke tabel test_doris2SelectDB di database test_db SelectDB. Ubah parameter sesuai kebutuhan aktual Anda. Lingkungan contoh adalah sebagai berikut:

• Database tujuan: test_db

• Tabel tujuan: test_doris2SelectDB

• Database sumber: doris_db

• Tabel sumber: doris_t

Siapkan data sumber

Login ke database Doris sumber Anda dan lakukan operasi berikut:

1. Buat database.

   CREATE DATABASE doris_db;

2. Buat tabel.

   CREATE TABLE doris_t
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

3. Masukkan data.

   INSERT INTO doris_t VALUES
   (1, 'Alice', 25),
   (2, 'Bob', 30),
   (3, 'Charlie', 35),
   (4, 'David', 40),
   (5, 'Eve', 45);

Prosedur

1. Hubungkan ke instans SelectDB. Untuk informasi lebih lanjut, lihat Hubungkan ke instans Cloud Database SelectDB menggunakan klien MySQL.

2. Buat katalog JDBC untuk database Doris.

   CREATE CATALOG doris_catalog PROPERTIES (
    "type"="jdbc",
    "user"="root",
    "password"="123456",
    "jdbc_url" = "jdbc:mysql://127.0.0.1:9030/doris_db",
    "driver_url" = "mysql-connector-java-8.0.25.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver"
   )

   Parameter	Wajib	Default	Deskripsi
   user	Ya	Tidak ada	Username untuk akun database Doris.
   password	Ya	Tidak ada	Password untuk akun database Doris.
   jdbc_url	Ya	Tidak ada	String koneksi JDBC, yang harus mencakup alamat koneksi database Doris. Format: jdbc:mysql://<host>:<port>/<database> host: Alamat IP database Doris. port: Nomor port database Doris. database: Nama database yang ingin Anda akses. Contoh: jdbc:mysql://127.0.0.1:9030/doris_db
   driver_url	Ya	Tidak ada	Nama file JAR driver JDBC. Catatan Kami merekomendasikan Anda menggunakan mysql-connector-java-8.0.25.jar. Jika Anda ingin menggunakan file JAR yang berbeda, silakan ajukan tiket dukungan.
   driver_class	Ya	Tidak ada	Nama kelas driver JDBC. Pengaturan yang direkomendasikan adalah com.mysql.cj.jdbc.Driver.
   lower_case_table_names Catatan Parameter ini diganti namanya menjadi lower_case_meta_names di versi 4.0.	Tidak	"false"	Menentukan apakah akan menyinkronkan nama database dan tabel dari sumber data JDBC eksternal dalam huruf kecil. true: Memungkinkan Anda mengkueri database dan tabel dengan nama non-huruf kecil dengan mempertahankan pemetaan dari nama huruf kecil ke nama aktualnya di sistem remote. Dalam hal ini, nama database, tabel, dan kolom semuanya dikonversi ke huruf kecil. false: Tidak memungkinkan Anda mengkueri database dan tabel dengan nama non-huruf kecil. Penting Untuk SelectDB 3.0: Ketika parameter lower_case_table_names FE diatur ke 1 atau 2, parameter lower_case_table_names Catalog harus diatur ke true. Ketika parameter lower_case_table_names FE diatur ke 0, parameter untuk Catalog dapat true atau false. Untuk SelectDB 4.0: Ketika parameter lower_case_table_names FE diatur ke 0 atau 2, nama database, tabel, atau kolom tidak dikonversi. Ketika parameter lower_case_table_names FE diatur ke 1, nama tabel dikonversi ke huruf kecil, sedangkan nama database dan kolom tidak.
   only_specified_database	Tidak	"false"	Menentukan apakah hanya akan menyinkronkan database yang ditentukan. true: Hanya menyinkronkan database yang ditentukan dalam URL JDBC. false: Menyinkronkan semua database yang dapat diakses melalui URL JDBC.
   include_database_list	Tidak	""	Ketika only_specified_database=true, tentukan satu atau beberapa database untuk disinkronkan, dipisahkan dengan koma. Nama database peka huruf besar/kecil.
   exclude_database_list	Tidak	""	Ketika only_specified_database=true, tentukan database yang akan dikecualikan dari sinkronisasi, dipisahkan dengan koma. Nama database peka huruf besar/kecil.
   meta_names_mapping	Tidak	""	Jika sumber data eksternal memiliki nama yang identik kecuali perbedaan huruf besar/kecilnya, seperti DORIS dan doris, Doris melaporkan error saat mengkueri Catalog karena ambiguitas. Untuk menyelesaikan konflik ini, konfigurasikan parametermeta_names_mapping. Untuk informasi lebih lanjut, lihat Sinkronisasi nama huruf kecil. Penting Parameter ini hanya berlaku untuk versi SelectDB 4.0.

3. Lihat katalog.

   SHOW CATALOGS; -- Periksa apakah katalog berhasil dibuat.

   Hasil berikut dikembalikan:

   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
   | 436009309195 | doris_catalog | jdbc      |           | 2024-08-06 17:09:08.058 | 2024-07-19 18:04:37 |                        |
   |            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
   +--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

4. (Opsi) Beralih ke katalog eksternal doris_catalog.

   Anda dapat melihat dan mengakses data di katalog eksternal doris_catalog dengan cara yang sama seperti mengakses data di katalog internal.

   Catatan

   Saat ini, ApsaraDB for SelectDB hanya mendukung operasi baca pada data di Katalog Eksternal.

   SWITCH doris_catalog;

5. (Opsi) Beralih ke katalog internal.

   Jika Anda tidak melakukan langkah 4, lewati langkah ini.

   SWITCH internal;

6. (Opsi) Buat database.

   Jika Anda sudah memiliki database tujuan, langkah ini dapat dilewati.

   CREATE database test_db;

7. Beralih ke database tujuan.

   USE test_db;

8. Buat tabel.

   Jika tabel tujuan sudah ada, pastikan tipe data kolomnya dipetakan dengan benar ke tabel sumber.

   Jika Anda belum memiliki tabel tujuan, pastikan tipe data kolomnya dipetakan dengan benar ke tabel sumber Doris saat membuat tabel.

   Untuk informasi lebih lanjut tentang pemetaan kolom, lihat Pemetaan tipe data.

   CREATE TABLE test_doris2SelectDB
   (
       id int,
       name string,
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

9. Migrasikan data.

   INSERT INTO test_doris2SelectDB SELECT *  FROM doris_catalog.doris_db.doris_t;

10. Verifikasi impor data.

    SELECT *  FROM test_doris2SelectDB;