Topik ini menjelaskan cara menggunakan fitur migrasi data untuk melakukan migrasi data penuh dari sumber data eksternal ke ApsaraDB for SelectDB.
Ikhtisar fitur
Fitur migrasi data mendukung migrasi data penuh dari sumber data berikut ke ApsaraDB for SelectDB:
Apache Doris
SelectDB
StarRocks
Prasyarat
Anda telah menyiapkan informasi koneksi kluster sumber, termasuk alamat, port, username, dan password.
Siapkan bucket Object Storage Service (OSS) sementara untuk penampungan data. Ambil titik akhir (endpoint) dan informasi otorisasinya. Tugas migrasi menggunakan bucket OSS ini untuk menyimpan data secara sementara dan secara otomatis membersihkan data setelah tugas selesai.
Prosedur
Buka halaman Migrasi Data
Masuk ke Konsol ApsaraDB for SelectDB.
Di pojok kiri atas halaman, pilih wilayah tempat instans Anda berada.
Pada halaman Instances, klik Instance ID target untuk membuka halaman Instance Details.
Klik Data Development and Management (Studio) di menu sebelah kiri halaman, lalu klik data migration.
CatatanSaat pertama kali menggunakan Data Development and Management, sistem akan meminta Anda menambahkan alamat IP publik lokal Anda ke kelompok daftar putih alamat IP webui_whitelist. Baca prompt tersebut dengan cermat dan klik OK.
Buat tugas migrasi
Pada halaman Data Migration, klik Create Migration Task dan ikuti panduan wizard untuk menyelesaikan konfigurasi langkah demi langkah.
Konfigurasikan kluster sumber dan informasi dasar tugas
Di panel navigasi sebelah kiri, buka modul migrasi dan klik Create Migration Task. Masukkan informasi yang diminta, lalu klik Next untuk memverifikasi konektivitas.
Task Name dan Description: Masukkan nama dan deskripsi kustom untuk tugas.
Source Cluster Connection Information: Masukkan titik akhir (endpoint), port JDBC, port HTTP, username, dan password untuk kluster sumber.
Konfigurasikan penyimpanan objek sementara
Pilih penyedia layanan cloud untuk penyimpanan objek, lalu masukkan Object Storage Endpoint dan Authorization Information yang sesuai.
Pilih objek yang akan dimigrasikan
Pilih database dan tabel yang akan dimigrasikan. Anda dapat memilih beberapa objek sekaligus atau menggunakan kotak pencarian untuk memfilternya. Anda juga dapat menggunakan fitur Data Filtering untuk menetapkan kondisi filter pada tabel tertentu dan hanya memigrasikan data yang memenuhi kondisi tersebut. Tugas migrasi secara otomatis membuat tabel yang sesuai di ApsaraDB for SelectDB tujuan berdasarkan skema tabel sumber, sehingga Anda tidak perlu membuat tabel terlebih dahulu. Jika Anda terhubung ke ApsaraDB for SelectDB melalui JDBC (protokol MySQL) dan mengeksekusi pernyataan
INSERTuntuk menulis data, kesalahanTable does not existakan dikembalikan jika tabel tujuan belum ada. Dalam kasus ini, Anda harus mengeksekusiCREATE TABLEuntuk membuat skema tabel sebelum menulis data.Pengaturan lanjutan
Konfigurasikan metrik kinerja untuk tugas migrasi:
Cluster: Pilih sumber daya komputasi untuk menjalankan tugas migrasi.
Table-level concurrency: Tetapkan jumlah tabel yang akan dimigrasikan secara bersamaan.
In-table concurrency: Tetapkan jumlah partisi data (Tablets) konkuren yang akan dimigrasikan dalam satu tabel.
Precheck and start
Sistem melakukan pemeriksaan awal terhadap konfigurasi. Setelah pemeriksaan awal berhasil, mulai tugas migrasi.
Konsistensi data
Konsistensi skema tabel dan data setelah migrasi bergantung pada tipe field:
Field biasa, seperti INT, VARCHAR, dan DECIMAL, mempertahankan skema tabel dan data yang konsisten.
Field agregat BITMAP dan HLL tidak mendukung migrasi langsung. Anda harus membuat ulang tabel di tujuan dan mengimpor kembali datanya menggunakan fungsi yang sesuai:
Field BITMAP: Tentukan tipe agregat BITMAP_UNION saat membuat tabel, dan gunakan fungsi
bitmap_hash()untuk mengimpor data.Field HLL: Tentukan tipe agregat HLL_UNION saat membuat tabel, dan gunakan fungsi
hll_hash()untuk mengimpor data.
Setelah migrasi selesai, bandingkan skema tabel (nama kolom, tipe, dan batasan) serta integritas data (jumlah baris dan isi data) antara sumber dan tujuan untuk memastikan hasil migrasi sesuai harapan Anda.
Lihat dan kelola tugas migrasi
Setelah Anda memulai tugas migrasi, halaman akan secara otomatis dialihkan ke daftar Data Migration. Di sini, Anda dapat melihat dan mengelola semua tugas migrasi.
View the task list: Di halaman Data Migration, lihat informasi dasar semua tugas, seperti Name, Data Source, Status, dan Created At.
View task details: Klik tombol di kolom Actions untuk suatu tugas guna membuka halaman detail tugas. Di sana, Anda dapat meninjau progres migrasi, detail tingkat tabel, dan informasi konfigurasi.