Migrasi data merupakan skenario umum di mana akurasi data secara langsung memengaruhi operasi bisnis. Oleh karena itu, memastikan konsistensi data sebelum dan sesudah migrasi sangatlah penting. Cloud Migration Hub menyediakan berbagai metode verifikasi untuk berbagai sumber data, termasuk layanan basis data dan Object Storage Service (OSS), guna memastikan konsistensi data antara sumber dan tujuan. Topik ini menjelaskan cara menggunakan fitur verifikasi data.
1. Gunakan fitur verifikasi data
Proses menggunakan fitur verifikasi data mencakup langkah-langkah berikut:
Langkah 1: Instal Agen Verifikasi Data. Cloud Migration Hub perlu mengakses dan membandingkan data dari sumber dan tujuan untuk melakukan verifikasi data. Hal ini mungkin melibatkan data sensitif. Untuk mencegah kebocoran data sensitif, Anda harus menyediakan server yang terhubung ke kedua sumber dan tujuan data untuk menerapkan agen verifikasi data. Kami merekomendasikan agar Anda menggunakan Instance Elastic Compute Service (ECS) dari Alibaba Cloud.
Langkah 2: Konfigurasikan Sumber Data dan Buat Rencana Verifikasi. Dalam sebagian besar skenario, Anda hanya perlu memverifikasi data tertentu dalam sumber data. Oleh karena itu, Anda harus menentukan ruang lingkup dan metode verifikasi data. Kemudian, pilih agen untuk melakukan verifikasi.
Langkah 3: Mulai Verifikasi. Setelah Anda membuat tugas verifikasi, Anda dapat mengirim perintah verifikasi ke agen yang ditentukan untuk tugas tersebut. Agen secara otomatis mengembalikan hasil verifikasi setelah verifikasi selesai. Tidak diperlukan operasi tambahan. Anda hanya perlu menunggu hingga selesai.
Langkah 4: Lihat Hasilnya. Setelah agen mengembalikan hasil, Anda dapat melihat hasil dan detailnya di konsol Cloud Migration Hub.
Langkah-langkah ini memungkinkan verifikasi konsistensi data berbasis GUI antara sumber dan tujuan, memastikan pemotongan data yang lancar.
2. Ikhtisar Fitur
2.1 Skenario
Cloud Migration Hub menyediakan fitur verifikasi data yang efisien dan ringan, dirancang khusus untuk migrasi data dalam skenario layanan basis data dan penyimpanan objek. Setelah migrasi selesai, fitur ini mengambil sampel data untuk memeriksa konsistensi data antara sumber dan tujuan, sehingga memastikan stabilitas bisnis. Selama jendela pemutusan sistem, fitur ini melaksanakan verifikasi cepat setelah sistem dimatikan untuk memberikan jaminan kualitas real-time untuk migrasi data.
Waktu Verifikasi
Untuk memastikan akurasi verifikasi, kami menyarankan Anda memulai verifikasi ketika kondisi berikut terpenuhi:
Migrasi selesai pada sumber dan tujuan data.
Sinkronisasi atau migrasi inkremental selesai.
Tindakan Pencegahan
Jika Anda melakukan verifikasi saat migrasi data masih berlangsung, termasuk fase migrasi penuh dan sinkronisasi inkremental, masalah berikut dapat terjadi karena data di ujung sumber dan tujuan dapat mengalami perubahan terus-menerus:
Hasil verifikasi tidak akurat
Kesalahan penilaian konsistensi data
Gangguan proses migrasi
Cloud Migration Hub mengadopsi algoritma verifikasi data ringan untuk mempertahankan tingkat akurasi verifikasi yang tinggi sambil meminimalkan overhead sumber daya, memberikan jaminan kualitas yang andal untuk migrasi data dalam sistem bisnis utama dan membantu perusahaan mencapai migrasi data yang mulus dan aman.
2.2 Layanan yang Didukung dan Metode Verifikasi
Layanan Basis Data
Layanan yang Didukung | Hitungan | TopN | SumX | CheckSum | ObjectStore |
MySQL | Mendapatkan jumlah baris dalam tabel. | Mendapatkan n baris pertama dalam tabel untuk perbandingan. | Mendapatkan jumlah bidang tertentu dalam tabel. | Mendapatkan checksum tabel. | Tidak didukung. |
Redis | Membandingkan ukuran nilai dari kunci tertentu. | Membandingkan atribut nilai n dari kunci tertentu. | Membandingkan nilai kunci yang ditentukan atau disampel antara ujung sumber dan tujuan. Misalnya, Anda dapat menentukan 100 kunci. | Tidak didukung. | Tidak didukung. |
MongoDB | Mendapatkan jumlah dokumen dalam koleksi. | Mendapatkan n dokumen pertama dalam koleksi untuk perbandingan. | Mendapatkan jumlah bidang tertentu dalam koleksi. | Tidak didukung. | Tidak didukung. |
Elasticsearch | Mendapatkan jumlah dokumen dalam indeks. | Mendapatkan n dokumen pertama dalam indeks untuk perbandingan. | Tidak didukung. | Tidak didukung. | Tidak didukung. |
Untuk data terurut Redis, metode TopN digunakan untuk verifikasi. Untuk data tidak terurut Redis, metode Hitungan digunakan.
Layanan Penyimpanan Objek
Layanan yang Didukung | ListObject | ContentCheck | Inventaris |
Alibaba Cloud Object Storage Service (OSS) | Membandingkan nama dan ukuran semua objek dalam bucket. Ukuran diukur dalam byte. | Menjalankan verifikasi MD5 pada setiap objek dalam laporan yang dihasilkan oleh layanan migrasi online. | Membandingkan objek berdasarkan daftar inventaris yang dihasilkan. Jika ada objek yang tidak konsisten, operasi getObject dipanggil untuk verifikasi sekunder. |
Huawei Cloud Object Storage Service (OBS) | Membandingkan nama dan ukuran semua objek dalam bucket. Ukuran diukur dalam byte. | Menjalankan verifikasi MD5 pada setiap objek dalam laporan yang dihasilkan oleh layanan migrasi online. | Membandingkan objek berdasarkan daftar inventaris yang dihasilkan. Jika ada objek yang tidak konsisten, operasi getObject dipanggil untuk verifikasi sekunder. |
Amazon Simple Storage Service (Amazon S3) | Membandingkan nama dan ukuran semua objek dalam bucket. Ukuran diukur dalam byte. | Tidak didukung. | Membandingkan objek berdasarkan daftar inventaris yang dihasilkan. Jika ada objek yang tidak konsisten, operasi getObject dipanggil untuk verifikasi sekunder. |
Tencent Cloud Object Storage (COS) | Membandingkan nama dan ukuran semua objek dalam bucket. Ukuran diukur dalam byte. | Menjalankan verifikasi MD5 pada setiap objek dalam laporan yang dihasilkan oleh layanan migrasi online. | Membandingkan objek berdasarkan daftar inventaris yang dihasilkan. Jika ada objek yang tidak konsisten, operasi getObject dipanggil untuk verifikasi sekunder. |
3. Prosedur
3.1 Ajukan dan lihat lisensi
Masuk ke konsol Cloud Migration Hub. Di panel navigasi di sebelah kiri, pilih Kemampuan Migrasi > Verifikasi Data. Jika ini adalah pertama kalinya Anda menggunakan fitur verifikasi data, Anda dapat melihat panduan penggunaan di halaman yang muncul. Langkah pertama adalah klik Apply for a License. Kemudian, lisensi akan dibuat secara otomatis. Lisensi digunakan untuk melindungi agen verifikasi data dan mencegah agen dari penyalahgunaan. 
Anda dapat melihat periode validitas tersisa dari lisensi. Periode validitas default adalah 90 hari. Anda juga dapat mengklik View License untuk menyalin isi lisensi.
3.2 Kelola agen verifikasi data
Setelah mengajukan lisensi, Anda perlu menerapkan agen verifikasi data. Untuk menerapkan agen, siapkan satu atau lebih server sesuai dengan kebutuhan bisnis Anda.
Sistem operasi yang direkomendasikan: CentOS atau Alibaba Cloud Linux.
Persyaratan jaringan: Instance ECS Anda terhubung ke sumber data.
Cloud Migration Hub mendukung penyebaran otomatis dan manual agen.
Jika Anda ingin menerapkan agen pada Instance ECS Alibaba Cloud dengan Cloud Assistant terpasang, kami sarankan Anda menerapkan agen menggunakan metode otomatis. Secara default, Cloud Assistant sudah terpasang pada instance ECS Alibaba Cloud.
Jika Anda ingin menerapkan agen pada server cloud pihak ketiga yang terhubung ke virtual private cloud (VPC) Alibaba Cloud atau pada instance ECS Alibaba Cloud yang tidak memiliki Cloud Assistant terpasang atau gagal dipasang karena alasan tertentu, kami sarankan Anda menerapkan agen menggunakan metode manual - jaringan privat.
Jika Anda ingin menerapkan agen pada server cloud pihak ketiga yang tidak terhubung ke VPC Alibaba Cloud dan menggunakan alamat IP publik, kami sarankan Anda menerapkan agen menggunakan metode manual - jaringan publik.
3.2.1 Otomatis
Metode ini hanya didukung di wilayah China (Hangzhou), China (Shanghai), China (Zhangjiakou), China (Shenzhen), dan China (Ulanqab). Untuk menggunakan metode ini di wilayah lain, hubungi layanan purna jual online.
Catat informasi berikut:
Anda hanya dapat menggunakan metode ini jika Anda menggunakan instance ECS Alibaba Cloud.
Anda harus mengaktifkan PrivateLink sebelum menerapkan agen.
Jika Anda menggunakan PrivateLink untuk implementasi konektivitas, titik akhir balik akan dibuat di akun Anda dan dikenakan biaya. Kami menyarankan Anda melepaskannya jika tidak lagi diperlukan.
Setelah instance ECS yang diperlukan disiapkan, klik Manajemen Agen.
Di panel yang muncul, klik Instalasi Agen. 
Di kotak dialog yang muncul, atur parameter Installation method menjadi Automated Deployment, masukkan nama agen, pilih wilayah tempat Anda ingin menerapkan agen dan instance ECS tempat Anda ingin menginstal agen, lalu klik Installation.
Selama proses penyebaran, Anda dapat memantau kemajuan penyebaran agen.
Setelah agen diterapkan, agen tersebut akan muncul dalam daftar agen.
Catat informasi berikut:
Jika Anda menggunakan PrivateLink untuk implementasi konektivitas, titik akhir balik akan dibuat di akun Anda dan dikenakan biaya. Kami menyarankan Anda melepaskannya jika sudah tidak diperlukan.
3.2.2 Manual
3.2.2.1 Manual - jaringan publik
Catat informasi berikut:
Jika Anda menggunakan metode ini, Anda dapat menggunakan server di platform apa pun atau pusat data sebagai server lompat. Pastikan bahwa Cloud Migration Hub dapat mengakses server Anda melalui Internet.
Setelah instance ECS yang diperlukan disiapkan, klik Agent Management.
Di panel yang muncul, klik Instalasi Agen.
Di kotak dialog yang muncul, atur parameter Installation method menjadi Manual deployment, masukkan nama agen, atur parameter LoadBalancerType menjadi Public network, masukkan alamat IP dan nomor port, lalu klik Next step.
Di langkah Installing the Agent, perintah instalasi ditampilkan. Klik Copy untuk menyalin perintah lalu jalankan perintah tersebut pada instance ECS untuk menginstal agen.
Setelah agen diinstal, klik Next step. Di langkah Get through the network, klik Connection untuk terhubung ke agen.
Anda dapat memantau kemajuan koneksi secara online.
Setelah agen diterapkan, agen tersebut akan muncul dalam daftar agen.
3.2.2.2 Manual - jaringan privat
Metode ini hanya didukung di wilayah China (Hangzhou), China (Shanghai), China (Zhangjiakou), China (Shenzhen), dan China (Ulanqab). Jika Anda ingin menggunakan metode ini di wilayah lain, hubungi layanan purna jual online.
Catat informasi berikut:
Jika menggunakan metode ini, Anda dapat memanfaatkan instance ECS Alibaba Cloud atau server cloud pihak ketiga sebagai server lompat. Pastikan server Anda terhubung ke VPC Alibaba Cloud.
Anda harus mengaktifkan PrivateLink sebelum menerapkan agen.
Setelah instance ECS yang diperlukan disiapkan, klik Manajemen Agen.
Di panel yang muncul, klik Instalasi Agen.
Di kotak dialog yang muncul, atur parameter Installation method menjadi Manual deployment, masukkan nama agen, atur parameter LoadBalancerType menjadi Private network, pilih wilayah dan VPC, masukkan alamat IP dan nomor port, lalu klik Next step.
Di langkah Installing the Agent, perintah instalasi ditampilkan. Klik Copy untuk menyalin perintah lalu jalankan perintah tersebut pada instance ECS untuk menginstal agen.
Setelah agen diinstal, klik Next step. Pada langkah Get through the network, klik Connection untuk menghubungkan ke agen.
Anda dapat memantau kemajuan koneksi secara online.
Setelah agen diterapkan, agen tersebut akan muncul dalam daftar agen.
Catat informasi berikut:
Jika Anda menggunakan PrivateLink untuk implementasi konektivitas, titik akhir balik akan dibuat di akun Anda dan dikenakan biaya. Kami menyarankan Anda melepaskannya jika sudah tidak diperlukan.
3.2.3 Operasi manajemen agen
3.2.3.1 Hentikan
Jika Anda menerapkan agen menggunakan metode otomatis dan agen dalam keadaan Online, Anda dapat mengklik Stop untuk menghentikan agen.
Setelah agen dihentikan, agen tidak akan berjalan lagi pada instance ECS terkait dan statusnya berubah menjadi Stop dalam daftar agen. Jika tugas verifikasi data menggunakan agen yang berstatus Stop, tugas tersebut tidak dapat dimulai.
3.2.3.2 Mulai
Jika agen berada dalam keadaan Stop, Anda dapat mengklik Start untuk memulai agen tersebut.
Setelah agen dimulai, status agen berubah menjadi Online.
3.2.3.3 Hapus
Jika Anda tidak lagi memerlukan agen, Anda dapat menghapusnya dari daftar agen.
3.2.3.4 Buat koneksi baru dan salin perintah mulai
Jika agen diterapkan secara manual dan terputus, status agen berubah menjadi Offline. Anda dapat mengklik Copy Start Command dan menjalankan perintah pada instance ECS terkait. Lalu, klik Reconnect untuk membuat koneksi baru antara Cloud Migration Hub dan agen.
Setelah koneksi dibuat, status agen berubah menjadi Online.
3.3. Buat rencana verifikasi
3.3.1 Buat rencana verifikasi
OSS digunakan sebagai contoh untuk menggambarkan cara membuat rencana verifikasi. Jika Anda ingin memverifikasi data layanan lainnya, ikuti petunjuk di layar untuk metode verifikasi yang berbeda di konsol Cloud Migration Hub.
Setelah agen Anda dimulai dan jaringan terhubung, klik Buat Rencana Verifikasi. Di panel yang muncul, konfigurasikan parameter.
Konfigurasikan parameter Select Data Source dan parameter terkait. Lalu, klik Test data connection. Setelah tes berhasil, klik Confirm untuk memulai penguraian data.
Gambar di atas hanya menunjukkan konfigurasi sumber data. Jika Anda ingin memverifikasi data antara ujung sumber dan tujuan, Anda juga harus mengonfigurasi tujuan data.
Tunggu hingga penguraian data selesai. Lalu, rencana verifikasi dibuat. 
3.3.2 Buat tugas verifikasi data
Klik nama rencana verifikasi data untuk masuk ke halaman detail rencana tersebut.
Di halaman yang muncul, Anda dapat melihat informasi tentang agen Anda. Rencana verifikasi data hanya mendukung satu agen. Klik Tugas Baru untuk membuat tugas verifikasi data.
Di langkah Information Entry, konfigurasikan parameter dan klik Next step. Anda dapat memilih layanan berdasarkan pengaturan sumber data yang Anda konfigurasikan. Lalu, pilih metode verifikasi yang diperlukan dan konfigurasikan parameter terkait.
Di langkah Parsing results, konfigurasikan parameter dan klik Next step.
Di langkah Verification range confirmation, konfirmasikan informasi dan klik Determine.
3.3.3 Mulai tugas verifikasi data
Setelah Anda membuat tugas verifikasi data, Anda dapat mengklik Semua Validasi Inisiasi untuk memulai semua tugas. Anda juga dapat memilih tugas verifikasi data dalam daftar tugas dan mengklik Periksa Validasi Inisiasi di bawah daftar untuk memulai tugas tersebut.
Setelah Anda memulai tugas verifikasi data, tugas tersebut masuk ke status Validation in. Anda dapat menyegarkan halaman untuk melihat hasil eksekusi tugas.
Jika hasilnya tidak sesuai dengan persyaratan bisnis Anda, Anda dapat menyesuaikan data dan mengklik JALANKAN TUGAS untuk memulai ulang tugas tersebut.
3.3.4 Ubah agen
Jika Anda ingin mengubah agen dari rencana verifikasi data, klik Edit di sebelah Agent List. Di pop-up yang muncul, pilih agen yang diperlukan dan klik Determine. Rencana verifikasi data hanya mendukung satu agen. Jika Anda memilih beberapa agen, kesalahan akan dilaporkan.
Agen baru memeriksa konektivitasnya dengan sumber dan tujuan dari rencana verifikasi data yang ditentukan. Jika tidak ada kesalahan yang terjadi, perubahan berhasil.