Impor Data Penuh dan Data Tambahan dari ApsaraDB RDS - Lindorm

Topik ini menjelaskan cara mengimpor data penuh dan data tambahan dari instance ApsaraDB RDS.

Perhatian

Data penuh tidak dapat lagi disinkronkan dari ApsaraDB RDS menggunakan LTS setelah 10 Maret 2023. Jika instance LTS Anda dibeli setelah 10 Maret 2023, instance tersebut tidak dapat digunakan untuk menyinkronkan data penuh dari ApsaraDB RDS. Namun, jika instance LTS Anda dibeli sebelum 10 Maret 2023, Anda masih dapat menggunakan instance LTS untuk menyinkronkan data penuh dari ApsaraDB RDS.

Skenario

Anda ingin mengimpor data historis dari instance ApsaraDB RDS ke Lindorm untuk mengurangi biaya penyimpanan.
Anda ingin mengimpor data penuh dari instance ApsaraDB RDS ke Lindorm.

Prasyarat

Instance LTS harus dibeli sebelum 10 Maret 2023.
Anda telah masuk ke antarmuka web UI dari instance LTS. Untuk informasi lebih lanjut, lihat Buat Tugas Sinkronisasi.
LTS, kluster tujuan ApsaraDB for HBase, dan instance sumber ApsaraDB RDS terhubung atau diterapkan di dalam virtual private cloud (VPC) yang sama.

Fitur

Mendukung migrasi data penuh dan data tambahan. Data penuh dan data tambahan dalam instance ApsaraDB RDS dapat diimpor ke instance LindormTable yang kompatibel dengan HBase.
Mendukung perubahan data. Data dapat diubah saat dipindahkan dari tabel sumber ke tabel tujuan. Untuk informasi lebih lanjut, lihat bagian Konfigurasi Contoh dalam topik ini.
Data dalam beberapa tabel dapat diimpor sekaligus.

Batasan

Sumber data untuk impor data penuh harus berupa database MySQL.
Sumber data untuk impor data tambahan harus berupa tugas Data Transmission Service (DTS).
Sumber data tujuan dapat berupa node LindormTable yang dikonfigurasi dengan titik akhir SQL atau titik akhir yang kompatibel dengan HBase.

Prosedur

Di antarmuka web UI dari instance LTS, pilih Data Import > RDS Migration.
Klik create.
Pilih sumber data RDS, sumber data DTS, dan sumber data tujuan.
Catatan
- Untuk informasi lebih lanjut tentang cara menambahkan sumber data tujuan LindormTable, lihat Tambahkan Sumber Data LindormTable.
- Untuk informasi lebih lanjut tentang cara menambahkan sumber data ApsaraDB RDS, lihat Sumber Data ApsaraDB RDS.
- Untuk informasi lebih lanjut tentang cara menambahkan sumber data DTS, lihat Tambahkan Sumber Data DTS.
Klik Edit untuk melihat konfigurasi default. Anda juga dapat memodifikasi konfigurasi. Untuk informasi lebih lanjut, lihat bagian Konfigurasi Contoh dalam topik ini.
Pilih tabel tempat Anda ingin mengimpor data. Lalu, klik generate configuration.
Catatan
- Saat LTS mengimpor data penuh dan data tambahan dari tabel basis data ApsaraDB RDS tertentu ke LindormTable, data historis diimpor sebelum data tambahan.
- Saat LTS memigrasikan data ke node LindormTable yang kompatibel dengan bahasa query Cassandra (CQL), sistem secara otomatis membuat kolom dengan nama dan tipe data yang sama dengan nama dan tipe data kolom di tabel sumber ApsaraDB RDS. Anda dapat menentukan nama kolom di tabel tujuan dan hubungan pemetaan antara kolom di tabel sumber dan kolom di tabel tujuan sesuai dengan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat bagian Konfigurasi Contoh dalam topik ini.
- Sistem secara otomatis menghasilkan keluarga kolom bernama f setelah data dimigrasikan ke instance tujuan. Setiap kolom di tabel ApsaraDB RDS yang ditentukan diasosiasikan dengan satu kolom di keluarga kolom f. Kunci baris adalah string gabungan dari kolom kunci utama tabel sumber ApsaraDB RDS.
- Jika konfigurasi default digunakan, data yang dihapus dari tabel basis data ApsaraDB RDS sumber setelah pekerjaan impor selesai tidak akan dihapus dari tabel tujuan. Jika Anda ingin sistem menghapus data yang dihapus dari tabel sumber, modifikasi konfigurasinya. Untuk informasi lebih lanjut, lihat bagian Konfigurasi Contoh dalam topik ini.
Klik Create.

Konfigurasi contoh

Kode berikut memberikan contoh konfigurasi untuk mengimpor data ke tabel menggunakan Lindorm SQL. Untuk informasi lebih lanjut, lihat Jtwig Reference Manual.

{
    "reader": {
        "querySql": [
            "select * from dts.cluster where id < 1000",// Pernyataan query ini dieksekusi untuk menyinkronkan data penuh. Satu pernyataan dieksekusi menggunakan satu thread baca.
      "select * from dts.cluster where id >= 1000"// Kami sarankan Anda membagi query untuk meningkatkan kecepatan query dan mengurangi biaya untuk percobaan ulang.
        ]
    },
    "writer": {
        "columns": [
            {
                "name": "f:id",// Nama kolom di tabel tujuan.
                "value": "id", // Nama kolom di tabel sumber.
                "isPk": true , // Tentukan apakah kolom ini merupakan kolom kunci utama.
                "type": "BIGINT" // Tipe data kolom di tabel tujuan. Parameter ini opsional. Jika Anda tidak menentukan parameter ini, tipe data kolom di tabel tujuan sama dengan tipe data kolom di tabel sumber.
            },
      {
                "name": "cluster_id",
                "value": "cluster_id",
                "isPk": false
            },
      {
                "name": "id_and_cluster",
                "value": "{{concat(id, cluster_id)}}",// Nama domain Jtwig dapat digunakan untuk mengubah data.
                "isPk": true
            },
        ],
        "config": {
            "skipDelete": true // Tentukan bahwa operasi penghapusan dilewati.
        },
     "table": {
         "name": "dts:cluster",// Nama tabel di kluster Lindorm tujuan. Pisahkan nama tabel dengan titik (.).
         "parameter": {
             "compression": "ZSTD"
        }
    },
    "sourceTable": "dts.cluster" 
    }
}

Kode berikut memberikan contoh konfigurasi untuk mengimpor data ke tabel menggunakan API ApsaraDB for HBase.

{
    "reader": {
        "querySql": [
            "select * from dts.cluster where id < 1000",// Pernyataan query ini dieksekusi untuk menyinkronkan data penuh. Satu pernyataan dieksekusi menggunakan satu thread baca.
      "select * from dts.cluster where id >= 1000"// Kami sarankan Anda membagi query untuk meningkatkan kecepatan query dan mengurangi biaya untuk percobaan ulang.
        ]
    },
    "writer": {
        "columns": [
            {
                "name": "f:id",// Nama kolom di tabel tujuan.
                "value": "id", // Nama kolom di tabel sumber.
        "isPk": false // Parameter ini opsional. Parameter ini tidak memengaruhi proses impor.
            },
            {
                "name": "f:cluster_id",
                "value": "cluster_id",
                "isPk": false
            },
      {
        "name": "f:id_and_cluster",
                "value": "{{concat(id, cluster_id)}}",// Nama domain Jtwig dapat digunakan untuk mengubah data.
       }
        ],
        "rowkey": {
            "value": "id" // Kunci baris tabel tujuan. Kunci baris terdiri dari kolom kunci utama di tabel basis data ApsaraDB RDS sumber. Nilai parameter ini dapat ditentukan berdasarkan sintaks Jtwig.
        },
        "config": {
            "skipDelete": true // Tentukan bahwa operasi penghapusan dilewati.
        },
        "table": {
            "name": "dts:cluster",// Nama tabel di kluster tujuan.
            "parameter": {
                "compression": "ZSTD",// Algoritma kompresi yang digunakan untuk tabel tujuan. Kami sarankan Anda menggunakan Zstandard (zstd) sebagai algoritma kompresi untuk tabel tujuan.
        "split":["1", "5", "9", "b"] // Tentukan kunci split untuk pra-partisi tabel tujuan.
            }
        },
        "sourceTable": "dts.cluster"
    }
}