Data Management (DMS) memungkinkan Anda mengarsipkan catatan historis dari database relasional ke instans Lindorm, sehingga mengurangi biaya penyimpanan pada database produksi sekaligus tetap menjaga data dapat diakses untuk kueri.
Fitur pengarsipan data hanya tersedia di wilayah Singapura dan Indonesia (Jakarta).
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Database sumber yang didukung:
MySQL: ApsaraDB RDS for MySQL, PolarDB for MySQL, atau AnalyticDB for MySQL V3.0
PostgreSQL: ApsaraDB RDS for PostgreSQL atau PolarDB for PostgreSQL
PolarDB-X
Akun database MySQL memiliki izin REPLICATION CLIENT (hanya untuk sumber MySQL).
Tabel sumber memiliki primary key atau unique key.
Instans Lindorm yang menjalankan LindormTable V2.2.17 atau versi lebih baru. Untuk membuatnya, lihat Create an instance.
Instans Lindorm telah terdaftar di DMS dengan menggunakan Lindorm SQL sebagai tipe database. Lihat Register an Alibaba Cloud database instance.
Tip: Tambahkan kolom timestamp (seperti gmt_modified) ke tabel sumber. Hal ini memungkinkan Anda menggunakan kondisi filter berbasis waktu untuk memilih hanya catatan yang ingin diarsipkan.Catatan penggunaan
Tugas periodik mengharuskan database sumber dan tujuan dikelola dalam mode Security Collaboration atau Stable Change. Tugas satu kali mendukung semua mode kontrol.
Jika Anda mengonfigurasi tugas periodik dan salah satu instans database berada dalam mode Stable Change, aktifkan security hosting atau alihkan ke mode Security Collaboration untuk mencegah kegagalan tugas akibat kedaluwarsa logon instans. Lihat Security hosting dan Change the control mode of an instance.
Untuk menjalankan tugas pengarsipan data berulang, database sumber dan tujuan harus berada dalam mode kontrol Security Collaboration atau Stable Change. Untuk menjalankan tugas pengarsipan data hanya sekali, tidak ada batasan pada mode kontrol.
CatatanJika instans Anda berada dalam mode kontrol Stable Change, aktifkan security hosting atau ubah mode kontrol menjadi Security Collaboration sebelum mengonfigurasi tugas pengarsipan data berulang. Hal ini mencegah kegagalan tugas yang disebabkan oleh kedaluwarsa logon instans. Untuk informasi selengkapnya, lihat Enable security hosting dan Change the control mode of an instance.
Fitur pengarsipan data hanya tersedia di wilayah Singapura dan Indonesia (Jakarta).
Penagihan
Anda akan dikenai biaya untuk instans Lindorm tujuan.
Arsipkan data ke instans Lindorm
Langkah 1: Buka formulir tiket pengarsipan data
Login ke Konsol DMS V5.0.
Pada bilah navigasi atas, pilih Solution > Data Archiving.
Dalam mode simple, arahkan pointer ke ikon
di pojok kiri atas, lalu pilih All functions > Solution > Data Archiving.Pada halaman Data Archiving Tickets, klik Data Archiving di pojok kanan atas.
Langkah 2: Konfigurasi tiket pengarsipan
Pada halaman Ticket Application, isi parameter berikut.
Pengaturan dasar
| Parameter | Wajib | Deskripsi |
|---|---|---|
| Task Name | Ya | Nama deskriptif untuk tugas pengarsipan. |
| Archiving Destination | Ya | Pilih Lindorm. |
| Lindorm Instance | Ya | Instans Lindorm tujuan tempat data akan diarsipkan. |
| Source Database | Ya | Database sumber tempat data akan diarsipkan. |
| Operation Mode | Ya | Cara tugas dijalankan setelah tiket disetujui: Single execution menjalankan tugas sekali; Cyclic scheduling menjalankannya sesuai jadwal berulang. Jika Anda memilih Cyclic scheduling, konfigurasikan jadwalnya di bagian Periodic scheduling di bawah. |
Konfigurasi pengarsipan
Pada bagian Archiving Configuration, pilih tabel sumber yang akan diarsipkan.
Untuk setiap tabel, Anda dapat secara opsional menambahkan kondisi filter untuk membatasi baris mana saja yang diarsipkan. Misalnya, gmt_modified<='${6_month_ago}' hanya mengarsipkan baris yang dimodifikasi lebih dari enam bulan lalu.
Untuk menggunakan variabel berbasis waktu seperti ${6_month_ago} dalam kondisi filter, definisikan terlebih dahulu di bagian Variable Configuration (lihat di bawah), lalu gunakan di sini.
Klik Add untuk menambahkan lebih banyak tabel sumber.
Konfigurasi variabel (opsional)
Definisikan variabel waktu untuk digunakan sebagai kondisi filter. Misalnya, buat variabel bernama 6_month_ago dalam format yyyy-MM-dd dengan offset -6 bulan. Jika hari ini 12 Agustus 2021, variabel tersebut akan bernilai 2021-02-11. Untuk detailnya, lihat Configure time variables.
Pemetaan tabel arsip (opsional)
Secara default, DMS membuat tabel tujuan dengan nama dan struktur yang sama seperti tabel sumber, serta secara otomatis menambahkan empat kolom metadata ke setiap tabel arsip:
| Kolom | Deskripsi |
|---|---|
| Archiving info | Nomor tiket dan waktu saat data diarsipkan |
| Database name | Nama database sumber |
| Table name | Nama tabel sumber |
| Instance ID | ID yang digunakan saat instans sumber didaftarkan ke DMS |
Kolom tambahan ini tidak memengaruhi kueri terhadap data asli.
Untuk menyesuaikan tabel tujuan, klik Edit di kolom Actions dan tentukan nama tabel, kolom, shard keys, serta partition keys.
Perilaku Setelah (opsional)
Pilih tindakan yang akan dilakukan terhadap data sumber setelah pengarsipan:
Clean up the archived data of the original table (delete-No Lock): DMS menghapus baris yang diarsipkan dari tabel sumber. Sebelum penghapusan, DMS membuat tabel backup temporary di database sumber — pastikan database sumber memiliki ruang penyimpanan yang cukup untuk menampung backup ini. Setelah Anda memverifikasi bahwa data yang diarsipkan sudah benar, buat tiket regular data change untuk menghapus tabel backup temporary tersebut.
Jika Anda tidak memilih Clean up the archived data of the original table (delete-No Lock), data yang diarsipkan tidak dihapus dari tabel sumber. Untuk mengosongkan ruang, hapus baris tersebut secara manual menggunakan tiket regular data change dan bebaskan ruang penyimpanan dengan tiket lock-free DDL.
Verify Archived Data (This operation will be time-consuming.): DMS memverifikasi data yang diarsipkan selama proses pengarsipan, dengan memeriksa nama tabel, database sumber, dan jumlah pernyataan SQL. Lihat hasilnya di halaman detail tiket.
Langkah 3: Kirim dan pantau tugas
Klik Submit untuk mengirimkan tiket.
Setelah tiket disetujui, DMS secara otomatis memulai tugas pengarsipan data.
Jika tugas gagal, klik Details pada langkah Execute untuk melihat log. Untuk kegagalan koneksi jaringan atau database, klik Retry Breakpoint untuk melanjutkan tugas.
Kueri data yang diarsipkan
Metode 1: Gunakan DMS
Pada halaman Ticket Details, buka Basic Information dan klik View di sebelah Target Database. Tab SQL Console akan terbuka.
Di panel kiri, buka tab Table, klik ganda tabel tujuan, lalu klik Execute untuk melihat data yang diarsipkan.
Database dan tabel tujuan menggunakan nama yang sama dengan database dan tabel sumber.
Metode 2: Gunakan Lindorm secara langsung
Kueri data yang diarsipkan di LindormTable. Lihat Data Query.
Penjadwalan periodik
Saat Operation Mode diatur ke Cyclic scheduling, konfigurasikan parameter berikut.
| Parameter | Deskripsi |
|---|---|
| Scheduling Cycle | Frekuensi pengulangan: Hour, Day, Week, atau Month. Jika Anda memilih Hour, konfigurasikan parameter Timed Scheduling. Jika Anda memilih Day, konfigurasikan parameter Specific Point in Time. Jika Anda memilih Week atau Month, konfigurasikan parameter Specified Time dan Specific Point in Time. |
| Timed Scheduling | Berlaku ketika Scheduling Cycle adalah Hour. Pilih salah satu dari dua metode: jalankan dengan interval tetap (atur Starting Time, Intervals dalam jam, dan End Time), atau jalankan pada jam tertentu. Contoh: mulai pukul 00:00, interval 6 jam, berakhir pukul 20:59 — tugas dijalankan pada pukul 00:00, 06:00, 12:00, dan 18:00. |
| Specified Time | Berlaku ketika Scheduling Cycle adalah Week atau Month. Pilih hari dalam minggu atau bulan saat tugas dijalankan. |
| Specific Point in Time | Waktu dalam sehari saat tugas dijalankan pada hari yang ditentukan. Contoh: 02:55. |
| Cron Expression | Dihasilkan secara otomatis berdasarkan pengaturan penjadwalan Anda. |
Langkah selanjutnya
Normal data modify — hapus baris yang diarsipkan dari tabel sumber setelah memverifikasi data yang diarsipkan
Perform lock-free DDL operations — bebaskan ruang penyimpanan pada tabel sumber setelah penghapusan data
Data Query (LindormTable) — kueri data yang diarsipkan langsung di Lindorm