Cara mengimpor data backup disk cloud ke AnalyticDB for MySQL - ApsaraDB RDS

Untuk melakukan kueri dan analisis data backup RDS dalam skala besar, unduh data tersebut ke Object Storage Service (OSS) menggunakan fitur unduh advanced, lalu muat ke kluster AnalyticDB for MySQL melalui tabel eksternal OSS.

Cara kerja

Gunakan fitur unduh advanced untuk mengekspor backup RDS ke OSS dalam format CSV atau Parquet.
Hubungkan ke kluster AnalyticDB for MySQL dan buat tabel eksternal yang mengarah ke jalur OSS.
Lakukan kueri data secara langsung melalui tabel eksternal tersebut.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Instans ApsaraDB RDS for MySQL yang menggunakan disk cloud dan mendukung fitur unduh advanced. Untuk detailnya, lihat Download backup.
Kluster AnalyticDB for MySQL (Edisi Data Warehouse atau Edisi Data Lakehouse). Untuk petunjuk penyiapan, lihat Create a Data Warehouse Edition cluster atau Create a Data Lakehouse Edition cluster.
Bucket OSS di wilayah yang sama dengan kluster AnalyticDB for MySQL.
(Jika kluster menggunakan mode elastis) ENI diaktifkan di bagian Network Information pada halaman Cluster Information.

Catatan AnalyticDB for MySQL mendukung format file CSV dan Parquet. Saat mengunduh backup RDS, atur format unduhan ke CSV atau Parquet.

Langkah 1: Unduh backup RDS ke OSS

Siapkan bucket OSS dan unduh data backup RDS ke dalamnya.

Aktifkan OSS. Untuk detailnya, lihat Activate OSS.
Buat bucket di konsol OSS. Untuk detailnya, lihat Create buckets.
Catatan Bucket OSS dan kluster AnalyticDB for MySQL harus berada di wilayah yang sama.
Buat direktori di bucket OSS untuk menyimpan data. Untuk detailnya, lihat Manage directories.
Unduh backup RDS menggunakan fitur unduh advanced. Atur Download Destination ke OSS. Untuk detailnya, lihat Download backup.
Catatan Jika Anda memilih destinasi unduh yang berbeda, unggah file backup ke bucket OSS secara manual. Untuk detailnya, lihat Upload objects.

Dalam contoh ini, database sumber adalah mydb dengan tabel bernama mytable. Data sampelnya adalah:

INSERT INTO mytable (id, name)
VALUES
    ("12", "hello_world_1"),
    ("27", "hello_world_2"),
    ("28", "hello_world_3"),
    ("33", "hello_world_4"),
    ("37", "hello_world_5"),
    ("40", "hello_world_6");

Backup untuk mytable diunduh ke /bucket/_export/mydb/mytable/data/0-1csv di bucket OSS.

Langkah 2: Impor data dari OSS ke kluster AnalyticDB for MySQL

Dalam contoh ini, data diimpor dari /bucket/_export/mydb/mytable/data/0-1csv ke database adb_demo di kluster AnalyticDB for MySQL.

Hubungkan ke kluster AnalyticDB for MySQL. Untuk detailnya, lihat Connect to an AnalyticDB for MySQL cluster.
Buat database. Untuk detailnya, lihat Create a database. Contoh ini menggunakan database bernama adb_demo.

Buat tabel eksternal OSS di database adb_demo menggunakan CREATE TABLE. Tabel tersebut memetakan ke jalur OSS tempat data backup disimpan. Contoh berikut membuat tabel eksternal tanpa partisi dalam format CSV:

Catatan Tabel eksternal dapat menggunakan nama yang sama dengan tabel sumber atau nama yang berbeda.

CREATE TABLE IF NOT EXISTS mytable
(
    id string,
    name string
)
ENGINE='OSS'
TABLE_PROPERTIES='{
    "endpoint":"oss-cn-hangzhou-internal.aliyuncs.com",
    "url":"oss://bucket/_export/mydb/mytable/data/0-1csv",
    "accessid":"LTAI****************",
    "accesskey":"yourAccessKeySecret",
    "delimiter":",",
    "format":"csv"
}';

Ganti nilai placeholder di TABLE_PROPERTIES dengan konfigurasi aktual Anda:

Parameter	Deskripsi	Contoh
`endpoint`	Titik akhir VPC bucket OSS. AnalyticDB for MySQL hanya mengakses OSS melalui virtual private cloud (VPC), jadi gunakan titik akhir internal. Temukan di konsol OSS pada halaman Overview bucket.	`oss-cn-hangzhou-internal.aliyuncs.com`
`url`	Jalur mutlak objek atau direktori OSS. Untuk direktori, akhiri jalur dengan `/`.	Objek: `oss://<bucket-name>/adb/data.csv`<br>Direktori: `oss://<bucket-name>/adb_data/`
`accessid`	ID AccessKey yang digunakan untuk mengakses OSS. Untuk detailnya, lihat Accounts and permissions.	`LTAI5tXxx`
`accesskey`	Rahasia AccessKey yang digunakan untuk mengakses OSS.	—
`delimiter`	Pemisah kolom untuk file CSV.	`,`
`format`	Format file: `csv` (default, tidak perlu ditentukan), `parquet` untuk file Parquet, atau `orc` untuk file ORC.	`csv`

Catatan Jika data backup terbagi dalam beberapa file CSV (misalnya, 0-1csv dan 0-2csv), atur url ke jalur direktori: "url":"oss://bucket/_export/mydb/mytable/data/". AnalyticDB for MySQL akan menggabungkan semua file dalam direktori tersebut ke dalam tabel eksternal secara otomatis.

Untuk sintaks lengkap CREATE TABLE, lihat Use external tables to import data to Data Warehouse Edition.

Langkah 3: Verifikasi data yang diimpor

Jalankan kueri berikut untuk memastikan data berhasil diimpor dengan benar:

-- mytable adalah nama tabel eksternal di kluster AnalyticDB for MySQL.
SELECT * FROM mytable;

Data yang dikembalikan sesuai dengan tabel mytable asli pada instans RDS.

Langkah selanjutnya

Setelah data instans RDS yang menggunakan disk cloud diimpor ke kluster AnalyticDB for MySQL, gunakan AnalyticDB for MySQL untuk menjalankan analitik bisnis pada data tersebut. Jika diperlukan beberapa tabel, ikuti langkah-langkah sebelumnya untuk mengunduh dan mengimpor setiap tabel tambahan ke database adb_demo.