Gunakan Layanan Log Sederhana untuk terhubung ke instans ApsaraDB RDS for MySQL untuk pengayaan data - Simple Log Service

Jika data disimpan di penyimpanan log Layanan Log Sederhana dan database pada instans ApsaraDB RDS for MySQL, Anda dapat menggunakan fitur transformasi data untuk mengakses database melalui titik akhir internal instans tersebut guna melakukan pengayaan data.

Cara kerjanya

Gambar berikut mengilustrasikan cara menggunakan fitur transformasi data untuk mengakses database ApsaraDB RDS for MySQL melalui titik akhir internal instans dan mendapatkan data untuk pengayaan.

Ikhtisar solusi

Kueri parameter lanjutan yang diperlukan untuk pekerjaan transformasi data: Masuk ke Konsol ApsaraDB RDS untuk menanyakan informasi tentang instans ApsaraDB RDS for MySQL. Kemudian, panggil operasi API di OpenAPI Explorer untuk menanyakan parameter lanjutan yang diperlukan untuk pekerjaan transformasi data.
Aktifkan pekerjaan transformasi data di logstore sumber pekerjaan: Konfigurasikan aturan transformasi data untuk memperkaya data.
Simpan hasil transformasi ke logstore tujuan pekerjaan: Simpan hasil transformasi ke logstore tujuan.

Prasyarat

Data log mentah telah diperoleh.
Instans ApsaraDB RDS for MySQL Anda berada di wilayah yang sama dengan proyek Layanan Log Sederhana Anda.

Langkah 1: Kueri parameter lanjutan yang diperlukan untuk pekerjaan transformasi data

Masuk ke Konsol ApsaraDB RDS.
Di panel navigasi di sebelah kiri, klik Instances. Di halaman Instans, temukan dan klik instans yang ingin Anda kelola.
Konfigurasikan daftar putih alamat IP. Untuk informasi lebih lanjut, lihat Konfigurasikan daftar putih.
1. Di panel navigasi di sebelah kiri halaman instans, klik Whitelist and SecGroup. Pada tab Pengaturan Daftar Putih dari halaman yang muncul, klik Create Whitelist. Dalam kotak dialog Buat Daftar Putih, konfigurasikan parameter Nama Daftar Putih dan Alamat IP. Atur parameter Alamat IP ke 100.104.0.0/16.
Kueri ID dan port internal instans.
1. Di panel navigasi di sebelah kiri halaman instans, klik Basic Information. Pada halaman Basic Information, temukan dan salin instance ID.
2. Di panel navigasi di sebelah kiri halaman instans, klik Database Connection. Pada halaman Database Connection, lihat dan salin internal port.
Kueri nilai parameter VpcId dan VpcCloudInstanceId untuk instans.
1. Kunjungi OpenAPI Explorer. Di bagian Parameters > Request Parameters, temukan parameter DBInstanceId dan tempelkan ID instans yang disalin. Untuk informasi lebih lanjut tentang operasi API, lihat DescribeDBInstanceAttribute.
2. Klik Initiate Call. Pada tab Response, salin nilai parameter VpcId dan VpcCloudInstanceId.

Langkah 2: Aktifkan pekerjaan transformasi data di logstore sumber pekerjaan

Masuk ke Konsol Layanan Log Sederhana.
Pergi ke halaman transformasi data.
1. Di bagian Proyek, klik proyek yang ingin Anda kelola.
2. Pada tab Log Storage > Logstores, klik logstore yang ingin Anda kelola.
3. Di halaman kueri dan analisis logstore, klik Data Transformation.
4. Di halaman transformasi data, klik Switch to Data Transformation(Old Version).

Konfigurasikan parameter lanjutan yang diperoleh.

Di pojok kanan atas halaman, pilih Advanced. Lalu, klik Preview Data.

Di panel Add Preview Settings, klik Advanced Options dan konfigurasikan parameter lanjutan. Tabel berikut menjelaskan parameter-parameter tersebut.

Penting

Anda dapat mengganti your_name dalam parameter berikut dengan nilai kustom. Pastikan nilai yang sama digunakan untuk parameter-parameter tersebut. Anda juga harus menggunakan nilai ini untuk mengganti your_name dalam kode aturan transformasi data yang Anda konfigurasikan. Untuk informasi lebih lanjut, lihat Aturan Transformasi.

Parameter	Nilai	Deskripsi
config.vpc.vpc_id.your_name	vpc-uf6mskb0b****n9yj	ID virtual private cloud (VPC) dari instans. Untuk informasi lebih lanjut, lihat Kueri ID VPC dari instans.
config.vpc.instance_id.your_name	rm-uf6e61k****ahd7-2024091513	ID dari instans. Untuk informasi lebih lanjut, lihat Kueri ID instans. Untuk database MySQL yang dikelola sendiri di wilayah Alibaba Cloud yang sama, gunakan parameter config.vpc.instance_ip.your_name untuk menentukan alamat IP VPC-nya.
config.vpc.instance_port.your_name	3306	Port internal dari instans. Untuk informasi lebih lanjut, lihat Dapatkan port internal.

Gambar berikut menunjukkan contoh konfigurasi.

Konfirmasikan konfigurasi, lalu klik OK.

Konfigurasikan aturan transformasi data.

Tentukan pernyataan transformasi di editor kode berdasarkan sintaksis berikut.

Untuk informasi lebih lanjut, lihat Dapatkan data dari database ApsaraDB RDS for MySQL untuk pengayaan data dan Fungsi sumber daya.

/*
e_table_map()     Fungsi pengayaan data. 
res_rds_mysql()   Fungsi yang digunakan untuk menarik data tabel atau hasil eksekusi SQL dari database ApsaraDB RDS for MySQL. 
str_format()      Fungsi yang digunakan untuk memformat string. Nilai your_name dalam fungsi res_local() harus sama dengan nilai your_name dalam parameter lanjutan. 
field             Bidang yang digunakan untuk mencocokkan data log di logstore sumber dengan data tabel di database ApsaraDB RDS for MySQL. Jika nilai bidang dalam data log sama dengan nilai bidang dalam data tabel, pencocokan dianggap berhasil. 
output_fields     Bidang keluaran. Jika pencocokan berhasil, nilai dari bidang keluaran dikembalikan dan log baru dibuat. 
*/
e_table_map(
    res_rds_mysql(
        str_format("{}:{}", 
                   res_local("config.vpc.instance_id.your_name"), 
                   res_local("config.vpc.instance_port.your_name")), 
        "Akun database", 
        "Kata sandi database", 
        "Nama database",
        table="Nama tabel yang diperlukan di database"
    ), 
    "field", 
    "output_fields"
)

Gambar berikut menunjukkan pernyataan transformasi.

Setelah membuat aturan transformasi data, sistem mencocokkan nilai bidang process_time_in_ms di logstore sumber dengan nilai yang sesuai di tabel ApsaraDB RDS for MySQL. Jika cocok, proses berhasil, dan nilai bidang model dan purchase_price dikembalikan. Log baru dibuat berdasarkan data log mentah dan nilai bidang keluaran.

Di pojok kanan atas halaman transformasi data, klik Preview Data untuk mentransformasi data.
Lihat transformation results.
Gambar berikut memberikan contoh hasil transformasi yang dikembalikan setelah pencocokan gagal.
Gambar berikut memberikan contoh hasil transformasi yang dikembalikan setelah pencocokan berhasil.

Langkah 3: Simpan hasil transformasi ke logstore tujuan pekerjaan

Klik Save as Transformation Job(Old Version). Di panel yang muncul, konfigurasikan parameter dan klik OK.
Pada tab Logstores, klik logstore tujuan. Di pojok kanan atas halaman yang muncul, tentukan rentang waktu kueri.
Setelah Anda menentukan rentang waktu kueri, Anda dapat memeriksa apakah hasil transformasi disimpan di tab Raw Logs. Gambar berikut menunjukkan bahwa hasil transformasi telah disimpan.

Lampiran: Akses database AnalyticDB for MySQL atau PolarDB for MySQL melalui titik akhir internal

Layanan Log Sederhana memungkinkan Anda mengakses database ApsaraDB RDS for MySQL, AnalyticDB for MySQL, dan PolarDB for MySQL melalui titik akhir internal. Daftar berikut merinci pengaturan terkait:

Database AnalyticDB for MySQL
Saat Anda mengonfigurasi parameter di bidang Advanced Parameter Settings, atur parameter config.vpc.instance_id.your_name ke nilai dalam format ID instans AnalyticDB for MySQL-controller dan konfigurasikan parameter lainnya sesuai dengan instruksi dalam topik ini.
Database PolarDB for MySQL: Konfigurasikan parameter sesuai dengan instruksi dalam topik ini.