Data Management：Kueri dan analisis log operasi DMS di Simple Log Service

Langkah 1: Daftarkan proyek ke DMS

1. Masuk ke Konsol DMS V5.0 sebagai administrator.

2. Di halaman utama konsol, pada area Database Instances, klik ikon .

   Catatan

   Jika Anda menggunakan konsol DMS dalam mode Sederhana, klik Database Instances di panel navigasi sebelah kiri. Di bagian Database Instances, klik .

3. Pada halaman Tambah Instance, masukkan informasi SLS.

   Kategori	Parameter	Deskripsi
   Data Source	-	Pilih Alibaba Cloud.
   Basic Information	Database Type	Pilih SLS.
   	Instance Region	Pilih wilayah tempat proyek SLS berada.
   	Entry Method	Nilai default adalah Connection String.
   	Connection String	Setelah Anda memilih Instance Region, string koneksi akan dibuat secara otomatis.
   	Project Name	Masukkan nama proyek yang Anda buat di SLS.
   	AccessKey ID	Masukkan ID AccessKey akun Alibaba Cloud Anda. ID AccessKey digunakan untuk verifikasi identitas saat Anda mendaftarkan proyek ke DMS. Catatan Untuk informasi selengkapnya tentang cara mendapatkan ID AccessKey, lihat Buat Pasangan Kunci Akses.
   	AccessKey Secret	Masukkan Rahasia AccessKey yang sesuai dengan ID AccessKey tersebut. Catatan Untuk informasi selengkapnya tentang cara mendapatkan Rahasia AccessKey, lihat Buat Pasangan Kunci Akses.
   	Value-added Feature Package	Sumber data ini tidak mendukung paket fitur. Secara default, sumber data ini mendukung mode Flexible Management.
   Advanced Information	Environment Type	Pilih jenis lingkungan. Nilai yang valid adalah Dev, Test, Production, Pre-release, SIT, UAT, Stress Testing, dan STAG. Untuk informasi selengkapnya, lihat Jenis lingkungan instance.
   	Instance Name	Tentukan nama kustom untuk proyek SLS yang akan ditampilkan di DMS. Catatan Anda dapat mengubah nama instance dengan mengedit instance tersebut. Untuk informasi selengkapnya, lihat Edit informasi instance.
   	Instance DBA	Pilih Administrator basis data (DBA) untuk instance tersebut. DBA dapat digunakan untuk proses selanjutnya seperti permohonan izin.
   	Query Timeout (s)	Keamanan kebijakan yang mengontrol waktu eksekusi pernyataan kueri untuk melindungi database.
   	Export Timeout (s)	Keamanan kebijakan yang mengontrol waktu eksekusi pernyataan ekspor untuk melindungi database.

   Catatan

   • Setelah mengonfigurasi informasi dasar, klik Test Connection di bagian bawah halaman dan tunggu hingga pengujian berhasil.

   • Jika muncul pesan kesalahan "The execution result of the 'getProject' command is null", pastikan proyek tersebut dibuat oleh akun Alibaba Cloud yang Anda gunakan untuk masuk ke DMS.

4. Klik Submit.

Langkah 2: Buat tugas di DMS untuk mengekspor log operasi

1. Masuk ke Konsol DMS V5.0.

2. Arahkan penunjuk mouse ke ikon di pojok kiri atas dan pilih All Features > Security and disaster recovery (DBS) > Operation Audit.

   Catatan

   Jika Anda menggunakan konsol DMS dalam mode normal, pilih Security and disaster recovery (DBS) > Operation Audit di bilah navigasi atas.

3. Klik tab Export Logs. Lalu, di pojok kanan atas, klik New Task.

4. Pada kotak dialog New Export Task, konfigurasikan parameter berikut.

   Parameter	Wajib	Deskripsi
   Task Name	Ya	Nama tugas ekspor. Tentukan nama deskriptif agar mudah diidentifikasi.
   Destination SLS	Ya	Proyek Simple Log Service, yang merupakan unit manajemen sumber daya.
   SLS Logstore	Ya	Logstore yang menyimpan log operasi DMS yang diekspor. Klik kotak input untuk parameter ini dan pilih Logstore tujuan. Catatan Jika Logstore tujuan tidak ada dalam daftar tarik-turun, klik Sync Dictionary lalu klik OK. DMS secara otomatis mengumpulkan metadata Logstore tersebut.
   Feature Module	Ya	Pilih modul fitur DMS yang lognya ingin Anda ekspor. Modul-modul ini sesuai dengan modul pada tab Operation Logs. Modul tersebut mencakup fitur seperti manajemen instance, manajemen pengguna, izin, dan kueri data di SQL Window. Secara default, log dari All Features diekspor.
   Scheduling Method	Ya	Pilih metode penjadwalan untuk tugas tersebut. One-time: Setelah tugas ekspor dibuat, tugas tersebut hanya dijalankan sekali. Recurring: Anda dapat memilih Daily, Weekly, atau Monthly untuk mengekspor log ke Logstore beberapa kali secara berulang. Saat pertama kali tugas berulang dijalankan, tugas tersebut mengekspor semua log operasi DMS yang dihasilkan dari waktu mulai log hingga waktu mulai terjadwal pertama. Eksekusi berikutnya hanya mengekspor log inkremental. Untuk informasi selengkapnya, lihat Jadwal berulang.
   Log Time Range	Tidak	Catatan Parameter ini hanya tersedia jika Anda mengatur Scheduling Method ke One-time. Ekspor log dalam rentang waktu tertentu. Jika Anda tidak mengonfigurasi parameter ini, log dari tiga tahun terakhir akan diekspor secara default.
   Log Start Time	Tidak	Catatan Parameter ini hanya tersedia jika Anda mengatur Scheduling Method ke Recurring. Tugas berulang tidak memiliki waktu akhir. Waktu mulai catatan log DMS. Jika Anda tidak mengonfigurasi parameter ini, nilai defaultnya adalah tiga tahun sebelum waktu pembuatan tugas.

5. Klik OK. Tugas ekspor log dibuat. Sistem juga membuat bidang indeks, seperti dbId, dbName, dan dbUser, di Logstore Anda untuk kueri dan analisis data selanjutnya.

   • Tugas satu kali hanya mengekspor log sekali. Ketika status tugas menjadi Successful, log telah diekspor.

     Catatan

     Karena indeks Logstore baru berlaku setelah jeda waktu, tugas satu kali dimulai sekitar 90 detik setelah dibuat.

   • Tugas berulang mengekspor log beberapa kali. Status tugas adalah Pending Scheduling baik sebelum maupun setelah ekspor. Anda dapat melihat log tugas untuk menentukan apakah eksekusi tugas berhasil.

   Anda juga dapat melakukan operasi berikut di kolom Actions untuk tugas tersebut.

   • Query: Klik Query. Anda akan diarahkan ke halaman SQL Console. Klik Query. Di bagian hasil eksekusi di bagian bawah halaman, Anda dapat melihat log yang diekspor ke Logstore.

   • Task Logs: Klik Task Logs untuk melihat informasi seperti waktu mulai dan akhir tugas, jumlah log yang dikirimkan, dan status tugas.

   • Pause: Klik Pause. Pada kotak dialog yang muncul, klik OK. Tugas berulang dijeda.

   • Restart: Klik Restart. Pada kotak dialog yang muncul, klik OK untuk memulai ulang tugas berulang yang dijeda.

     Catatan

     • Operasi restart tidak didukung untuk tugas satu kali. Namun, operasi lainnya didukung.

     • Semua operasi, seperti kueri dan jeda, didukung untuk tugas berulang.

Untuk informasi selengkapnya tentang cara membuat tugas ekspor, lihat Ekspor log operasi DMS ke Simple Log Service.

Langkah 3: Lakukan kueri dan analisis log operasi DMS yang diekspor di konsol SLS

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Proyek, klik proyek yang Anda inginkan.

   

3. Pada tab Log Storage > Logstores, klik Logstore yang Anda inginkan.

   

4. Di kotak pencarian, masukkan pernyataan kueri dan analisis.

   Pernyataan kueri dan analisis terdiri dari pernyataan pencarian dan pernyataan analitik dalam format Pernyataan pencarian|Pernyataan analitik. Untuk informasi selengkapnya tentang sintaksis, lihat Sintaksis pencarian dan fungsi dan Fungsi analitik SQL.

   Anda dapat melakukan kueri dan menganalisis informasi berikut di SLS:

   Catatan

   Logstore dmstest digunakan sebagai contoh.

   • Pengguna yang paling sering gagal masuk ke database.

     __topic__ : DMS_LOG_DELIVERY AND subModule : LOGIN | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest WHERE state = '0' GROUP BY operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

   • Pengguna dengan alamat IP sumber yang tidak biasa. Alamat IP 127.0.0.1 digunakan sebagai contoh.

     Catatan

     Alamat IP sumber suatu instance adalah alamat IP lokal Anda saat mendaftarkan instance ke DMS. Alamat ini mengidentifikasi sumber akses instance.

     __topic__ : DMS_LOG_DELIVERY | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest WHERE state = '0' and requestIp in ('127.0.0.1') GROUP BY operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

   • Pengguna yang paling sering mengakses DMS.

     __topic__ : DMS_LOG_DELIVERY| SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest GROUP BY operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

   • Pengguna yang mengakses dan mengoperasikan beberapa database pada hari yang sama.

     __topic__: DMS_LOG_DELIVERY | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, date_trunc('day', gmtCreate) time, dbId, COUNT(*) qpd from dmstest GROUP BY time, operUserId, operUserName, dbId ORDER BY time, qpd DESC;

   • Pengguna yang gagal melakukan operasi database di DMS.

     __topic__ : DMS_LOG_DELIVERY AND moudleName : SQL_CONSOLE | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, actionDesc as sqlStatement, subModule as sqlType, remark as failReason FROM dmstest WHERE state = '-1' order by id;

   • Pengguna yang paling sering mengunduh data sensitif.

     __topic__ : DMS_LOG_DELIVERY AND moudleName : DATA_EXPORT | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest WHERE hasSensitiveData = 'true' GROUP BY operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

   • Pernyataan SQL yang dijalankan untuk operasi batch, seperti menghapus dan memperbarui data sensitif.

     __topic__ : DMS_LOG_DELIVERY | SELECT subModule, COUNT(*) cnt, COUNT(affectRows) affectRow FROM dmstest WHERE subModule != '' GROUP BY subModule ORDER BY cnt DESC;

   • Apakah fitur watermark data diaktifkan selama ekspor data.

     __topic__ : DMS_LOG_DELIVERY AND moudleName : DATA_EXPORT | SELECT targetId as orderId, concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest where actionDesc like '%Enable data watermark: false' GROUP BY targetId, operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

     Catatan

     • Untuk mengkueri pengguna yang mengaktifkan fitur watermark data, gunakan pernyataan: '%Enable data watermark: true'.

     • Untuk mengkueri pengguna yang menonaktifkan fitur watermark data, gunakan pernyataan: '%Enable data watermark: false'.

   • Pengguna yang mengunduh set hasil SQL dari bagian hasil eksekusi di halaman SQL Console.

     __topic__ : DMS_LOG_DELIVERY AND moudleName : SQL_CONSOLE_EXPORT | SELECT concat(cast(operUserId as varchar), '(', operUserName, ')') user, COUNT(*) cnt FROM dmstest GROUP BY operUserId, operUserName ORDER BY cnt DESC LIMIT 10;

Untuk informasi selengkapnya tentang kueri dan analisis, lihat Langkah 1: Konfigurasikan indeks.

(Opsional) Langkah 4: Jeda tugas berulang

1. Masuk ke Konsol DMS V5.0.

2. Arahkan penunjuk mouse ke ikon di pojok kiri atas dan pilih All Features > Security and disaster recovery (DBS) > Operation Audit.

   Catatan

   Jika Anda menggunakan konsol DMS dalam mode normal, pilih Security and disaster recovery (DBS) > Operation Audit di bilah navigasi atas.

3. Klik tab Export Logs.

4. Di kolom Actions untuk tugas berulang, klik Pause.

5. Pada kotak dialog yang muncul, klik OK.

Langkah selanjutnya

Setelah tugas ekspor log berhasil dijalankan atau dijeda, proyek tidak dihapus secara otomatis. Jika Anda telah selesai menganalisis log operasi DMS, buka konsol Simple Log Service dan hapus proyek yang Anda pilih untuk ekspor log guna menghindari biaya yang tidak perlu.