Cara menggunakan fitur Search di DAS SQL Explorer and Audit - Database Autonomy Service

Database Autonomy Service (DAS) menyediakan fitur Search (Audit) untuk mengkueri dan mengekspor berbagai informasi terkait pernyataan SQL. Topik ini menjelaskan cara menggunakan fitur Search di SQL Explorer and Audit.

Penting

Jika Anda telah mengaktifkan DAS Enterprise Edition V3, fitur Search diganti namanya menjadi fitur Audit.

Prasyarat

Instans database yang ingin Anda kelola telah tersambung ke DAS dan statusnya adalah Normal Access.
SQL Explorer and Audit telah diaktifkan untuk instans tersebut. Untuk informasi selengkapnya, lihat Enable SQL Explorer and Audit.
Untuk menggunakan fitur Search sebagai RAM user, Anda harus menyambungkan kebijakan AliyunHDMReadOnlyWithSQLLogArchiveAccess. Untuk informasi selengkapnya, lihat Authorize a RAM user by using a system policy.

Catatan
Anda juga dapat menggunakan custom policy untuk memberikan izin kepada RAM user agar dapat menggunakan fitur Search, termasuk ekspor data. Untuk informasi selengkapnya, lihat Use a custom policy to authorize a RAM user to use the search and export features of SQL Explorer and Audit.

Database dan wilayah yang didukung

Untuk informasi mengenai database dan wilayah yang didukung oleh setiap versi DAS Enterprise Edition, lihat Product editions.

Catatan penggunaan

Di Logs, Status Successful untuk suatu pernyataan SQL hanya menunjukkan bahwa pernyataan tersebut dieksekusi tanpa pengecualian. Misalnya, saat terjadi rollback transaksi, jika suatu pernyataan SQL dalam transaksi tersebut berhasil dieksekusi, Status-nya di Logs akan ditampilkan sebagai Successful.
Untuk instans ApsaraDB RDS for MySQL dan PolarDB for MySQL, koneksi mungkin digunakan ulang karena connection pooling. Akibatnya, alamat IP dan port yang ditampilkan di Logs mungkin tidak sesuai dengan alamat IP dan port client sebenarnya. Untuk informasi selengkapnya, lihat Connection pooling untuk ApsaraDB RDS for MySQL atau Connection pooling untuk PolarDB for MySQL.
Pengaturan parameter menentukan panjang maksimum pernyataan SQL yang direkam. Pernyataan yang melebihi panjang ini akan dipotong. Karena awalan ditambahkan selama pengumpulan dan pemrosesan data, panjang aktual pernyataan SQL yang direkam sedikit lebih pendek daripada nilai parameter yang dikonfigurasi.
Catatan
- Untuk versi 5.6 dan 5.7 ApsaraDB RDS for MySQL dan PolarDB for MySQL, panjang perekaman dikontrol oleh parameter loose_rds_audit_max_sql_size.
- Untuk versi 8.0 ApsaraDB RDS for MySQL dan PolarDB for MySQL, panjang perekaman dikontrol oleh parameter loose_rds_audit_log_event_buffer_size.
Saat Anda mengklik Enable Advanced Query, Anda dapat mengkueri berdasarkan Transaction ID jika instans database Anda memenuhi persyaratan versi berikut:
- Untuk instans ApsaraDB RDS for MySQL, versi utama harus 8.0 dan versi minor minimal 20210311. Sebelum menjalankan kueri, Anda harus mengatur parameter loose_rds_audit_log_version ke MYSQL_V3. Untuk informasi selengkapnya, lihat ApsaraDB RDS for MySQL 8.0 parameter overview.
- Untuk kluster PolarDB for MySQL, versinya harus 8.0.1.1.15 atau lebih baru.

Prosedur

Masuk ke DAS console.
Di panel navigasi kiri, klik Intelligent O&M Center > Instance Monitoring.
Temukan instans target dan klik ID instans untuk membuka halaman detail instans.

Di panel navigasi kiri, klik SQL Explorer and Audit. Di halaman yang muncul, klik Search dan konfigurasikan parameter berikut.

Jika Anda telah mengaktifkan DAS Enterprise Edition V3, klik Audit di halaman yang muncul.

Parameter	Deskripsi
Time Range	Pilih rentang waktu untuk kueri sesuai kebutuhan bisnis Anda. Kueri yang mencakup lebih dari 24 jam mungkin lambat atau timeout karena volume data besar yang ditangkap oleh SQL Explorer and Audit. Catatan Anda hanya dapat mengkueri data yang dihasilkan dalam periode retensi setelah DAS Enterprise Edition diaktifkan. Untuk mengkueri catatan dalam rentang waktu yang lebih panjang, ekspor log untuk analisis offline. Fitur ekspor berjalan secara asinkron dan cocok untuk volume data besar. Saat SQL Explorer and Audit menggunakan hot and cold storage, rentang waktu maksimum untuk satu kueri atau ekspor adalah 24 jam.
Keyword	Anda dapat menggabungkan beberapa kata kunci dalam pencarian. Pisahkan kata kunci dengan spasi. Pencarian fuzzy tidak didukung. Catatan Kata kunci harus terdiri dari minimal empat karakter.
User	Anda dapat menentukan beberapa nama pengguna, seperti `user1 user2 user3`.
Database	Anda dapat menentukan beberapa nama database, seperti `DB1 DB2 DB3`.
Operation Type	Pilih satu atau beberapa jenis operasi untuk dikueri.

Catatan

Anda dapat mengklik Enable Advanced Query untuk memasukkan informasi tambahan dan mempersempit cakupan pencarian.

Klik Query untuk melihat detail pernyataan SQL di Logs.

Anda dapat mengklik Export, pilih bidang yang diperlukan di bawah Exported Fields, lalu klik Export SQL Records. Anda dapat mengatur Export Time Range untuk mengekspor catatan dari rentang waktu yang lebih panjang.

Untuk SQL Explorer and Audit yang menggunakan hot and cold storage, pilih CSV Separator yang tidak ada dalam log SQL saat mengekspor data. Untuk informasi selengkapnya, lihat Configure and open an exported CSV file untuk memastikan data ditampilkan dalam kolom terpisah.
Penting
- Anda dapat mengekspor hingga 10 juta entri data dalam periode tujuh hari dalam satu tugas.
- Untuk SQL Explorer and Audit yang menggunakan hot and cold storage, sistem membuat tugas saat Anda mengkueri atau mengekspor data dari cold storage. Anda dapat melihat progres dan riwayat tugas di halaman Task list.
- Anda hanya dapat mengkueri atau mengekspor data yang dihasilkan setelah fitur audit logs diaktifkan.
Anda dapat menyaring hasil berdasarkan Time range, Keyword, User, Database, dan Operation type (SELECT, INSERT, UPDATE, dan DELETE). Anda juga dapat mengklik Enable Advanced Query untuk mengatur kondisi tambahan. Bagian Logs mencakup kolom seperti SQL statement, Database, Thread ID, User, Client IP, Operation, Status, Latency (ms), Execution time, Updated rows, dan Scanned rows.

Konfigurasi dan buka file CSV yang diekspor

Jika pembatas data terdapat dalam log SQL yang diekspor, kolom mungkin tidak sejajar saat Anda membuka file CSV di tool seperti Microsoft Excel. Untuk mencegah hal ini, fitur Search untuk hot and cold storage memungkinkan Anda memilih CSV Separator saat mengekspor. Bagian ini menunjukkan cara memformat file dengan benar agar ditampilkan dalam kolom menggunakan Excel 2019 di Windows sebagai contoh.

Saat membuat tugas ekspor, pilih pemisah yang tidak ada dalam log SQL Anda, misalnya $.

Pemisah CSV yang tersedia adalah |, $, dan #. Jika teks SQL Anda berisi tanda kutip, pilih salah satu pemisah khusus ini untuk menghindari konflik. Anda juga dapat mengedit Task Name. Setelah menyelesaikan pengaturan, klik Submit Task.
Buka file CSV yang diekspor menggunakan Excel.
Pilih kolom data yang ingin Anda pisahkan. Di bilah alat Excel, pilih Data > Text to Columns.
Di Convert Text to Columns Wizard, di bawah Original data type, pilih Delimited dan klik Next.
Di bagian Delimiters, pilih Others, masukkan $ di kolom, lalu klik Next.

Anda dapat melihat pratinjau kolom di bagian Data preview.
Di bagian Column data format, pilih Regular dan klik Complete.

FAQ

Q: Untuk instans ApsaraDB RDS for MySQL dan PolarDB for MySQL, mengapa beberapa kueri SQL mengembalikan data tetapi menunjukkan 0 untuk scanned rows di bagian Logs?

A: Hal ini terjadi jika parameter query_cache_type diaktifkan pada instans database. Angka scanned rows di bagian Logs mencerminkan jumlah baris yang dipindai oleh engine InnoDB. Saat query_cache_type diaktifkan, MySQL mencoba menyimpan cache hasil kueri. Jika kueri berikutnya merupakan cache hit, hasilnya dikembalikan langsung dari cache tanpa mengakses engine InnoDB. Oleh karena itu, data dikembalikan, tetapi angka scanned rows adalah 0.

Untuk ApsaraDB RDS for MySQL, lihat Fast Query Cache.
Untuk PolarDB for MySQL, lihat Fast Query Cache.

Q: Mengapa saya tidak dapat menemukan pernyataan SQL yang gagal untuk instans ApsaraDB RDS for PostgreSQL saya?

A: Untuk instans ApsaraDB RDS for PostgreSQL, pernyataan SQL yang gagal dicatat dalam log error instans, bukan dalam audit logs. Untuk mengkueri log error, lihat View logs.

Q: Mengapa nama database di bagian Logs berbeda dengan yang ada di pernyataan SQL?

A: Nama database yang ditampilkan di bagian Logs diambil dari session, sedangkan nama database dalam pernyataan SQL ditentukan oleh pengguna. Keduanya dapat berbeda dalam skenario seperti kueri lintas database atau SQL dinamis, di mana input pengguna atau desain kueri menentukan nama database dalam pernyataan tersebut.

Q: Apakah mengaktifkan SQL Explorer and Audit memengaruhi kinerja database? Seberapa signifikan dampaknya?

A: Ya, tetapi dampaknya minimal dan hampir tidak terasa.

Dampak terhadap sumber daya tertentu adalah sebagai berikut:

CPU dan memory: Konsumsi sangat rendah dan dapat diabaikan.
Ruang penyimpanan: Fitur ini terutama menyimpan informasi audit. Namun, DAS Enterprise Edition menyimpan data ini di sisi DAS, sehingga tidak mengonsumsi penyimpanan instans database Anda.
Jaringan: Tidak ada dampak terhadap kinerja jaringan.
Kinerja disk: Tidak ada dampak. Data audit ditulis ke penyimpanan DAS, bukan ke disk instans database.

Referensi API

Anda dapat memanggil operasi API berikut untuk mengkueri log SQL untuk instans ApsaraDB RDS for MySQL, ApsaraDB RDS for PostgreSQL, dan ApsaraDB RDS for SQL Server:

API	Deskripsi
DescribeSQLLogRecords	Mengkueri log SQL Explorer and Audit untuk instans ApsaraDB RDS.
DescribeSQLLogFiles	Mengambil daftar file yang diekspor dari SQL Explorer and Audit.