:Impor data dari database MySQL

Batasan

• Fitur ini tersedia di wilayah berikut: China (Hangzhou), China (Shanghai), China (Qingdao), China (Beijing), China (Zhangjiakou), China (Hohhot), China (Ulanqab), China (Chengdu), China (Shenzhen), China (Heyuan), China (Guangzhou), China (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Filipina (Manila), Thailand (Bangkok), Jepang (Tokyo), Korea Selatan (Seoul), Inggris (London), Jerman (Frankfurt), AS (Virginia), dan AS (Silicon Valley).

• Jika sumber data adalah AnalyticDB for MySQL, Anda harus mengonversi kolom JSON menjadi tipe VARCHAR sebelum mengimpornya. Sebagai contoh, jika kolom detail bertipe JSON, Anda dapat menggunakan cast(detail as VARCHAR) as detail untuk mengonversinya. Untuk informasi lebih lanjut tentang fungsi CAST, lihat Fungsi CAST.

Impor data

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Proyek, klik yang diinginkan.

   

3. Pada tab Log Storage > Logstores, klik > di sebelah kiri Logstore tujuan, arahkan kursor ke Data Collection > Data Import, dan klik +.

   

4. Di kotak dialog Quick Data Import, cari dan klik MySQL-Data Import.

5. Atur konfigurasi impor.

   1. Di tab Data Source Settings, konfigurasikan parameter berikut.

      Parameter dasar

      Parameter	Deskripsi
      Task Name	Nama unik tugas SLS.
      Display Name	Nama tampilan tugas.
      Task Description	Deskripsi tugas impor.
      Use VPC Address	Database RDS for MySQL dalam VPC Pilih Use VPC Address dan RDS Instance, dan atur parameter berikut. VPC Instance ID: ID VPC tempat database RDS for MySQL berada. RDS Instance ID: Atur parameter ini ke VpcCloudInstanceId dari instans RDS. Anda dapat memanggil operasi DescribeDBInstanceAttribute untuk mendapatkan VpcCloudInstanceId. Database MySQL yang dikelola sendiri pada instans ECS dalam VPC Pilih Use VPC Address dan Self-managed Database On ECS, dan atur parameter berikut. VPC Instance ID: ID VPC tempat instans ECS berada. ECS Instance IP: Alamat IP pribadi instans ECS. Database yang dapat diakses melalui internet Hapus centang Use VPC Address, dan atur parameter berikut. Database Public IP Or Domain Name: Alamat IP publik atau nama domain database MySQL.
      MySQL Port	Port layanan database MySQL. Nilai default adalah 3306.
      Username	Nama akun yang digunakan untuk masuk ke database MySQL. Berikan hanya izin baca pada data MySQL kepada akun ini.
      Password	Kata sandi akun tersebut.
      Database	Nama database MySQL.
      Query Statement	Anda dapat menggunakan pernyataan SELECT atau SHOW. Jika Anda menggunakan pernyataan SHOW, Anda tidak dapat mengatur parameter Page Size dalam konfigurasi lanjutan. Tanda tanya (?) dapat digunakan sebagai placeholder yang bekerja dengan Checkpoint Field. Sebagai contoh, jika pernyataan kueri adalah SELECT * FROM employees WHERE id > ?, atur Checkpoint Field ke id dan Checkpoint Field Start Value ke 0. Setelah tugas impor data selesai, sistem menyimpan ID catatan data terakhir sebagai checkpoint. Saat tugas berjalan lagi, sistem mengganti tanda tanya (?) dalam pernyataan kueri dengan ID checkpoint.

      Parameter lanjutan

      Parameter	Deskripsi
      Max Rows Per Import	Tugas impor MySQL berjalan sesuai jadwal. Anda dapat mengatur jumlah maksimum baris untuk setiap impor. Nilai default adalah 0, yang menunjukkan tidak ada batasan.
      Connection Timeout	Periode timeout untuk tugas impor MySQL menghubungkan ke database MySQL. Nilai default adalah 3000 ms.
      Query Timeout	Periode timeout untuk tugas impor MySQL menanyakan database MySQL. Nilai default adalah 5000 ms.
      Page Size	Nilai 0 menunjukkan bahwa paginasi dinonaktifkan. Jika Anda mengatur parameter ini ke nilai lebih besar dari 0, sistem menambahkan limit pageSize offset {checkpoint} ke pernyataan SELECT untuk mengimpor data secara batch.
      Time Field	Bidang dalam data MySQL yang mewakili waktu, seperti create_time atau update_time. Simple Log Service menggunakan nilai bidang ini sebagai waktu impor data.
      Time Field Format	Format bidang waktu. Format waktu Java didukung. Contoh: yyyy-MM-dd HH:mm:ss. Untuk informasi lebih lanjut, lihat Format waktu.
      Time Field Time Zone	Pilih zona waktu bidang waktu.
      Checkpoint Field	Pilih bidang checkpoint. Bidang ini berfungsi sebagai titik awal untuk impor data berikutnya. Sebagai contoh, jika pernyataan kueri adalah select * from t where id > ?, di mana id adalah kolom auto-increment, Anda dapat mengatur id sebagai bidang checkpoint. Anda juga dapat menggunakan bidang seperti create_time atau update_time. Catatan Jika Anda tidak menentukan rentang waktu dalam pernyataan SQL, atur Bidang Checkpoint untuk mengimpor data inkremental dan mencegah duplikasi data.
      Checkpoint Field Start Value	Atur nilai awal bidang checkpoint.
      Additional Fields	Tambahkan bidang tambahan dalam format map[string]string. Sebagai contoh, jika pernyataan kueri adalah select a, b from t;, sistem mengimpor dua bidang, a dan b, secara default. Anda dapat menambahkan bidang lain untuk diimpor ke Simple Log Service, seperti {"k1": "v1", "k2": "v2"}.

   2. Klik Preview untuk melihat pratinjau hasil impor. Setelah memastikan bahwa hasilnya benar, klik Next Configuration.

   3. Di tab Scheduling Interval, konfigurasikan parameter berikut.

      Parameter	Deskripsi
      Import Interval	Interval waktu data diimpor dari database MySQL ke Simple Log Service.
      Execute Immediately	Aktifkan Execute Immediately untuk menjalankan tugas impor sekali segera.

   4. Setelah menyelesaikan konfigurasi, klik Next.

6. Buat indeks dan pratinjau data. Lalu, klik Next. Secara default, pengindeksan teks penuh diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual untuk log yang dikumpulkan atau klik Automatic Index Generation. Kemudian, Simple Log Service menghasilkan indeks bidang. Untuk informasi lebih lanjut, lihat Buat Indeks.

   Penting

   Jika Anda ingin menanyakan semua bidang dalam log, kami sarankan menggunakan indeks teks penuh. Jika Anda ingin menanyakan hanya bidang tertentu, kami sarankan menggunakan indeks bidang. Ini membantu mengurangi lalu lintas indeks. Jika Anda ingin menganalisis bidang, Anda harus membuat indeks bidang. Anda harus menyertakan pernyataan SELECT dalam pernyataan kueri Anda untuk analisis.

7. Anda harus menunggu sekitar 1 menit agar indeks berlaku. Lalu, Anda dapat melihat log yang dikumpulkan di tab Log Mentah. Untuk informasi lebih lanjut tentang cara menanyakan dan menganalisis log, lihat Panduan untuk Kueri dan Analisis Log.

Lihat konfigurasi impor dan laporan statistik

Setelah konfigurasi impor dibuat, Anda dapat melihat konfigurasi dan laporan statistiknya di konsol.

1. Klik proyek tujuan.

2. Di Logstore tujuan, pilih Data Collection > Data Import dan klik konfigurasi impor tujuan.

   

3. Di halaman Import Configuration Overview, lihat informasi dasar dan laporan statistik konfigurasi impor.

Operasi terkait

Di halaman Import Configuration Overview, Anda juga dapat melakukan operasi berikut.

• Ubah Konfigurasi

  Klik Modify Configuration untuk mengubah konfigurasi impor. Untuk informasi lebih lanjut tentang parameter, lihat Impor Data.

• Hapus Konfigurasi

  Klik Delete Configuration untuk menghapus konfigurasi impor.

  Peringatan

  Operasi ini tidak dapat dibatalkan. Lanjutkan dengan hati-hati.