:Impor data dari database MySQL

Batasan

• Fitur ini hanya didukung di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Qingdao), Tiongkok (Beijing), Tiongkok (Zhangjiakou), Tiongkok (Hohhot), Tiongkok (Ulanqab), Tiongkok (Chengdu), Tiongkok (Shenzhen), Tiongkok (Heyuan), Tiongkok (Guangzhou), Tiongkok (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Filipina (Manila), Thailand (Bangkok), Jepang (Tokyo), Korea Selatan (Seoul), Inggris (London), Jerman (Frankfurt), AS (Virginia), dan AS (Silicon Valley).

• Jika Anda mengimpor data dari sumber AnalyticDB for MySQL, Anda harus mengonversi field JSON ke tipe VARCHAR sebelum impor. Misalnya, jika field bernama detail bertipe data JSON, gunakan cast(detail as VARCHAR) as detail untuk melakukan konversi tersebut. Untuk informasi lebih lanjut tentang fungsi CAST, lihat CAST function.

Impor data

1. Login ke Simple Log Service console.

2. Pada bagian Projects, klik proyek yang diinginkan.

   

3. Pada panel Log Storage > Logstore, klik > di samping Logstore target. Arahkan kursor ke Data Collection > Data Import, lalu klik +.

4. Pada wizard Quick Data Import, cari dan klik MySQL - Data Import.

5. Konfigurasikan pekerjaan impor data.

   1. Pada langkah Configure Data Source, konfigurasikan parameter berikut.

      Parameter dasar

      Parameter	Deskripsi
      Task Name	Nama unik untuk pekerjaan impor data.
      Display Name	Nama tampilan pekerjaan.
      Job Description	Deskripsi pekerjaan impor data.
      Use VPC Endpoint	RDS instance in VPC Pilih Use VPC Endpoint dan ApsaraDB RDS Instance, lalu konfigurasikan parameter berikut. VPC ID: ID VPC tempat instans ApsaraDB RDS for MySQL berada. RDS Instance ID: ID instans ApsaraDB RDS for MySQL. Anda harus mengatur parameter ini ke nilai VpcCloudInstanceId instans tersebut. Anda dapat memanggil operasi DescribeDBInstanceAttribute untuk mendapatkan nilai VpcCloudInstanceId. Self-managed on ECS Pilih Use VPC Endpoint dan Self-managed Database on ECS, lalu konfigurasikan parameter berikut. VPC ID: ID VPC tempat instans ECS berada. ECS Instance IP Address: Alamat IP pribadi instans ECS. Public database Kosongkan centang pada kotak Use VPC Endpoint dan konfigurasikan parameter berikut. Public IP Address or Domain Name of Database: Alamat IP publik atau nama domain database MySQL.
      MySQL Port	Port layanan database MySQL. Nilai default: 3306.
      Username	Username yang digunakan untuk login ke database MySQL. Kami menyarankan memberikan izin read-only kepada akun ini.
      Password	Password akun tersebut.
      Database	Nama database MySQL.
      Query	Anda dapat menggunakan pernyataan SELECT atau SHOW. Jika menggunakan pernyataan SHOW, Anda tidak dapat mengatur parameter Page Size pada pengaturan lanjutan. Anda dapat menggunakan tanda tanya (?) sebagai placeholder, yang bekerja bersama dengan CheckPoint Field. Misalnya, jika pernyataan kueri Anda adalah SELECT * FROM employees WHERE id > ?, Anda dapat mengatur CheckPoint Field menjadi id dan Starting Value of CheckPoint Field menjadi 0. Setelah setiap pekerjaan impor selesai, sistem menyimpan ID catatan terakhir sebagai checkpoint. Saat pekerjaan berikutnya dijalankan, tanda tanya (?) dalam pernyataan kueri akan diganti dengan nilai checkpoint tersebut.

      Parameter lanjutan

      Parameter	Deskripsi
      Maximum Number of Rows for Each Import	Jumlah maksimum baris yang diimpor dalam setiap pekerjaan terjadwal. Nilai 0 berarti tanpa batas. Default: 0.
      Connection Timeout Settings	Periode timeout untuk koneksi ke database MySQL. Nilai default: 3.000 ms.
      Query Timeout Settings	Periode timeout untuk kueri ke database MySQL. Nilai default: 5.000 ms.
      Page Size	Nilai 0 menonaktifkan pagination. Jika nilainya lebih besar dari 0, sistem akan menambahkan limit pageSize offset {checkpoint} ke pernyataan SELECT, sehingga data dapat diimpor dalam beberapa halaman dalam satu pekerjaan.
      Time Field	Field dalam data MySQL yang merepresentasikan waktu, seperti create_time atau update_time. Simple Log Service menggunakan nilai field ini sebagai timestamp untuk data yang diimpor.
      Time Field Format	Format field waktu. Format waktu berbasis Java didukung, seperti yyyy-MM-dd HH:mm:ss. Untuk informasi selengkapnya, lihat Time formats.
      Time Zone	Zona waktu field waktu.
      CheckPoint Field	Pilih field checkpoint untuk menentukan titik awal impor data berikutnya. Misalnya, jika pernyataan kueri adalah select * from t where id > ? dan id adalah field auto-incrementing, Anda dapat mengatur id sebagai field checkpoint. Anda juga dapat menggunakan field seperti create_time atau update_time. Catatan Jika Anda tidak menentukan rentang waktu dalam kueri SQL Anda, kami menyarankan mengonfigurasi field checkpoint untuk mengimpor data inkremental dan mencegah duplikasi data.
      Starting Value of CheckPoint Field	Nilai awal untuk field checkpoint.
      Additional Fields	Tambahkan field konstan ke data yang diimpor. Formatnya adalah map[string]string. Misalnya, jika pernyataan kueri Anda adalah select a, b from t;, sistem secara default mengimpor field a dan b. Anda dapat menambahkan field lain untuk diimpor ke SLS, seperti {"k1": "v1", "k2": "v2"}.

   2. Klik Preview untuk memeriksa hasil impor. Setelah Anda memastikan hasilnya, klik Next Configuration.

   3. Pada langkah Scheduling Interval, konfigurasikan parameter berikut.

      Parameter	Deskripsi
      Import Interval	Interval impor data dari database MySQL ke Simple Log Service.
      Execute Now	Pilih Execute Now untuk menjalankan pekerjaan impor sekali saja.

   4. Setelah konfigurasi selesai, klik Next.

6. Buat indeks dan pratinjau data. Lalu, klik Next. Secara default, indeks teks penuh diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual untuk log yang dikumpulkan atau klik Automatic Index Generation. Simple Log Service kemudian akan menghasilkan indeks bidang. Untuk informasi selengkapnya, lihat Create indexes.

   Penting

   Jika Anda ingin melakukan kueri semua field dalam log, kami menyarankan menggunakan indeks teks penuh. Jika hanya ingin melakukan kueri field tertentu, kami menyarankan menggunakan indeks bidang untuk mengurangi traffic indeks. Jika Anda ingin menganalisis field, Anda harus membuat indeks bidang. Pernyataan kueri Anda harus mencakup pernyataan SELECT untuk analisis.

7. Anda harus menunggu sekitar 1 menit hingga indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan pada tab Raw Logs. Untuk informasi selengkapnya tentang cara melakukan kueri dan analisis log, lihat Query and analysis quick start.

Lihat pekerjaan impor dan laporan statistik

Setelah membuat pekerjaan impor data, Anda dapat melihat konfigurasi dan laporan statistiknya di Konsol.

1. Pada bagian Projects, klik proyek target.

2. Di panel navigasi kiri, pilih Data Collection > Data Import, lalu klik nama pekerjaan target.

3. Pada halaman Import Configuration Overview, lihat informasi dasar dan laporan statistik untuk pekerjaan impor.

Operasi terkait

Pada halaman Import Configuration Overview, Anda juga dapat melakukan operasi berikut.

• Ubah pekerjaan

  Klik Edit Configurations untuk mengubah konfigurasi pekerjaan. Untuk detail parameter, lihat Impor data.

• Hapus pekerjaan

  Klik Delete Configuration untuk menghapus pekerjaan impor data.

  Peringatan

  Operasi ini tidak dapat dibatalkan. Lakukan dengan hati-hati.