OpenSearch:Konfigurasikan sumber data RDS

Konfigurasikan sumber data RDS

ApsaraDB Relational Database Service (RDS) adalah layanan database on-demand yang stabil, andal, dan scalable dari Alibaba Cloud (pelajari tentang RDS).

Sebelum Anda membeli instans RDS

• OpenSearch mendukung ApsaraDB RDS untuk MySQL 5.5, 5.6, 5.7, dan 8.0.

• Saat membeli instans RDS, instans tersebut harus merupakan instans Edisi Ketersediaan Tinggi dengan mesin ganda standar. Edisi Dasar RDS MySQL dan Edisi Perusahaan tiga node tidak didukung karena bukan edisi ketersediaan tinggi.

• Instans RDS harus termasuk dalam Akun Alibaba Cloud Anda saat ini dan berada di wilayah yang sama dengan aplikasi OpenSearch Anda.

• Instans RDS yang diklon (RDS clone) didukung jika instans RDS tersebut merupakan Edisi Ketersediaan Tinggi.

• Pengindeksan ulang gagal untuk instans RDS yang tidak didukung atau instans yang tidak memenuhi batasan yang ditentukan.

• Sumber data RDS hanya mendukung jaringan VPC.

Fitur yang didukung

• Anda dapat menarik data lengkap dari tabel database tertentu (pengindeksan ulang manual atau terjadwal).

• Anda dapat menggabungkan data secara horizontal dari satu atau beberapa tabel sumber data. Tabel sumber ini harus memiliki skema tabel dan konfigurasi plug-in sumber data yang identik, serta nilai kunci primernya harus unik (nilai kunci primer duplikat menyebabkan data ditimpa). Dua skenario berikut didukung:

  • Tabel aplikasi memiliki satu sumber data yang berisi beberapa tabel sumber.

  • Tabel aplikasi memiliki beberapa sumber data, dan setiap sumber data berisi satu atau beberapa tabel sumber.

• Plugin transformasi untuk bidang sumber data didukung.

• Metode sinkronisasi data yang didukung:

  • Sinkronisasi otomatis

  • Sinkronisasi real-time menggunakan instans DTS yang dibeli sendiri

  • Tidak ada sinkronisasi otomatis

• Kondisi filter untuk data lengkap didukung.

• Anda dapat menggunakan karakter wildcard * untuk mencocokkan nama tabel database.

Batasan terkait

• Hanya mode full yang didukung untuk binlog RDS.

• Hanya seri RDS Ketersediaan Tinggi dan seri Cluster yang didukung.

• Versi database RDS yang didukung adalah 5.5, 5.6, 5.7, dan 8.0.

• Untuk RDS 5.6, kami menyarankan Anda menaikkan ambang batas parameter loose_max_execution_time dan loose_max_statement_time secara tepat untuk menghindari error selama pengindeksan ulang, seperti: Query execution was interrupted, max_statement_time exceeded.

• Instans RDS harus termasuk dalam Akun Alibaba Cloud Anda saat ini dan berada di wilayah yang sama dengan aplikasi OpenSearch Anda.

• Setelah Anda mengonfigurasi sumber data RDS untuk aplikasi Edisi Standar, mendorong data inkremental (SDK/API) tidak didukung.

• Untuk sumber data RDS aplikasi Edisi Standar (di wilayah yang menghadap Internet), kondisi filter sumber data tidak didukung.

• Sintaks replace into tidak didukung.

• Perintah truncate dan drop tidak didukung. Gunakan perintah delete untuk menghapus data.

• Instans RDS yang diklon (RDS clone) didukung jika instans RDS tersebut merupakan Edisi Ketersediaan Tinggi.

• Kata sandi akses RDS tidak boleh mengandung simbol %, yang menyebabkan tugas pengindeksan ulang gagal.

• Akses menggunakan akun istimewa RDS tidak didukung. (Jika tidak, koneksi ke RDS gagal.)

• Menggabungkan kolom bidang dari tabel sumber database berbeda tidak didukung.

• Klien replika dan slave replika tanpa binlog tidak didukung. Untuk mempelajari cara memeriksa dan mengaktifkan binlog, lihat dokumentasi.

Peringatan

• Anda dapat mengakses RDS melalui jaringan internal atau Internet. OpenSearch tidak membebankan biaya trafik apa pun untuk mengambil data RDS.

• OpenSearch hanya menarik data lengkap dari database utama. Berdasarkan beban layanan Anda, kami menyarankan Anda melakukan pengindeksan ulang untuk mengimpor data lengkap selama jam sepi.

• Untuk tipe waktu seperti datetime dan timestamp dalam tabel RDS, sistem secara otomatis mengonversinya ke milidetik. Atur tipe bidang tabel aplikasi yang sesuai menjadi TIMESTAMP.

• Alamat internal RDS diaktifkan secara default. Anda harus mengajukan alamat yang menghadap Internet secara manual. Anda hanya dapat mengakses RDS melalui Internet setelah permohonan alamat yang menghadap Internet disetujui.

• Dokumen lengkap yang tidak sesuai dengan kondisi filter sumber data akan difilter, dan jika dokumen dengan nilai kunci primer yang sama ada di tabel aplikasi yang sesuai, dokumen tersebut juga akan dihapus.

• Jika sumber data tidak memiliki data inkremental dalam periode yang lama (15 hari atau lebih), sinkronisasi data mungkin menjadi abnormal. Dalam kasus ini, lakukan secara manual pengindeksan ulang atau perubahan offline untuk menyelesaikan masalah tersebut.

• Saat Anda menyinkronkan data sumber data RDS menggunakan OpenSearch, Anda harus menambahkan rentang alamat IP server OpenSearch ke daftar izin RDS. Daftar izin alamat IP untuk setiap wilayah adalah sebagai berikut:

  Wilayah	Rentang alamat IP
  Tiongkok (Hangzhou)	100.104.190.128/26,100.104.241.128/26
  Tiongkok (Beijing)	100.104.16.192/26,100.104.179.0/26
  Tiongkok (Shanghai)	100.104.37.0/26,100.104.46.0/26
  Tiongkok (Shenzhen)	100.104.87.192/26,100.104.132.192/26
  Tiongkok (Qingdao)	100.104.240.128/26,100.104.111.128/26
  Tiongkok (Zhangjiakou)	100.104.155.192/26,100.104.238.64/26
  Jerman (Frankfurt)	100.104.127.0/26,100.104.35.192/26
  AS (Silicon Valley)	100.104.193.128/26,100.104.119.128/26
  Singapura	100.104.58.192/26,100.104.74.192/26

Masalah otorisasi akun

Rekomendasi untuk menghubungkan dan menggunakan MySQL 5.7/8.0:

• Saat menghubungkan MySQL 5.7 atau versi yang lebih baru, Anda harus memberikan akses ke instans RDS dan menyediakan akun serta kata sandi. Untuk koneksi awal, pilih akun dan kata sandi dengan cermat.

• [Pastikan izin akun] Akun harus memiliki izin untuk melihat semua tabel di database (batasan layanan DTS hulu) agar dapat menjalankan show create table *. *. Tanpa izin yang diperlukan, sinkronisasi real-time mungkin gagal.

• [Minimalkan perubahan izin akun] Tugas real-time OpenSearch juga berperan sebagai klien MySQL. Perubahan akun mencegah tugas real-time saat ini mengonsumsi data dengan benar dan juga memengaruhi pembuatan versi baru. Jika Anda mengubah akun atau kata sandi, Anda harus menghapus instans dan menghubungkan kembali ke database.

• Izin minimum yang dibutuhkan OpenSearch untuk instans RDS Anda adalah:

  1. Izin show create table.

  2. Izin REPLICATION SLAVE atau REPLICATION CLIENT.

  3. binlog_row_image diatur ke full.

  4. binlog_format diatur ke ROW.

FAQ

• Untuk mengonfigurasi sumber data RDS untuk aplikasi di Konsol menggunakan Pengguna RAM, Anda harus memberikan izin yang diperlukan kepada Pengguna RAM tersebut. Jika tidak, pesan Failed to connect to the RDS service. Try again later. akan ditampilkan. Untuk informasi lebih lanjut, lihat Otorisasi RAM (pastikan akun utama diizinkan membuat peran terkait layanan).

• Kata sandi akses RDS tidak boleh mengandung simbol %. Jika tidak, tugas pengindeksan ulang akan gagal. (Pesan error: Illegal hex characters in escape (%) pattern.)

• Sistem mensyaratkan bahwa nilai kunci primer di tabel aplikasi harus unik. Dalam skenario sharding, nilai kunci primer duplikat akan ditimpa. Anda dapat menggunakan plug-in sumber data StringCatenateExtractor untuk menggabungkan beberapa nilai bidang. Atur bidang sumber menjadi pk,$table (ganti pk dengan bidang kunci primer tabel RDS; $table adalah variabel sistem default yang merepresentasikan nama tabel database yang sesuai, dan hanya tersedia saat sharding dikonfigurasi dengan wildcard), dan atur karakter penggabungan menjadi - (dapat dikustomisasi). Misalnya, jika tabel RDS adalah my_table_0 dan nilai bidang kunci primer adalah 123456, nilai kunci primer baru setelah penggabungan adalah 123456-my_table_0.

• Untuk memfilter data berdasarkan tipe bidang date atau datetime di tabel database, misalnya, jika nama bidang tabel database adalah createtime, format waktu dalam kondisi filter sumber data harus berupa createtime>'2018-03-01 00:00:00'. Menggunakan format createtime>'2018-3-1 00:00:00' menyebabkan error.

Prosedur mengonfigurasi sumber data RDS

• Konfigurasikan sumber data RDS selama pembuatan aplikasi.

• Untuk aplikasi yang telah dibuat, Anda dapat mengubahnya di halaman detail aplikasi dengan memilih "Edit Structure".

Langkah-langkah konfigurasi Konsol dan peringatan

1. Pilih sumber data RDS dan klik Create Database.

   

2. Setelah Anda melengkapi informasi RDS, klik tombol Connect.

   

   Parameter	Deskripsi
   Instance ID	ID instans (bukan nama) database RDS. Anda dapat memperolehnya dari Konsol RDS (case-sensitive). Instans read-only tidak didukung. Format ID instans contohnya: rm-bp19b4g5n11111111
   Database name	Nama database yang akan dihubungkan di bawah instans (tidak case-sensitive).
   Username	Username read-only database, digunakan untuk mengambil skema tabel database dan data lengkap (case-sensitive dan memiliki izin read-only).
   Password	Kata sandi untuk username read-only.

   OpenSearch mencoba menghubungkan dan memberikan pesan hasil berdasarkan situasi spesifik:

   Pesan	Solusi
   This RDS instance does not exist in the current region for the current user	Periksa apakah ID instans sudah benar dan pastikan instans RDS berada di wilayah yang sama dengan aplikasi OpenSearch Anda. Jika error tetap muncul meskipun kondisi ini terpenuhi, kirim tiket untuk umpan balik.
   Failed to connect to the RDS service	Periksa apakah string koneksi RDS sudah benar, termasuk ID instans, nama database, username, dan password.
   This table does not exist in the current RDS database	Periksa apakah nama tabel sudah benar dan apakah tabel tersebut benar-benar ada di database RDS.

3. Antarmuka setelah koneksi sumber data berhasil dibuat ditunjukkan di bawah ini. Pilih tabel yang sesuai, klik panah kanan, dan simpan ke bagian Selected di sebelah kanan.

   • Pilih atau masukkan nama tabel yang akan diakses di bawah database (case-sensitive).

   • Tabel aturan sharding table_* didukung, misalnya table_a dan table_b.

4. Untuk pemetaan bidang, pilih bidang database yang akan ditarik. Klik OK untuk menyelesaikan pembuatan aplikasi.

   

   • Di antarmuka ini, Anda dapat menambahkan bidang database untuk dipetakan dan disinkronkan.

   • Di bagian transformasi konten pada antarmuka ini, Anda dapat menambahkan plug-in sumber data. Untuk informasi tentang cara menggunakan plug-in dan dokumentasinya, lihat dokumentasi plug-in sumber data.

   

5. Konfigurasikan kondisi filter sumber data RDS.

   

   • Anda juga dapat mengonfigurasi beberapa sumber data dalam satu tabel aplikasi OpenSearch, tetapi skema dan konfigurasi tabel-tabel tersebut harus identik.

   • Kondisi filter yang dikonfigurasi untuk sumber data RDS hanya menarik catatan yang sesuai dengan kondisi tersebut. Untuk konfigurasi detail, lihat Kondisi filter sumber data.