Saat Anda menambahkan atau memperbarui catatan di sumber data, perubahan tersebut harus mencapai mesin OpenSearch agar dapat ditemukan dalam hasil pencarian. OpenSearch menyinkronkan data inkremental secara real-time melalui pipeline tiga tahap: dari sumber data ke aplikasi offline, dari aplikasi offline ke tabel lebar, dan dari aplikasi offline ke mesin pencarian. Batas laju pada setiap tahap melindungi mesin dan menjaga latensi tabel utama tetap rendah.
Pilih jalur ingest
Data inkremental memasuki pipeline melalui salah satu dari dua jalur berikut:
| Jalur | Cara kerjanya | Kapan menggunakannya |
|---|---|---|
| Berlangganan log biner melalui DTS | Data Transmission Service (DTS) berlangganan log biner dari sumber data Anda dan mengalirkan perubahan ke aplikasi offline OpenSearch. | Sumber data Anda adalah database relasional, dan Anda menginginkan penangkapan perubahan otomatis dengan latensi rendah tanpa mengubah kode aplikasi Anda. |
| Dorong data menggunakan API | Aplikasi Anda mengirim data langsung ke aplikasi offline OpenSearch melalui panggilan API. | Anda menghasilkan data di luar database, memproses data sebelum pengindeksan, atau memerlukan kontrol detail halus atas catatan mana yang diindeks. |
Kedua jalur tersebut mengalir ke pipeline tiga tahap yang sama.
Cara kerja pipeline
Tahap 1: Sumber data ke aplikasi offline
DTS berlangganan log biner dari sumber data Anda dan mengalirkan perubahan ke aplikasi offline. Jika Anda menggunakan jalur API, aplikasi Anda mendorong data langsung ke aplikasi offline. Dalam kedua kasus tersebut, total transaksi per detik (TPS) gabungan dari tabel utama dan semua tabel secondary tidak boleh melebihi 1.500 TPS.
Tahap 2: Aplikasi offline ke tabel lebar
Aplikasi offline menggabungkan perubahan yang masuk ke dalam tabel lebar yang sudah ada. Saat pembaruan pada tabel secondary memicu pembaruan pada tabel utama dan pembaruan yang dipicu tersebut mencapai atau melebihi 1.000 TPS, sistem melakukan pengendalian aliran terhadap pembaruan tabel secondary. Hal ini menjaga latensi sinkronisasi tabel utama tetap rendah.
Untuk informasi selengkapnya tentang bagaimana penggabungan tabel multi-tabel memengaruhi latensi, lihat Latensi sinkronisasi data yang disebabkan oleh penggabungan multi-tabel.
Tahap 3: Aplikasi offline ke mesin
Aplikasi offline menulis data yang telah digabung ke mesin OpenSearch. Karena metadata ditambahkan selama tahap ini, volume data yang mencapai mesin bisa mencapai dua hingga tiga kali lipat dari data sumber aslinya. Untuk melindungi mesin, kecepatan penulisan dibatasi maksimal 10 MB/s.
Batasan
| Metrik | Batas | Alasan batasan ini ada |
|---|---|---|
| Total TPS dari sumber data ke aplikasi offline (gabungan tabel utama dan tabel secondary, tanpa hubungan pemicu yang dikonfigurasi) | 1.500 TPS | Kapasitas ingest hulu aplikasi offline |
| Kecepatan penulisan dari aplikasi offline ke mesin | 10 MB/s | Penambahan metadata memperluas data menjadi 2–3x ukuran aslinya; batas ini melindungi mesin dari kelebihan beban |
| Pembaruan tabel utama yang dipicu oleh pembaruan tabel secondary | 1.000 TPS | Di atas ambang batas ini, kecepatan pembaruan tabel secondary dikurangi untuk menjaga latensi tabel utama tetap rendah |
Jika Anda memperkirakan beban kerja akan mendekati batasan ini, pantau TPS dan volume data sebelum peluncuran. Hubungi dukungan Alibaba Cloud untuk membahas opsi jika kebutuhan Anda melebihi nilai default.