Dilengkapi dengan berbagai mesin seperti mesin tabel lebar, mesin deret waktu, mesin pencarian, mesin komputasi, dan mesin streaming, Lindorm juga kompatibel dengan API standar dari berbagai perangkat lunak open source dan layanan, seperti Apache HBase, Apache Cassandra, Amazon Simple Storage Service (Amazon S3), OpenTSDB, Apache Solr, dan Hadoop Distributed File System (HDFS). Dengan cara ini, Lindorm mampu menyediakan kemampuan untuk data multimodal, seperti kueri SQL, pemrosesan data deret waktu, serta kueri dan analisis data berbasis teks.
Sumber daya komputasi dan penyimpanan setiap mesin Lindorm dapat diskalakan secara terpisah untuk menyesuaikan dengan beban kerja dinamis dalam bisnis Anda. Mesin tabel lebar dan mesin deret waktu memberikan konkurensi tinggi dan throughput tinggi.
Pilih mesin
Anda dapat memilih satu atau lebih mesin berdasarkan kebutuhan bisnis Anda. Tabel berikut menjelaskan mesin yang didukung oleh Lindorm.
Mesin | Kompatibilitas | Skenario | Deskripsi |
Mesin Tabel Lebar (LindormTable) | Kompatibel dengan SQL, API HBase, Cassandra Query Language (CQL), dan API Amazon S3. | Cocok untuk mengelola dan menganalisis metadata, pesanan, tagihan, persona pengguna, informasi sosial, feed, log, lintasan. | Mesin tabel lebar digunakan untuk penyimpanan terdistribusi sejumlah besar data semi-terstruktur dan data terstruktur. Ini mendukung indeks sekunder global, pencarian multi-dimensi, kolom dinamis, dan fitur time-to-live (TTL). Mesin tabel lebar dapat menangani puluhan juta permintaan konkuren dan menyimpan petabyte data. Ini juga menyediakan fitur pemisahan data panas dan dingin. Dibandingkan dengan kinerja Apache HBase open source, kinerja baca/tulis meningkat 2 hingga 6 kali, latensi persentil 99% (P99) berkurang 90%, rasio kompresi berkurang 100%, dan biaya penyimpanan berkurang 50%. Mesin tabel lebar menyediakan layanan Lindorm GanosBase bawaan yang berlaku untuk data spasial atau spatio-temporal. Anda dapat menggunakan layanan Lindorm GanosBase untuk mengkueri dan menganalisis sejumlah besar data lintasan historis. |
Mesin Deret Waktu (LindormTSDB) | Menyediakan API HTTP dan kompatibel dengan API OpenTSDB. | Cocok untuk menyimpan dan memproses data deret waktu seperti data pengukuran dan data operasional perangkat dalam skenario seperti IoT dan pemantauan. | Mesin deret waktu adalah mesin penyimpanan terdistribusi yang digunakan untuk memproses sejumlah besar data deret waktu. Ini mendukung kueri SQL. Mesin deret waktu menyediakan algoritma kompresi khusus untuk data deret waktu. Ini membantu meningkatkan rasio kompresi data. Mesin deret waktu memungkinkan Anda menggunakan beberapa dimensi untuk mengkueri dan menggabungkan sejumlah besar data deret waktu berdasarkan garis waktu. Mesin ini juga mendukung downsampling dan skalabilitas elastis. |
Mesin Pencarian (LindormSearch) | Kompatibel dengan SQL, Apache Solr, dan API Elasticsearch. | Cocok untuk mengkueri sejumlah besar data, seperti log, teks, dan dokumen. Misalnya, Anda dapat menggunakan mesin pencarian untuk mencari log, tagihan, dan persona pengguna. | Lindorm menyediakan mesin pencarian terdistribusi. Mesin pencarian menggunakan arsitektur di mana penyimpanan dipisahkan dari komputasi. Mesin pencarian dapat digunakan secara mulus untuk menyimpan indeks mesin tabel lebar dan mesin deret waktu untuk mempercepat pengambilan data. Mesin pencarian menyediakan berbagai kemampuan, termasuk pencarian teks lengkap, agregasi, dan kueri multi-dimensi kompleks. Ini juga mendukung arsitektur yang terdiri dari satu replika tulis dan beberapa replika baca saja dan menyediakan fitur seperti penskalaan horizontal, pemulihan bencana lintas zona, dan TTL untuk memenuhi persyaratan pengambilan data dalam jumlah besar secara efisien. |
Mesin Komputasi (LDPS) | Kompatibel dengan API Apache Spark. | Cocok untuk skenario seperti produksi data dalam jumlah besar, analitik interaktif, pembelajaran komputasi, dan komputasi grafik. | Mesin komputasi menyediakan layanan komputasi terdistribusi berdasarkan arsitektur cloud native. Ini mendukung model komputasi Edisi Komunitas dan antarmuka pemrograman. Mesin komputasi juga mengintegrasikan fitur mesin penyimpanan Lindorm dan menggunakan fitur penyimpanan data dasar dan kemampuan pengindeksan untuk menyelesaikan pekerjaan terdistribusi secara efisien. |
Mesin Streaming | Kompatibel dengan SQL dan API Apache Kafka. | Cocok untuk skenario seperti pemrosesan data IoT, pemrosesan log aplikasi, analisis usia logistik, pemrosesan data perjalanan, dan pemrosesan lintasan waktu nyata. | Mesin streaming Lindorm digunakan untuk menyimpan dan memproses data streaming. Ini menyediakan kemampuan komputasi ringan. Anda dapat menggunakan mesin komputasi streaming untuk menyimpan data streaming ke Lindorm untuk memenuhi persyaratan pemrosesan dan aplikasi data streaming. Anda dapat menggunakan layanan Lindorm GanosBase yang disediakan oleh mesin tabel lebar bersama dengan mesin streaming Lindorm untuk mengimplementasikan fitur analisis lintasan waktu nyata, seperti geofencing elektronik dan pengumpulan statistik regional. |
Pilih jumlah dan spesifikasi node
Lindorm mendukung penskalaan horizontal node mesin. Anda dapat menambahkan lebih banyak node untuk menyelesaikan masalah seperti latensi tinggi, kinerja tidak stabil, dan beban kerja berlebih pada setiap node. Namun, jika sejumlah besar permintaan dikirim untuk mengakses data panas di node tunggal, Anda hanya dapat meningkatkan spesifikasi node untuk menghindari masalah yang disebabkan oleh data panas. Node dengan spesifikasi lebih tinggi lebih mampu menangani permintaan yang dikirim untuk mengakses data panas. Selain itu, node dengan spesifikasi lebih tinggi dapat memberikan kinerja yang lebih stabil untuk bisnis Anda dan menghindari beban kerja berlebih atau masalah kehabisan memori (OOM) yang disebabkan oleh sejumlah besar permintaan yang dikirim untuk mengakses data panas dan lalu lintas yang dihasilkan oleh permintaan tersebut.
Oleh karena itu, kami sarankan Anda memilih spesifikasi node di instans Anda berdasarkan kebutuhan bisnis Anda. Anda dapat meningkatkan spesifikasi node di instans Lindorm Anda di Lindorm. Untuk informasi lebih lanjut, lihat Ubah Spesifikasi Mesin Instans. Jika Anda tidak tahu cara memilih spesifikasi node atau memerlukan bantuan saat meningkatkan spesifikasi node, hubungi dukungan teknis Lindorm (ID DingTalk: s0s3eg3).
Mesin tabel lebar (LindormTable)
Node LindormTable mendukung spesifikasi mulai dari 4 core CPU dan 8 GB memori hingga 32 core CPU dan 256 GB memori. Jumlah node LindormTable dalam instans Lindorm dapat ditingkatkan. Anda dapat memilih spesifikasi node berdasarkan jumlah permintaan per detik dan jumlah region pada node tunggal dalam bisnis Anda.
Jika Anda memilih Lindorm untuk Product Type saat membuat instans Lindorm, spesifikasi minimum node LindormTable berisi 4 core CPU dan 16 GB memori.
Beberapa fitur optimasi kinerja LindormTable mungkin tidak berfungsi dengan baik ketika memori setiap node LindormTable kurang dari 16 GB. Beberapa fitur optimasi penulisan LindormTable mungkin tidak berfungsi dengan baik ketika LindormTable hanya berisi dua node atau kurang. Oleh karena itu, pilih tiga node atau lebih masing-masing dengan setidaknya 8 core dan 32 GB memori untuk LindormTable. Kami sarankan Anda memilih spesifikasi yang berisi 16 core dan 64 GB memori untuk setiap node LindormTable.
Kami sarankan Anda memilih spesifikasi node LindormTable berdasarkan aturan berikut:
Jika jumlah permintaan yang dikirim untuk mengakses node tunggal per detik kurang dari 1.000 dan jumlah region pada node tunggal kurang dari 500, pilih spesifikasi dengan 4 core CPU dan 16 GB memori.
Jika jumlah permintaan yang dikirim untuk mengakses node tunggal per detik lebih besar dari 1.000 dan kurang dari 20.000, dan jumlah region pada node tunggal lebih besar dari 500 dan kurang dari 1.000, pilih spesifikasi dengan 8 core CPU dan 32 GB memori.
Jika jumlah permintaan yang dikirim untuk mengakses node tunggal per detik lebih besar dari 20.000, dan jumlah region pada node tunggal lebih besar dari 1.000, pilih spesifikasi dengan 16 core CPU dan 64 GB memori.
nullSaat memilih spesifikasi node, Anda harus mempertimbangkan faktor lain selain jumlah permintaan per detik dan jumlah region pada node tunggal.
Jika Anda memilih spesifikasi node untuk bisnis kompleks tepat berdasarkan aturan di atas, bisnis mungkin tidak berjalan stabil dan latensi mungkin meningkat. Oleh karena itu, jika bisnis Anda memenuhi salah satu kondisi berikut, kami sarankan Anda memilih spesifikasi node yang lebih tinggi daripada spesifikasi yang dijelaskan dalam aturan di atas.
Baris yang mungkin diakses berisi kilobyte atau bahkan megabyte data.
Kondisi filter kompleks ditentukan dalam permintaan SCAN.
Sebagian besar data yang diakses oleh permintaan tidak disimpan dalam memori tetapi disimpan di disk.
Instans Lindorm berisi sejumlah besar tabel.
Jika bisnis Anda menyediakan layanan online, pilih spesifikasi node dengan memori besar untuk menyimpan lebih banyak data agar performa kueri lebih baik.
Jika bisnis Anda perlu menjalankan tugas berat secara offline, seperti tugas MapReduce dan tugas Spark, atau TPS dan QPS bisnis Anda sangat tinggi, kami sarankan Anda memilih spesifikasi node dengan lebih banyak core CPU.
Jika utilitas CPU node tetap 70% atau lebih tinggi, kami sarankan Anda meningkatkan spesifikasi node.
Mesin deret waktu (LindormTSDB)
Node LindormTSDB mendukung spesifikasi mulai dari 4 core CPU dan 8 GB memori hingga 32 core CPU dan 256 GB memori. Anda dapat memilih jumlah dan spesifikasi node LindormTSDB berdasarkan TPS dalam bisnis Anda.
Jika Anda memilih Lindorm untuk Product Type saat membuat instans Lindorm, spesifikasi minimum node LindormTSDB berisi 4 core CPU dan 16 GB memori.
Kami sarankan Anda memilih jumlah dan spesifikasi node LindormTSDB berdasarkan aturan berikut:
Jika TPS kurang dari 1.900.000, Anda dapat memilih tiga node masing-masing dengan 4 core CPU dan 16 GB memori.
Jika TPS lebih besar dari 1.900.000 dan kurang dari 3.900.000, Anda dapat memilih tiga node masing-masing dengan 8 core CPU dan 32 GB memori.
Jika TPS lebih besar dari 3.900.000 dan kurang dari 7.800.000, Anda dapat memilih tiga node masing-masing dengan 16 core CPU dan 64 GB memori.
Jika TPS lebih besar dari 7.800.000 dan kurang dari 11.000.000, Anda dapat memilih tiga node masing-masing dengan 32 core CPU dan 128 GB memori.
Anda dapat memilih jumlah dan spesifikasi node LindormTSDB berdasarkan aturan di atas saat ingin memaksimalkan kinerja pemrosesan data dalam bisnis Anda. Anda juga harus mempertimbangkan faktor lain saat memilih jumlah dan spesifikasi node LindormTSDB, seperti tipe model bisnis, ukuran data batch, dan jumlah permintaan konkuren. Untuk informasi lebih lanjut, lihat Hasil Uji Tulis dan Hasil Uji Kueri.