PolarDB:X-Engine

Contact us

Untuk pertanyaan, bergabunglah dengan grup DingTalk 24490017825.

Tantangan dan kebutuhan dalam mengarsipkan data historis

• Tantangan

  Dalam sebagian besar kasus, data baru dibaca atau diperbarui lebih sering daripada data historis. Data historis seperti pesanan atau pesan yang dihasilkan satu tahun lalu jarang diakses. Seiring perkembangan bisnis Anda, volume besar data yang jarang atau tidak pernah diakses disimpan dalam sistem database Anda, yang dapat menyebabkan masalah berikut:

  • Data historis dan data baru disimpan dalam sistem database yang sama, sehingga kapasitas disk bisa menjadi tidak mencukupi.

  • Volume data yang besar berbagi sumber daya memori, cache space, dan disk IOPS dari sistem database, yang dapat menurunkan performa database.

  • Operasi backup volume data yang besar memerlukan waktu lama dan berpotensi gagal. Bahkan jika berhasil, penyimpanan file backup tetap menjadi tantangan tersendiri.

  Masalah-masalah tersebut dapat diatasi dengan mengarsipkan data historis. Data historis dapat disimpan sebagai file menggunakan layanan penyimpanan berbiaya rendah, seperti Object Storage Service (OSS) atau Database Backup (DBS). Dalam skenario bisnis nyata, data historis tidak sepenuhnya statis. Data historis yang dihasilkan beberapa bulan atau tahun lalu mungkin masih perlu di-query atau diperbarui secara real-time atau sesekali. Contohnya, data historis seperti pesanan lama di Taobao atau Tmall, pesan lama di DingTalk, dan pesanan logistik Cainiao dapat di-query di dalam Alibaba Group.

• Kebutuhan

  Untuk mengatasi tantangan terkait pembacaan dan pembaruan data historis, X-Engine Edition dapat digunakan sebagai database terpisah yang hanya menyimpan data terarsip. X-Engine Edition harus memenuhi persyaratan berikut:

  • Harus menyediakan kapasitas penyimpanan besar untuk menyimpan data online yang terus dihasilkan, sehingga Anda tidak perlu khawatir tentang kapasitas penyimpanan.

  • X-Engine Edition harus menyediakan antarmuka yang sama dengan database online Anda. Misalnya, database arsip harus mendukung protokol MySQL seperti halnya database online. Hal ini memastikan aplikasi Anda dapat mengakses database online dan X-Engine Edition tanpa perlu memodifikasi kode.

  • Harus hemat biaya. Misalnya, Anda dapat melakukan kompresi data untuk mengurangi penggunaan kapasitas disk dan menggunakan media penyimpanan berbiaya rendah untuk menyimpan volume data besar.

  • Harus menyediakan kemampuan baca-tulis yang memenuhi kebutuhan operasi baca-tulis frekuensi rendah.

MySQL gagal menyediakan solusi yang memenuhi semua persyaratan tersebut, meskipun merupakan sistem database open source paling banyak digunakan di dunia. Mesin seperti TokuDB dan MyRocks menyediakan rasio kompresi data tinggi. Namun, volume data yang dapat disimpan menggunakan salah satu mesin tersebut dibatasi oleh kapasitas disk setiap mesin fisik.

Solusi: PolarDB X-Engine Edition

Untuk mengatasi tantangan di atas dan memenuhi kebutuhan penyimpanan data terarsip, PolarDB X-Engine Edition menyediakan fitur-fitur yang dikembangkan berdasarkan inovasi dan terobosan teknologi berikut:

• X-Engine Edition dikembangkan oleh Alibaba Cloud berdasarkan arsitektur log-structured merge-tree (LSM tree). X-Engine Edition menyediakan kemampuan kompresi data yang kuat sehingga Anda dapat menggunakan database arsip dengan biaya rendah. X-Engine Edition menggunakan LSM tree dan algoritma kompresi data Zstandard (ZSTD) untuk meningkatkan rasio kompresi data. Dibandingkan dengan InnoDB, X-Engine Edition dapat mengurangi penggunaan penyimpanan hingga 70%. Untuk informasi selengkapnya tentang X-Engine Edition, lihat Introduction to X-Engine. X-Engine Edition memiliki batasan, terutama dalam hal kompatibilitas dengan MySQL. Untuk informasi selengkapnya, lihat Usage.

• PolarDB mendukung ekspansi kapasitas penyimpanan online berbasis shared distributed storage. PolarDB menghubungkan sumber daya komputasi dan penyimpanan melalui jaringan berkecepatan tinggi serta mentransmisikan data menggunakan protokol remote direct memory access (RDMA), sehingga menghilangkan bottleneck performa I/O. X-Engine Edition yang terintegrasi dalam PolarDB memberikan manfaat-manfaat tersebut.

  X-Engine Edition diintegrasikan ke dalam PolarDB melalui inovasi teknologi berikut, sehingga memungkinkan PolarDB beroperasi dalam arsitektur dual-engine.

  • Aliran log write-ahead logging (WAL) X-Engine Edition digabungkan dengan aliran redo log InnoDB. Dengan demikian, aliran log dan saluran transmisi yang sama digunakan untuk mendukung InnoDB dan X-Engine Edition. Logika manajemen dan interaksi dengan shared storage tetap tidak berubah. Arsitektur ini dapat digunakan kembali oleh mesin lain yang akan diperkenalkan di masa depan.

  • Modul I/O X-Engine Edition disesuaikan dengan Polar File System (PFS) PolarDB InnoDB. Hal ini memastikan InnoDB dan X-Engine Edition menggunakan penyimpanan terdistribusi yang sama. Backup dipercepat berdasarkan penyimpanan terdistribusi di lapisan bawah.

Arsitektur node komputasi X-Engine Edition

Kluster X-Engine Edition terdiri dari satu node primary dan beberapa node read-only. Node primary memproses permintaan baca dan tulis. Kluster ini mendukung spesifikasi Dedicated dan General-purpose.

Manfaat

• X-Engine Edition menyediakan kapasitas penyimpanan besar. Berdasarkan kapasitas penyimpanan 200 TB dan kemampuan kompresi, X-Engine Edition dapat menyimpan lebih dari 500 TB data mentah. X-Engine Edition menggunakan arsitektur serverless sehingga kapasitas penyimpanan secara otomatis bertambah seiring peningkatan volume data. Dengan demikian, Anda tidak perlu menentukan kapasitas penyimpanan saat membeli kluster PolarDB dan hanya dikenai biaya berdasarkan kapasitas penyimpanan aktual yang digunakan.

• PolarDB X-Engine Edition mendukung protokol MySQL resmi. Dibandingkan dengan solusi lain yang menyimpan data historis ke layanan NoSQL seperti HBase, X-Engine Edition memungkinkan aplikasi mengakses database online dan X-Engine Edition tanpa perlu memodifikasi kode.

• X-Engine Edition memanfaatkan kemampuan backup dari penyimpanan terdistribusi lapisan bawah PolarDB untuk melakukan backup volume data besar dalam waktu singkat. File backup dapat diunggah dan disimpan secara permanen di layanan penyimpanan berbiaya rendah, seperti OSS.

• Arsitektur multi-node X-Engine Edition menyediakan kemampuan kompresi data yang kuat untuk mengurangi biaya penyimpanan sekaligus menjamin ketersediaan tinggi kluster. Jika node primary dalam kluster mengalami kegagalan, kluster secara otomatis melakukan failover ke node read-only, yang kemudian berfungsi sebagai node primary baru. Hal ini memastikan ketersediaan layanan minimal 99,99%.

• Hasil pengujian sysbench menunjukkan bahwa mode penyimpanan dual-engine ini hanya menyebabkan penurunan performa sebesar 20% dibandingkan dengan mode single-engine. Jika kluster Anda memiliki volume data besar, seperti ratusan GB atau TB, Anda dapat mengaktifkan X-Engine Edition untuk sedikit mengorbankan performa kluster demi penghematan biaya signifikan.

Skenario

PolarDB X-Engine Edition menyediakan kapasitas penyimpanan besar dan dapat digunakan untuk menyimpan data historis dari berbagai layanan. Hal ini menjamin penyimpanan dan manajemen terpusat untuk seluruh data historis. X-Engine Edition cocok untuk skenario berikut:

• PolarDB X-Engine Edition digunakan untuk menyimpan cold data dari database yang dikelola sendiri secara offline. Database yang dikelola sendiri tersebut dapat berupa MySQL, TiDB, PostgreSQL, SQL Server, atau database relasional lainnya.

• PolarDB X-Engine Edition digunakan untuk menyimpan data terarsip dari ApsaraDB RDS for MySQL atau PolarDB for MySQL. Anda dapat memigrasikan data historis yang jarang diakses ke PolarDB for MySQL X-Engine Edition, sehingga storage space database online dapat dilepas untuk mengurangi biaya dan meningkatkan performa.

• PolarDB X-Engine Edition digunakan sebagai layanan database relasional yang menyediakan kapasitas penyimpanan besar. Hal ini berlaku untuk skenario yang memerlukan penulisan volume data besar namun akses datanya berfrekuensi rendah, seperti log pemantauan.

Anda dapat menggunakan Data Transmission Service (DTS) untuk memigrasikan data secara berkelanjutan dari database online ke PolarDB X-Engine Edition secara real-time. Anda juga dapat menggunakan Data Management (DMS) untuk mengimpor data online ke PolarDB X-Engine Edition secara berkala. Untuk informasi selengkapnya tentang DTS dan DMS, lihat What is Data Transmission Service? dan What is Data Management (DMS)?

Versi yang didukung

Spesifikasi node dan harga

X-Engine Edition mendukung spesifikasi General-purpose dan Dedicated. Untuk informasi selengkapnya, lihat Compute node specifications for Enterprise Edition.

Untuk informasi selengkapnya tentang harga X-Engine Edition, lihat Pay-as-you-go prices of compute nodes.