DataHub adalah platform Alibaba Cloud untuk memproses data streaming. Platform ini memungkinkan Anda memublikasikan, berlangganan, dan mendistribusikan aliran data guna membangun analitik data dan aplikasi.
Ikhtisar produk
DataHub adalah platform pemrosesan data streaming yang disediakan oleh Alibaba Cloud. Anda dapat menggunakan fitur intinya—yaitu memublikasikan, berlangganan, dan mendistribusikan aliran data—untuk membangun analitik dan aplikasi berbasis data streaming.
Kemampuan utama
Pengumpulan data: DataHub terus-menerus mengumpulkan, menyimpan, dan memproses volume besar data streaming dari berbagai sumber, seperti perangkat seluler, aplikasi, layanan web, dan sensor.
Pemrosesan real-time: Data streaming yang ditulis ke DataHub, seperti log akses web dan event aplikasi, dapat diproses oleh mesin komputasi seperti Flink atau oleh aplikasi kustom. Pemrosesan ini menghasilkan hasil real-time, termasuk grafik real-time, pesan peringatan, dan statistik.
Arsitektur keseluruhan
DataHub dibangun di atas Apsara, platform terdistribusi milik Alibaba Cloud, yang menawarkan ketersediaan tinggi, latensi rendah, skalabilitas tinggi, dan throughput tinggi.
Platform ini menyediakan REST API terpadu. Aplikasi dapat berinteraksi dengan API tersebut menggunakan kit pengembangan perangkat lunak (SDK) untuk berbagai bahasa.
DataHub juga terhubung secara mulus dengan produk cloud dan mesin komputasi lainnya, seperti MaxCompute dan Flink, sehingga memungkinkan Anda menggunakan SQL untuk analitik data streaming.
DataHub juga dapat mendistribusikan data streaming ke berbagai produk cloud. Saat ini, platform ini mendukung distribusi ke MaxCompute (sebelumnya ODPS) dan OSS.
Manfaat
Throughput tinggi: Mendukung hingga 160 juta penulisan per hari pada satu Shard.
Ketepatan waktu: DataHub mengumpulkan dan memproses data dari berbagai sumber secara real-time, sehingga Anda dapat merespons kebutuhan bisnis dengan cepat.
Kemudahan penggunaan
Menyediakan SDK untuk bahasa seperti C++, Java, Python, dan Go.
Menyediakan spesifikasi API RESTful yang mendukung antarmuka akses kustom.
Menyediakan plugin klien umum, seperti Fluentd, Logstash, dan Flume.
Mendukung data terstruktur dengan skema kuat (dengan membuat topik bertipe TUPLE) maupun data tidak terstruktur (dengan membuat topik bertipe BLOB).
Ketersediaan tinggi
Ketersediaan layanan minimal 99,9%.
Ketahanan data minimal 99,999%.
Skalabilitas otomatis tanpa memengaruhi layanan eksternal.
DataHub mendukung pencadangan otomatis untuk redundansi.
Skalabilitas dinamis
Kapasitas throughput aliran data untuk setiap Topik dapat diskalakan naik atau turun secara dinamis, mencapai throughput maksimum sebesar
256.000 Records/sper Topik.Keamanan tinggi
Menyediakan perlindungan keamanan multilapis tingkat perusahaan dan isolasi sumber daya multi-pengguna.
DataHub mendukung berbagai metode autentikasi dan otorisasi. Misalnya, Anda dapat mengonfigurasi daftar putih atau memberikan izin menggunakan Resource Access Management (RAM).
Skenario
Sebagai layanan pemrosesan data streaming, DataHub dapat dikombinasikan dengan produk Alibaba Cloud lainnya untuk membangun solusi pemrosesan data yang lengkap.
Komputasi streaming (StreamCompute)
Real-time Compute for Apache Flink adalah mesin komputasi streaming Alibaba Cloud yang menyediakan bahasa mirip SQL untuk pemrosesan aliran. DataHub terintegrasi secara mulus dengan Flink dan dapat berfungsi baik sebagai sumber data maupun tujuan keluaran. Untuk informasi lebih lanjut, lihat Komputasi Real-time (Komputasi Streaming).
Aplikasi pemrosesan streaming
Aplikasi kustom dapat berlangganan data di DataHub, memprosesnya secara real-time, dan mengeluarkan hasilnya. Hasil dari satu aplikasi dapat dikirim kembali ke DataHub untuk diproses oleh aplikasi lain, sehingga memungkinkan Anda membangun grafik asiklik terarah (DAG) untuk alur kerja pemrosesan data Anda.
Pengarsipan data streaming
Data streaming dapat diarsipkan ke MaxCompute (sebelumnya ODPS). Anda dapat membuat konektor DataHub dan menentukan konfigurasi yang diperlukan untuk menyiapkan tugas sinkronisasi yang secara berkala mengarsipkan data streaming dari DataHub.