DataWorks:Kisah pelanggan

Background

Untuk mempercepat transformasi digital dan mengadopsi lanskap ritel baru, RT-Mart berencana memigrasikan seluruh sistem TI-nya ke Alibaba Cloud dalam waktu dua tahun, beralih dari pusat data yang dikelola sendiri. Perusahaan ini juga bermitra dengan Alibaba Cloud untuk meluncurkan proyek mid-end data guna mengurangi total biaya kepemilikan (TCO) dan memanfaatkan ekosistem cloud dalam mengubah data menjadi nilai bisnis.

The challenge

• Sistem berbasis Hadoop yang ada memiliki biaya maintenance tinggi dan masalah stabilitas berkelanjutan, sehingga sangat mengganggu operasi dan analisis bisnis.

• Seiring pertumbuhan pesat bisnis online-nya, perusahaan menghadapi antrean permintaan yang signifikan dan membutuhkan solusi komprehensif yang dapat diskalakan secara fleksibel dan cepat untuk mendukung kebutuhan teknis yang terus berkembang.

The solution and benefits

Dengan menggunakan MaxCompute Migration Assist (MMA), RT-Mart berhasil memigrasikan lebih dari 400 TB data historis hanya dalam 15 hari, memastikan akurasi tinggi dan pengalaman adopsi cloud yang lancar. Dengan membangun di atas platform big data Apsara menggunakan DataWorks dan MaxCompute, perusahaan secara signifikan meningkatkan efisiensi pengembangan data dan membangun mid-end data yang kuat.

Background

Danau data generasi pertama perusahaan dibangun di atas Hadoop dan OSS. Namun, mid-end datanya menggunakan MaxCompute sebagai mesin eksekusi dan penyimpanan. Penggunaan dua sistem heterogen ini menyebabkan penyimpanan berlebihan, metadata dan izin yang tidak konsisten, serta menghambat berbagi data dan komputasi antara data lake dan gudang data.

The challenge

Perusahaan perlu mengintegrasikan mesin MaxCompute dan E-MapReduce yang terpisah—yang digunakan untuk skenario bisnis berbeda—dengan tujuan menggunakan Data Lake Formation dari Alibaba Cloud untuk menyatukan pengelolaan metadata dan izin. Mereka juga bertujuan menerapkan tata kelola data end-to-end dengan DataWorks guna meningkatkan kualitas dan kegunaan data.

The solution and benefits

• Solusi ini memusatkan metadata dari E-MapReduce ke dalam Data Lake Formation dan menggunakan OSS untuk penyimpanan terpadu. Dengan membangun arsitektur danau data terpadu, solusi ini menghubungkan data lake berbasis E-MapReduce dengan gudang data berbasis MaxCompute, memungkinkan data dan sumber daya komputasi berpindah secara bebas di antara keduanya.

• Hal ini memungkinkan strategi penyimpanan bertingkat. Tabel antara, yang dibuat oleh mid-end data untuk pemodelan dimensional data lake, disimpan di MaxCompute, sedangkan lapisan layanan data aplikasi (ADS) dikonsumsi oleh E-MapReduce dan mesin lainnya.

Background

• Perusahaan ini, yang terdiri dari beberapa anak perusahaan, telah mengembangkan lanskap sistem yang besar dan kompleks selama bertahun-tahun.

• Hal ini menghasilkan fragmentasi data, standar data yang tidak konsisten, dan silodata yang menghambat analisis efektif.

• Selain itu, perusahaan tidak memiliki kepemilikan data, tata kelola, dan mekanisme berbagi yang jelas dan efektif.

The challenge

• Membangun mid-end data menggunakan DataWorks dan MaxCompute untuk menghilangkan silodata.

• Menambah kemampuan real-time mid-end data dengan menggunakan Realtime Compute for Apache Flink dan Hologres untuk analisis interaktif.

• Menerapkan tata kelola data end-to-end dengan DataWorks untuk meningkatkan kualitas dan kegunaan data.

The solution and benefits

• Mengembangkan sistem pemasaran cerdas B2B, berhasil mengintegrasikan manufaktur cerdas dengan model bisnis berbasis internet.

• Membangun mid-end data dengan pemrosesan aliran dan batch terpadu, menciptakan pipeline aplikasi big data yang konsisten dan lengkap untuk melayani beberapa unit bisnis inti.

• Tata kelola data end-to-end meningkatkan ketersediaan data, memungkinkan data mengalir bebas di dalam mid-end data. Hal ini menjamin akurasi, ketepatan waktu, dan konsistensi data, sehingga menghemat biaya hingga CNY 100 juta.

• Mempercepat iterasi bisnis, mengurangi frekuensi pembaruan data dari satu hari menjadi hanya 10 menit dan memangkas waktu penerapan fitur baru dari satu minggu menjadi satu hari.

Background

GOGOX mengoptimalkan logistik melalui solusi digital, termasuk konektivitas jaringan, kapasitas transportasi bersama, proses berbasis data, dan pencocokan cerdas. Platform ini mengkonsolidasikan sumber daya transportasi menganggur dan menggunakan big data untuk mencocokkan kapasitas secara tepat dengan permintaan pasar. Pendekatan ini membantu menghemat energi, mengurangi emisi, menurunkan laju perjalanan kosong, dan meningkatkan efisiensi keseluruhan industri logistik.

The challenge

• Efisiensi pemrosesan untuk dataset besar menurun, dan waktu yang dibutuhkan untuk komputasi data offline tidak stabil.

• Biaya pengembangan dan maintenance untuk komputasi real-time tinggi, dan perusahaan membutuhkan solusi tata kelola komprehensif untuk gudang datanya.

The solution and benefits

Dengan memanfaatkan platform big data Apsara, GOGOX mengurangi biaya mesin lebih dari 30% dan melipatgandakan efisiensi pengembangan data. Migrasi dari Java Storm ke Flink SQL secara signifikan mempersingkat siklus pengembangan komputasi real-time, menyederhanakan maintenance, dan meningkatkan konsistensi data. Hal ini meningkatkan akurasi dan ketepatan waktu dasbor pemantauan bisnis, memungkinkan tim lebih fokus pada inovasi bisnis. Selain itu, layanan O&M 24/7 dari Alibaba Cloud memastikan stabilitas kluster dan operasi tanpa gangguan.

Background

Didirikan pada tahun 2007, Babytree adalah komunitas online terbesar dan paling aktif di Tiongkok untuk ibu dan bayi. Sebagai salah satu platform internet konsumen paling awal, Babytree sejak dini membangun kluster pusat data on-premises sendiri, yang berkembang pesat dalam skala.

The challenge

• Kluster beroperasi pada kapasitas tinggi dengan performa buruk dan memerlukan strategi tata kelola big data yang komprehensif.

• Investasi tahunan yang tinggi untuk infrastruktur big data on-premises mendorong kebutuhan untuk mengurangi biaya dan meningkatkan efisiensi.

The solution and benefits

Babytree mengadopsi strategi migrasi cloud yang berfokus pada pengurangan biaya dan peningkatan efisiensi. Setelah bermigrasi ke MaxCompute, Realtime Compute for Apache Flink, dan DataWorks, performa beberapa tugas meningkat lebih dari 10 kali lipat. Perusahaan mengurangi penyimpanannya dari 3 PB pada sistem Hadoop yang dikelola sendiri menjadi 900 TB di cloud. Dengan memanfaatkan kemampuan pemrosesan real-time Flink, Babytree mengaktifkan fitur real-time seperti pelacakan perilaku pengguna, pengambilan ID obrolan grup pengguna, dan status publikasi artikel. Perusahaan juga menggunakan Flink untuk rekomendasi real-time, yang meningkatkan laju konversi. Secara keseluruhan, migrasi ini mengurangi total biaya platform big data lebih dari 30%.

Background

DeNA adalah perusahaan penyedia layanan internet terkemuka. Seiring semakin pendeknya siklus hidup proyek game, perusahaan membutuhkan sistem operasi data yang hemat biaya dan efisien untuk memungkinkan kontrol presisi secara real-time di setiap tahap.

The challenge

• Perusahaan mengoperasikan dua kluster terpisah di Hadoop 1.0 dan 2.0, menciptakan arsitektur teknis kompleks dengan hambatan dalam stabilitas, keamanan, dan skalabilitas elastis.

• Mengumpulkan log secara real-time dari berbagai sumber terbukti menantang.

• Pengembangan data bergantung pada skrip manual, yang tidak efisien. Performa komputasi Hive tidak lagi memenuhi kebutuhan bisnis.

The solution and benefits

DeNA China merupakan yang pertama di industri gaming yang menerapkan proyek menggunakan Lightning Cube dan MaxCompute Migration Assist (MMA). Tim berhasil memigrasikan 300 TB data inkremental dari database RDS dan 50 TB data historis dari 10 tahun terakhir hanya dalam waktu lebih dari satu bulan, bahkan tanpa jalur jaringan khusus. Dibandingkan dengan sistem manajemen tugas sebelumnya berbasis Airflow open-source, DataWorks menawarkan keunggulan berikut:

• Manajemen tugas yang jelas, memungkinkan identifikasi error cepat dan navigasi langsung ke kode terkait untuk perbaikan.

• Dengan ratusan sumber data dalam bisnis gamenya, manajemen terpusat memungkinkan penggunaan ulang di berbagai layanan data, menghilangkan pekerjaan berulang.

• Teknologi dasarnya sepenuhnya dikelola, membebaskan pengembang dari mengatur penjadwalan sumber daya dan pengkodean tambahan, sehingga mereka dapat fokus pada pengembangan dan manajemen.

Setelah migrasi, platform big data Apsara mencakup seluruh pipeline operasi data game, mulai dari pengumpulan dan penyimpanan data hingga analisis real-time dan offline.