DataWorks:Studi Kasus Pelanggan

Ritel baru: Data mid-end cloud untuk RT-Mart

Lebih dari 400 TB dimigrasikan dalam 15 hari · Data mid-end dibangun di Alibaba Cloud

RT-Mart merencanakan migrasi IT penuh ke Alibaba Cloud dalam dua tahun, menggantikan pusat data lokal dengan data mid-end cloud-native. Tujuannya adalah mengurangi total cost of ownership (TCO) dan membangun kontrol loop tertutup atas aset data di seluruh ekosistem cloud.

Tantangan: Sistem awal berjalan di Hadoop open source dengan stabilitas buruk serta biaya pemeliharaan perangkat keras dan perangkat lunak yang tinggi. Lonjakan bisnis online menciptakan backlog kebutuhan yang terus bertambah, sehingga RT-Mart memerlukan solusi yang dapat diskalakan seiring pertumbuhan bisnis.

Hasil: MaxCompute Migration Assist (MMA) memigrasikan lebih dari 400 TB data historis ke cloud dalam 15 hari dengan akurasi tinggi, memberikan pengalaman migrasi data yang lancar dan efisien bagi RT-Mart. DataWorks dan MaxCompute secara bersama meningkatkan efisiensi pengembangan data dan mendukung data mid-end cloud baru RT-Mart.

Keuangan baru: Danau data terpadu untuk perusahaan keuangan internet

Metadata dan izin terpadu · Aliran data mulus antara data lake dan data warehouse

Perusahaan ini menjalankan arsitektur dual-engine: Hadoop dan Object Storage Service (OSS) untuk data lake, serta MaxCompute untuk data mid-end. Dua engine heterogen tersebut menyebabkan redundansi penyimpanan, inkonsistensi metadata dan izin, serta gangguan perhitungan.

Tantangan: Perusahaan perlu mendukung berbagai skenario bisnis dengan engine komputasi berbeda sekaligus mengelola metadata dan izin pengguna dari satu lapisan kontrol terpusat.

Hasil: Solusi ini mengintegrasikan metadata engine E-MapReduce (EMR) ke dalam Alibaba Cloud Data Lake Formation (DLF) dan menggunakan OSS sebagai lapisan penyimpanan terpadu. Hal ini membangun danau data terpadu (data lakehouse) yang menghubungkan data lake berbasis EMR dengan data warehouse berbasis MaxCompute. Data mengalir bebas di antara keduanya, dan perhitungan berjalan tanpa gangguan. Tabel antara untuk pemodelan dimensional disimpan di MaxCompute; data yang dikonsumsi oleh EMR dan engine lain disimpan di lapisan layanan data aplikasi (ADS). DataWorks menyediakan tata kelola data end-to-end di seluruh arsitektur untuk meningkatkan kualitas data dan memperkuat penerapan data.

Energi baru: Tata kelola data end-to-end untuk perusahaan energi

Penghematan biaya sebesar CNY 100 juta · Penyegaran data dari 1 hari menjadi 10 menit · Rilis layanan dari 1 minggu menjadi 1 hari

Perusahaan ini mengoperasikan banyak anak perusahaan dengan sejumlah besar sistem yang dibangun di atas stack teknis yang beragam dan kompleks. Data tersebar di berbagai silo, didefinisikan dengan standar yang tidak konsisten, serta tidak memiliki mekanisme efektif untuk pengelolaan izin, tata kelola, dan berbagi sumber daya.

Tantangan: Kesenjangan data mengurangi akurasi analisis, dan ketiadaan tata kelola terpusat mencegah aliran data bebas antar unit bisnis.

Hasil: DataWorks dan MaxCompute menghilangkan silodata dengan data mid-end terpadu. Realtime Compute for Apache Flink dan Hologres menambahkan kemampuan pemrosesan real-time di samping pipeline batch offline. Tata kelola data end-to-end melalui DataWorks meningkatkan kualitas, akurasi, dan konsistensi data di seluruh organisasi. Hasilnya:

• Pengurangan biaya sekitar CNY 100 juta

• Siklus penyegaran data dipersingkat dari 1 hari menjadi setiap 10 menit

• Waktu rilis layanan baru dikurangi dari 1 minggu menjadi 1 hari

• Sistem pemasaran business-to-business (B2B) cerdas yang mengintegrasikan manufaktur cerdas dengan pemasaran internet

Internet: Gudang data besar cloud untuk GOGOX

Pengurangan biaya server lebih dari 30% · Peningkatan efisiensi pengembangan data 100% · Nol kegagalan kluster

GOGOX adalah platform logistik yang menggunakan metode digital—koneksi jaringan, berbagi sumber daya transportasi, digitalisasi proses, dan pencocokan cerdas—untuk mendistribusikan sumber daya transportasi idle secara tepat ke pasar yang membutuhkan. Hal ini menghemat energi, mengurangi emisi, menurunkan tingkat muatan kosong, dan mendorong pengembangan logistik hijau.

Tantangan: Pemrosesan data dalam volume besar berjalan lambat, dan durasi perhitungan data offline tidak dapat diprediksi. Memelihara Realtime Compute for Apache Flink memerlukan upaya pengembangan signifikan. Perusahaan membutuhkan tata kelola gudang data yang komprehensif.

Hasil: Platform big data Apsara mengurangi biaya server lebih dari 30% dan melipatgandakan efisiensi pengembangan data. Flink SQL menggantikan Apache Storm berbasis Java yang sebelumnya, memangkas siklus pengembangan komputasi real-time dan menyederhanakan pemeliharaan. Flink SQL juga meningkatkan konsistensi data, akurasi pemantauan layanan, dan performa real-time. Layanan O&M 24 jam dari Alibaba Cloud menjamin stabilitas kluster tanpa kegagalan.

Internet: Gudang data besar cloud untuk Babytree

Peningkatan performa tugas hingga 10x · Penyimpanan berkurang dari 3 PB menjadi 900 TB · Pengurangan biaya lebih dari 30%

Babytree, yang didirikan pada 2007, merupakan platform komunitas perawatan ibu dan anak terbesar serta paling aktif di Tiongkok. Berawal dari pusat data sendiri sejak masa awal, infrastruktur perusahaan berkembang pesat tetapi menjadi sulit dikelola.

Tantangan: Pusat data lokal memberikan performa buruk dan biaya operasional tahunan tinggi. Perusahaan memerlukan solusi tata kelola data besar yang komprehensif untuk mengurangi biaya sekaligus meningkatkan efisiensi.

Hasil: Setelah bermigrasi ke MaxCompute, Realtime Compute for Apache Flink, dan DataWorks:

• Performa tugas tertentu meningkat lebih dari 10 kali lipat

• Penyimpanan data berkurang dari 3 PB di sistem Hadoop lokal menjadi 900 TB di cloud

• Biaya keseluruhan berkurang lebih dari 30%

Realtime Compute for Apache Flink memungkinkan pemrosesan real-time untuk skenario Babytree yang sudah ada, termasuk rekomendasi real-time berdasarkan user ID dan tipe konten, ID grup obrolan real-time pengguna, serta sinyal penerbitan artikel real-time—meningkatkan tingkat konversi perilaku di seluruh platform.

Game: Operasi game full-link untuk DeNA China

Perusahaan game pertama yang menggunakan Lightning Cube + MMA · 300 TB data inkremental + 50 TB data historis dimigrasikan dalam satu bulan tanpa jalur sewa

DeNA adalah penyedia layanan game yang beroperasi di industri dengan siklus hidup proyek semakin pendek. Sistem operasi yang hemat biaya, efisien, dan berbasis data sangat penting untuk mengelola setiap tahap proyek secara presisi.

Tantangan: Dua kluster terpisah yang menjalankan Hadoop 1.0 dan 2.0 menciptakan kompleksitas arsitektur, mengurangi stabilitas, keamanan, dan performa skalabilitas. Sumber log yang beragam dan volume log yang terus meningkat menurunkan performa serta stabilitas layanan pengumpulan log berbasis Fluentd. Pengembangan data bergantung pada coding manual, dan komputasi berbasis Hive tidak memenuhi kebutuhan throughput.

Hasil: DeNA China menjadi perusahaan pertama di industri game yang menggunakan Lightning Cube bersama MMA. Sekitar 300 TB data inkremental dan 50 TB data historis yang terakumulasi dalam database RDS selama 10 tahun dimigrasikan ke cloud hanya dalam waktu lebih dari satu bulan—tanpa jalur sewa. Dibandingkan dengan alur kerja Airflow berbasis Python sebelumnya:

• Manajemen task divisualisasikan secara jelas; error terdeteksi dan diselesaikan segera

• Ratusan sumber data dikelola di satu tempat tanpa upaya berulang

• Penjadwalan resource dilakukan melalui GUI, menghilangkan kebutuhan coding manual

Platform big data Apsara kini mengelola seluruh rantai operasional—mulai dari pengumpulan data, penyimpanan, komputasi, hingga analisis real-time dan offline.