MaxCompute:MapReduce

Kasus penggunaan

MapReduce mendukung kasus penggunaan berikut:

• Pencarian: web crawling, pembuatan inverted index, dan PageRank.

• Analisis log akses web:

  • Menganalisis perilaku browsing dan belanja pengguna untuk rekomendasi personalisasi.

  • Menganalisis pola akses pengguna.

• Analitik teks:

  • Hitung kata (WordCount) dan analisis TF-IDF pada novel populer.

  • Analisis kutipan dalam makalah akademis dan paten.

  • Analisis data Wikipedia.

• Penambangan data besar: data tak terstruktur, spasial-temporal, dan citra.

• Machine learning: Supervised Learning, Unsupervised Learning, serta algoritma klasifikasi seperti decision tree dan SVM.

• Pemrosesan bahasa alami (NLP):

  • Pelatihan dan prediksi pada data besar.

  • Pembuatan matriks ko-okurensi kata, penambangan frequent itemset, dan deteksi dokumen duplikat.

• Rekomendasi iklan: prediksi tingkat klik (CTR) dan tingkat konversi (CVR).

Cara kerja MapReduce

MapReduce memproses data dalam dua fase: Map lalu Reduce. Anda mengimplementasikan logika pemrosesan untuk kedua fase tersebut dalam framework MapReduce. Alur kerja lengkapnya adalah sebagai berikut:

1. Input: Data masukan dipisahkan menjadi blok-blok berukuran sama. Setiap blok diberikan ke worker Map terpisah untuk pemrosesan paralel.

2. Map: Setiap worker Map membaca dan memproses data, lalu memberikan kunci pada setiap catatan output. Kunci tersebut menentukan worker Reduce mana yang menerima catatan tersebut.

   Catatan

   Kunci dan worker Reduce memiliki hubungan many-to-one. Catatan dengan kunci yang sama dikirim ke worker Reduce yang sama, dan satu worker Reduce dapat menerima catatan dengan kunci berbeda.

3. Shuffle: Sebelum fase Reduce, framework mengurutkan data berdasarkan kunci sehingga catatan dengan kunci yang sama berdekatan. Jika Anda menentukan Combiner, framework akan mengagregasi catatan dengan kunci yang sama. Anda dapat mengimplementasikan logika Combiner kustom. Berbeda dari MapReduce klasik, MaxCompute mengharuskan parameter input dan output Combiner sesuai dengan parameter Reduce. Proses ini juga disebut Shuffle.

4. Reduce: Catatan dengan kunci yang sama dikirim ke worker Reduce yang sama. Setiap worker Reduce menerima data dari beberapa worker Map dan menjalankan operasi Reduce pada catatan yang dikelompokkan berdasarkan kunci, menghasilkan satu nilai output per kunci.

5. Output hasilnya.

Contoh WordCount berikut menggambarkan setiap tahap MapReduce.

Procedure

1. Input: Teks dipisahkan menjadi blok dan setiap blok diberikan ke worker Map.

2. Map: Untuk setiap angka yang dibaca, atur Count-nya menjadi 1 dan keluarkan pasangan <Word, Count>, menggunakan Word sebagai kunci.

3. Shuffle > Combine dan urutkan: Output setiap worker Map diurutkan berdasarkan kunci (Word), lalu Combiner dijalankan untuk mengagregasi Count dari catatan dengan Word yang sama menjadi pasangan <Word, Count> baru.

4. Shuffle > Distribusikan ke Reduce: Data dikirim ke worker Reduce. Setiap worker Reduce mengurutkan ulang data yang diterima berdasarkan kunci.

5. Reduce: Setiap worker Reduce mengagregasi Count dari catatan dengan Word yang sama, menggunakan logika yang sama seperti Combiner, dan mengeluarkan hasil akhir.

6. Output hasilnya.

Batasan

• Batasan umum MapReduce: Batasan.

• Untuk batasan MapReduce pada eksekusi lokal, lihat Eksekusi lokal.

Latar belakang

MapReduce tradisional mengharuskan data output dari setiap putaran disimpan dalam sistem file terdistribusi (seperti HDFS atau tabel MaxCompute). Pipeline MapReduce multi-pekerjaan menulis data antara ke disk setelah setiap pekerjaan, tetapi tugas Map berikutnya sering kali hanya perlu membaca data tersebut sekali untuk fase Shuffle, sehingga menghasilkan I/O disk berlebihan.

MaxCompute mendukung model pemrograman yang lebih kompleks. Sistem ini dapat merangkai Reduce secara langsung setelah Reduce lain tanpa langkah Map antara. Hal ini memungkinkan pipeline dengan jumlah operasi Reduce berantai apa pun setelah Map, seperti Map > Reduce > Reduce, sehingga menghilangkan I/O yang tidak perlu.

Perbandingan dengan Hadoop Chain Mapper/Reducer

Hadoop Chain Mapper/Reducer mendukung operasi Map atau Reduce berantai yang serupa, tetapi secara mendasar berbeda dari MaxCompute MR2.

Chain Mapper/Reducer dibangun di atas model MapReduce tradisional dan hanya memungkinkan penambahan satu atau lebih operasi Mapper setelah Mapper atau Reducer yang sudah ada (tanpa Reducer tambahan). Ini memungkinkan Anda menggunakan kembali logika Mapper yang ada dengan membagi Map atau Reduce menjadi beberapa tahap Mapper, tetapi tidak mengubah model penjadwalan atau I/O dasar.