MaxCompute menyediakan contoh program MapReduce yang siap dijalankan sehingga Anda dapat memverifikasi lingkungan dan mempelajari pola inti—mulai dari penghitungan frekuensi kata dasar hingga join beberapa dataset—tanpa perlu menulis kode dari awal.
Contoh yang tersedia
Contoh-contoh tersebut diurutkan berdasarkan tingkat kompleksitasnya. Mulailah dengan WordCount untuk memastikan lingkungan Anda berfungsi, lalu jelajahi Pipeline dan Join seiring meningkatnya kepercayaan diri Anda.
|
Contoh |
Fungsinya |
Kompleksitas |
|
Menghitung berapa kali setiap kata muncul dalam data masukan. Merupakan titik awal klasik MapReduce. |
Pemula |
|
|
Merangkai beberapa job MapReduce secara berurutan, dengan output dari satu job digunakan sebagai input job berikutnya. |
Menengah |
|
|
Menyatukan dua set data berdasarkan kunci umum menggunakan pola reduce-side join. |
Menengah |
Cara kerja contoh program
Setiap contoh mengikuti alur end-to-end yang sama:
Siapkan data masukan dan unggah ke penyimpanan MaxCompute.
Kompilasi dan kemas kode contoh menjadi file JAR.
Kirim job menggunakan client MaxCompute (
odpscmd) atau Java SDK.Ambil dan periksa output setelah job selesai.
Setiap halaman contoh menyediakan perintah lengkap, output yang diharapkan, serta catatan mengenai format data.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Proyek MaxCompute dengan ID AccessKey (AK ID) dan Secret AccessKey (AK Secret)
Client MaxCompute (
odpscmd) yang telah diinstal dan dikonfigurasi, atau Java SDK yang telah disiapkan di lingkungan pengembangan AndaJava SDK MaxCompute yang telah diunduh dan ditambahkan ke dependensi proyek Anda