E-MapReduce:Mulai pengembangan notebook

Langkah 1: Siapkan file uji

Untuk membantu Anda memulai tugas notebook dengan cepat, panduan ini menyediakan file uji yang dapat diunduh untuk digunakan pada langkah-langkah berikutnya.

Klik employee.csv untuk mengunduh file uji.

Langkah 2: Unggah file uji

Unggah file data (employee.csv) ke konsol Object Storage Service (OSS). Untuk informasi selengkapnya, lihat Unggah file.

Langkah 3: Kembangkan dan jalankan notebook

1. Pada halaman EMR Serverless Spark, klik Development di panel navigasi sebelah kiri.

2. Buat notebook.

   1. Pada tab Development, klik ikon .

   2. Pada kotak dialog yang muncul, masukkan nama, pilih interactive development > Notebook sebagai tipe, lalu klik OK.

3. Di pojok kanan atas, pilih instans sesi notebook yang sedang berjalan.

   Anda juga dapat memilih Create Notebook Session dari daftar drop-down untuk membuat instans sesi notebook. Untuk informasi selengkapnya tentang sesi notebook, lihat Kelola sesi notebook.

   Catatan

   Beberapa notebook dapat berbagi satu instans sesi dan sumber dayanya, sehingga tidak perlu membuat instans terpisah untuk setiap notebook.

4. Proses dan visualisasikan data.

   PySpark

   1. Salin kode berikut ke dalam sel Python di notebook baru.

      # Buat DataFrame sederhana. Ganti path OSS dengan path file yang Anda unggah di Langkah 2.
      df = spark.read.option("delimiter", ",").option("header", True).csv("oss://path/to/file")
      # Tampilkan beberapa baris pertama dari DataFrame.
      df.show(5)
      # Lakukan operasi agregasi sederhana: hitung total gaji untuk setiap departemen.
      sum_salary_per_department = df.groupBy("department").agg({"salary": "sum"}).show()

   2. Klik Execute All Cells untuk menjalankan notebook.

      Anda juga dapat menjalankan satu sel saja dengan mengklik ikon di samping sel tersebut.

      # Buat DataFrame sederhana. Ganti path OSS dengan path file yang Anda unggah di Langkah 2.
      df = spark.read.option("delimiter", ",").option("header", True).csv("oss://<yourBucketName>/<path>/employee.csv")
      # Tampilkan beberapa baris pertama dari DataFrame.
      df.show(5)
      +-------------+----------+------+
      |employee_name|department|salary|
      +-------------+----------+------+
      |        James|     Sales|  3000|
      |      Michael|     Sales|  4600|
      |       Robert| Marketing|  4100|
      |        Maria|   Finance|  3000|
      |        James|     Sales|  3000|
      +-------------+----------+------+
      only showing top 5 rows
      # Lakukan operasi agregasi sederhana: hitung total gaji untuk setiap departemen.
      sum_salary_per_department = df.groupBy("department").agg({"salary": "sum"}).show()
      +----------+-----------+
      |department|sum(salary)|
      +----------+-----------+
      |     Sales|    12600.0|
      |   Finance|     6900.0|
      | Marketing|    10400.0|
      +----------+-----------+

   3. (Opsional) Lihat Spark UI.

      Pada daftar drop-down sesi, arahkan kursor ke ikon untuk instans sesi notebook saat ini, lalu klik Spark UI untuk melihat informasi tentang job Spark Anda.

   Visualisasi

   Catatan

   Sesi notebook telah dilengkapi library matplotlib, numpy, dan pandas secara pra-instal. Jika Anda perlu menggunakan library pihak ketiga lainnya, lihat Gunakan library Python pihak ketiga di notebook.

   1. Gunakan library matplotlib untuk visualisasi data.

      import matplotlib.pyplot as plt
      l = sc.parallelize(range(20)).collect()
      plt.plot(l)
      plt.ylabel('some numbers')
      plt.show()

   2. Klik Execute All Cells untuk menjalankan notebook.

      Anda juga dapat menjalankan satu sel saja dengan mengklik ikon di samping sel tersebut.

      pip install matplotlib

      Output instalasi:

      Looking in indexes: http://mirrors.cloud.aliyuncs.com/pypi/simple
      Collecting matplotlib

      import matplotlib.pyplot as plt
      l = sc.parallelize(range(20)).collect()
      plt.plot(l)
      plt.ylabel('some numbers')
      plt.show()

      Setelah kode dijalankan, akan ditampilkan grafik garis dengan sumbu Y berlabel "some numbers".