MaxCompute:Ikhtisar PyODPS

PyODPS digunakan dalam skenario berikut:

• Memulai dengan cepat.

• Membaca data dari tabel partisi menggunakan PyODPS.

• Meneruskan parameter dalam PyODPS.

• Menggunakan paket pihak ketiga dengan PyODPS.

• Melihat partisi hash menggunakan PyODPS.

• Melakukan kueri kondisional menggunakan PyODPS.

• Menggunakan operasi Sequence dan eksekusi dalam PyODPS.

PyODPS dapat dijalankan di lingkungan lokal, DataWorks, dan PAI Notebook.

• Lingkungan lokal: Anda dapat menginstal dan menggunakan PyODPS di lingkungan lokal. Untuk informasi selengkapnya, lihat Menggunakan PyODPS di lingkungan lokal.

• DataWorks: PyODPS telah dipra-instal pada node PyODPS di DataWorks. Anda dapat langsung mengembangkan dan menjalankan pekerjaan PyODPS secara berkala di node tersebut. Untuk informasi selengkapnya, lihat Menggunakan PyODPS di DataWorks.

• PAI Notebook: Anda dapat menginstal dan menjalankan PyODPS di lingkungan Python PAI. PyODPS telah dipra-instal dalam image PAI bawaan, seperti komponen Python kustom di PAI-Designer, dan siap digunakan. Penggunaan PyODPS di PAI Notebook mirip dengan penggunaan standarnya. Untuk informasi selengkapnya, lihat Ikhtisar operasi dasar dan DataFrame (tidak direkomendasikan).

PyODPS adalah SDK yang berjalan di berbagai klien, termasuk PC, node PyODPS DataWorks di Data Studio, dan lingkungan PAI Notebook.PyODPS menyediakan beberapa operasi praktis untuk menarik data ke mesin lokal, seperti operasi unduh saluran data (tunnel download), operasi execute, dan operasi to_pandas. Akibatnya, banyak pengguna baru mencoba menarik data secara lokal, memprosesnya, lalu mengunggahnya kembali ke MaxCompute. Namun, metode ini sering kali sangat tidak efisien karena mencegah pemanfaatan kemampuan komputasi paralel berskala besar dari MaxCompute.

Contoh tokenisasi berikut membandingkan kode untuk kedua metode tersebut.

• Skenario contoh

  Anda perlu mengekstraksi informasi dengan menganalisis string log harian. Anda memiliki tabel yang berisi satu kolom bertipe string. Anda harus menggunakan library jieba untuk melakukan tokenisasi teks Tionghoa, menemukan kata kunci yang diinginkan, lalu menyimpan kata kunci tersebut ke tabel informasi.

• Demo kode pemrosesan tidak efisien

  import jieba
  t = o.get_table('word_split')
  out = []
  with t.open_reader() as reader:
      for r in reader:
          words = list(jieba.cut(r[0]))
          #
          # Logika pemrosesan untuk menghasilkan processed_data
          #
          out.append(processed_data)
  out_t = o.get_table('words')
  with out_t.open_writer() as writer:
      writer.write(out)

  Pendekatan ini mengikuti pola pemrosesan mesin tunggal: membaca data baris demi baris, memprosesnya baris demi baris, lalu menuliskannya ke tabel tujuan baris demi baris. Seluruh proses ini menghabiskan banyak waktu untuk unduhan dan unggahan data. Mesin yang menjalankan skrip ini juga memerlukan memori dalam jumlah besar untuk memproses seluruh data. Bagi pengguna node DataWorks, pendekatan ini dapat dengan mudah menyebabkan error OOM karena melebihi alokasi memori default.

• Demo kode pemrosesan efisien

  from odps.df import output
  out_table = o.get_table('words')
  df = o.get_table('word_split').to_df()
  
  # Asumsikan bidang dan tipe berikut perlu dikembalikan
  out_names = ["word", "count"]
  out_types = ["string", "int"]
  
  @output(out_names, out_types)
  def handle(row):
      import jieba
      words = list(jieba.cut(row[0]))
      #
      # Logika pemrosesan untuk menghasilkan processed_data
      #
      yield processed_data
  df.apply(handle, axis=1).persist(out_table.name)

  Gunakan metode apply untuk eksekusi terdistribusi:

  • Logika kompleks ditempatkan dalam fungsi handle. Fungsi ini secara otomatis diserialisasi ke sisi server untuk digunakan sebagai UDF, tempat fungsi tersebut dipanggil dan dieksekusi. Karena fungsi handle juga memproses data baris demi baris selama eksekusi di sisi server, logikanya identik. Perbedaannya adalah ketika program ini dikirimkan ke MaxCompute untuk dieksekusi, beberapa mesin memproses data secara simultan. Hal ini menghemat banyak waktu.

  • Memanggil antarmuka persist menuliskan data yang dihasilkan langsung ke tabel MaxCompute lain. Seluruh proses pembuatan dan konsumsi data terjadi di dalam kluster MaxCompute. Hal ini menghemat sumber daya jaringan dan memori lokal.

  • Contoh ini juga menggunakan paket pihak ketiga. MaxCompute mendukung paket pihak ketiga, seperti jieba dalam contoh ini, dalam UDF. Oleh karena itu, Anda tidak perlu khawatir tentang biaya perubahan kode. Anda dapat memanfaatkan kemampuan komputasi skala besar MaxCompute dengan hampir tanpa perubahan pada logika utama Anda.