MaxCompute：Menggabungkan file kecil

Jika metadata menunjukkan bahwa partisi berisi lebih dari 100 file dan ukuran rata-rata file kurang dari 64 MB, Anda dapat menggunakan salah satu metode berikut untuk menggabungkan file kecil:

• Menggabungkan File Kecil Menggunakan Perintah

  Jalankan perintah berikut untuk menggabungkan file kecil:

  ALTER TABLE <table_name> [partition (<pt_spec>)] MERGE SMALLFILES;

  Setelah file kecil dalam tabel odl_bpm_wfc_task_log digabungkan, jumlah file berkurang menjadi 19 dan ukuran data yang disimpan berkurang menjadi 37 MB. Ini secara signifikan meningkatkan efisiensi penyimpanan. Gambar berikut menunjukkan detailnya.

  Dalam kebanyakan kasus, Anda dapat menggunakan parameter default untuk menggabungkan file kecil. MaxCompute juga menyediakan parameter spesifik untuk memenuhi kebutuhan bisnis Anda. Konfigurasi berikut sering digunakan:

  • set odps.merge.cross.paths=true|false

    Menentukan apakah akan menggabungkan file lintas jalur. Jika ada beberapa partisi dalam tabel, file dalam proses MergeAction yang dihasilkan secara terpisah untuk setiap partisi digabungkan selama proses penggabungan. Jika parameter odps.merge.cross.paths diatur ke true, jumlah jalur tidak berubah, tetapi file kecil di setiap jalur digabungkan secara terpisah.

  • set odps.merge.smallfile.filesize.threshold = 64

    Menentukan ambang batas untuk ukuran file kecil yang dapat digabungkan. Jika ukuran file melebihi ambang batas ini, file tersebut tidak digabungkan dengan file kecil lainnya. Unit: MB. Parameter ini opsional. Jika Anda tidak mengonfigurasi parameter ini, Anda dapat menggunakan variabel global odps_g_merge_filesize_threshold. Nilai default variabel ini adalah 32 dan unitnya adalah MB. Jika Anda mengonfigurasi variabel ini, tentukan nilai yang lebih besar dari 32.

  • set odps.merge.maxmerged.filesize.threshold = 500

    Menentukan ambang batas untuk ukuran file keluaran setelah penggabungan. Jika ukuran file keluaran lebih besar dari ambang batas ini, file keluaran baru dibuat. Unit: MB. Parameter ini opsional. Jika Anda tidak mengonfigurasi parameter ini, Anda dapat mengonfigurasi variabel global odps_g_max_merged_filesize_threshold. Nilai default variabel ini adalah 500 dan unitnya adalah MB. Jika Anda mengonfigurasi variabel ini, tentukan nilai yang lebih besar dari 500.

• Menggabungkan File Kecil Menggunakan Skrip PyODPS

  Anda dapat menggunakan PyODPS untuk mengirimkan tugas secara asinkron guna menggabungkan file kecil yang dihasilkan oleh tugas pada hari sebelumnya. Contoh skrip:

  import os
  from odps import ODPS
  
  # Setel variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID ke ID AccessKey Anda.
  # Setel variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_SECRET ke Rahasia AccessKey Anda.
  # Kami sarankan Anda tidak langsung menggunakan ID AccessKey atau Rahasia AccessKey Anda.
  o = ODPS(
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
      project='your-default-project',
      endpoint='your-end-point',
  )
  
  # Ganti $table_name dengan nama tabel yang diperlukan.
  table_name = $table_name
  t = odps.get_table(table_name)
  
  # Konfigurasikan opsi penggabungan.
  hints = {'odps.merge.maxmerged.filesize.threshold': 256}
  
  #contoh untuk multi partisi
  insts = []
  # iterate_partitions digunakan untuk mencantumkan semua partisi di bawah ds=$datetime. Format partisi mungkin berbeda untuk setiap partisi.
  for partition in t.iterate_partitions(spec="ds=%s" % $datetime):
      instance=odps.run_merge_files(table_name, str(partition), hints=hints)
  		# Klik Waiting Queue di Logview ini untuk menemukan Logview tempat perintah dijalankan.
      print(instance.get_logview_address())
      insts.append(instance)
  
  # Tunggu hasil partisi.
  for inst in insts:
      inst.wait_for_completion()

  Anda harus menginstal PyODPS sebelum menjalankan skrip di atas. Untuk informasi lebih lanjut tentang cara menginstal PyODPS, lihat PyODPS.

Sistem stabilitas data menentukan bahwa tabel fisik tbcdm.dwd_tb_log_pv_di berisi sejumlah besar file kecil dan file kecil tersebut perlu digabungkan. Tabel metadata tbcdm.dws_rmd_merge_task_1d menunjukkan bahwa sebagian besar partisi dalam tabel berisi lebih dari 1.000 file, bahkan mencapai lebih dari 7.000 file. Namun, ukuran rata-rata file beberapa partisi bahkan kurang dari 1 MB. Gambar berikut menunjukkan informasi tabel metadata bernama tbcdm.dws_rmd_merge_task_1d. Jalankan perintah berikut untuk menggabungkan file kecil:

set odps.merge.cross.paths=true;
set odps.merge.smallfile.filesize.threshold=128;
set odps.merge.max.filenumber.per.instance = 2000;
alter table tbcdm.dwd_tb_log_pv_di partition (ds='20151116') merge smallfiles;

Gambar berikut menunjukkan hasil setelah file kecil digabungkan.