MaxCompute:Gabungkan file kecil

Deteksi metadata dapat mengidentifikasi partisi yang cocok untuk penggabungan file. Penggabungan direkomendasikan jika suatu partisi berisi lebih dari 100 file dan ukuran rata-rata file kurang dari 64 MB. Tersedia dua solusi.

• Penggabungan langsung

  Anda dapat menggunakan perintah berikut untuk melakukan penggabungan langsung.

  ALTER TABLE <table_name> [partition (<pt_spec>)] MERGE SMALLFILES;

  Setelah menjalankan operasi penggabungan langsung pada tabel odl_bpm_wfc_task_log, jumlah file berkurang menjadi 19 dan ukuran penyimpanan berkurang menjadi 37 MB. Hal ini menunjukkan bahwa penggabungan file kecil juga secara signifikan meningkatkan efisiensi penyimpanan.

  Dalam kebanyakan kasus, parameter default sudah cukup untuk menggabungkan file kecil. Namun, MaxCompute menyediakan beberapa parameter untuk memenuhi kebutuhan kustom. Berikut adalah parameter umum:

  • SET odps.merge.cross.paths=true|false

    Menentukan apakah akan menggabungkan file lintas path. Jika sebuah tabel memiliki banyak partisi, proses penggabungan akan menghasilkan MergeAction terpisah untuk setiap partisi. Oleh karena itu, mengatur odps.merge.cross.paths menjadi true tidak mengubah jumlah path. Parameter ini hanya menggabungkan file kecil dalam setiap path secara terpisah.

  • SET odps.merge.smallfile.filesize.threshold = 64

    Menentukan ambang batas ukuran file kecil yang akan digabungkan, dalam satuan MB. File yang lebih besar dari ambang batas ini tidak akan digabungkan. Anda tidak perlu mengatur parameter ini. Jika tidak diatur, variabel global odps_g_merge_filesize_threshold akan digunakan, yang memiliki nilai default 32 MB. Jika Anda mengatur parameter ini, nilainya harus lebih besar dari 32 MB.

  • SET odps.merge.maxmerged.filesize.threshold = 500

    Menentukan ukuran file output setelah penggabungan, dalam satuan MB. Jika file output melebihi ambang batas ini, file output baru akan dibuat. Anda tidak perlu mengatur parameter ini. Jika tidak diatur, variabel global odps_g_max_merged_filesize_threshold akan digunakan, yang memiliki nilai default 500 MB. Jika Anda mengatur parameter ini, nilainya harus lebih besar dari 500 MB.

• Penggabungan menggunakan skrip PyODPS

  Anda dapat menggunakan PyODPS untuk mengirimkan task secara asinkron guna menggabungkan file kecil yang dihasilkan oleh pekerjaan hari sebelumnya. Kode berikut merupakan contoh skrip:

  import os
  from odps import ODPS
  
  # Pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_ID diatur ke Access Key ID Anda.
  # Pastikan variabel lingkungan ALIBABA_CLOUD_ACCESS_KEY_SECRET diatur ke Access Key Secret Anda.
  # Jangan gunakan string Access Key ID dan Access Key Secret secara langsung.
  o = ODPS(
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
      os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
      project='your-default-project',
      endpoint='your-end-point',
  )
  
  # Catatan: Ganti $table_name dengan nama tabel Anda.
  table_name = $table_name
  t = o.get_table(table_name)
  
  # Atur opsi penggabungan.
  hints = {'odps.merge.maxmerged.filesize.threshold': 256}
  
  # Contoh untuk beberapa partisi
  insts = []
  # iterate_partitions mencantumkan semua partisi di bawah ds=$datetime. Format partisi dapat bervariasi.
  for partition in t.iterate_partitions(spec="ds=%s" % $datetime):
      instance=o.run_merge_files(table_name, str(partition), hints=hints)
  		# Klik Waiting Queue di Logview ini untuk menemukan Logview eksekusi sebenarnya.
      print(instance.get_logview_address())
      insts.append(instance)
  
  # Tunggu hasil partisi.
  for inst in insts:
      inst.wait_for_completion()

  Untuk menjalankan skrip ini, Anda harus menginstal PyODPS terlebih dahulu. Untuk petunjuk instalasi, lihat PyODPS.

tbcdm.dwd_tb_log_pv_di adalah tabel fisik yang diidentifikasi oleh sistem stabilitas data sebagai memerlukan penggabungan file kecil. Menurut tabel metadata tbcdm.dws_rmd_merge_task_1d, sebagian besar partisi tabel ini berisi lebih dari 1.000 file — beberapa bahkan melebihi 7.000 — namun ukuran rata-rata file kurang dari 1 MB.

Anda dapat menggunakan perintah berikut untuk menggabungkan file kecil menggunakan solusi penggabungan langsung.

SET odps.merge.cross.paths=true;
SET odps.merge.smallfile.filesize.threshold=128;
SET odps.merge.max.filenumber.per.instance = 2000;
ALTER TABLE tbcdm.dwd_tb_log_pv_di PARTITION (ds='20151116') MERGE smallfiles;