Data Lake Formation:Maintenance tabel Iceberg

Prasyarat

Persyaratan versi

• Spark 4.7.0 atau versi yang lebih baru.

Lengkapi otorisasi katalog yang diperlukan:

• Akses DLF dari Serverless Spark

• Akses DLF dari EMR on ECS Spark

Unduh dependensi

• iceberg-spark-runtime-3.5_2.12-1.10.1.jar

• iceberg-aws-bundle-1.10.1.jar

• bennett-iceberg-plugin-2.8.0.jar

• guava-31.1-jre.jar

Konfigurasi dependensi

Serverless Spark

Unggah keempat paket JAR dependensi ke Object Storage Service (OSS) dan tambahkan konfigurasi Spark berikut ke sesi Anda.

• spark.emr.serverless.excludedModules: Harus diatur ke iceberg.

• spark.emr.serverless.user.defined.jars: Jalur OSS ke file JAR dependensi Anda.

• spark.sql.extensions: Atur ke org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

spark.emr.serverless.excludedModules iceberg
spark.emr.serverless.user.defined.jars   oss://${bucket}/iceberg-spark-runtime-3.5_2.12-1.10.1.jar,oss://${bucket}/iceberg-aws-bundle-1.10.1.jar,oss://${bucket}/bennett-iceberg-plugin-2.8.0.jar,oss://${bucket}/guava-31.1-jre.jar
spark.sql.extensions                    org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions

Gunakan prosedur Spark

Iceberg menyediakan beberapa prosedur Spark untuk maintenance tabel. Anda dapat menjalankan prosedur ini dalam Spark SQL menggunakan pernyataan CALL.

Saat menggunakan katalog DLF (misalnya, dlfCatalogName) di mesin komputasi, aktifkan mode Iceberg native: dlfCatalogName_iceberg.

-- 1. Dry run
-- Menampilkan daftar file yang akan dihapus tanpa benar-benar menghapusnya.
CALL dlfCatalogName_iceberg.system.remove_orphan_files(
  table => 'db.table_name',
  prefix_listing => true,     -- Gunakan fitur prefix listing. Ini secara signifikan meningkatkan performa pemindaian pada layanan penyimpanan objek seperti OSS dan S3.
  dry_run => true             -- Menjalankan simulasi penghapusan dan mengembalikan daftar file yang akan dihapus.
);

-- 2. Pembersihan default
-- Menghapus file yang tidak lagi digunakan yang berusia lebih dari tiga hari.
CALL dlfCatalogName_iceberg.system.remove_orphan_files(
  table => 'db.table_name',
  prefix_listing => true
);

-- 3. Atur waktu dan konkurensi
-- Menghapus file yang tidak lagi digunakan yang lebih lama dari timestamp tertentu dan mengaktifkan penghapusan paralel.
CALL dlfCatalogName_iceberg.system.remove_orphan_files(
  table => 'db.table_name',
  older_than => TIMESTAMP '2024-01-01 00:00:00',   -- Ganti dengan timestamp yang diinginkan.
  dry_run => false,
  max_concurrent_deletes => 4,                   -- Jumlah thread penghapusan konkuren.
  prefix_listing => true
);

-- 1. Pembersihan berbasis waktu
-- Menghapus snapshot yang lebih lama dari timestamp tertentu.
CALL dlfCatalogName_iceberg.system.expire_snapshots(
  table => 'db.table_name',
  older_than => TIMESTAMP '2024-01-01 00:00:00'     -- Ganti dengan timestamp yang diinginkan.
);

-- 2. Pertahankan snapshot terbaru
-- Mempertahankan N snapshot paling baru, terlepas dari usianya.
CALL dlfCatalogName_iceberg.system.expire_snapshots(
  table => 'db.table_name',
  retain_last => 5
);

-- 3. Hapus snapshot tertentu
-- Menghapus hanya snapshot yang ditentukan dalam daftar ID.
CALL dlfCatalogName_iceberg.system.expire_snapshots(
  table => 'db.table_name',
  snapshot_ids => ARRAY(123456789, 987654321)      -- Ganti dengan ID snapshot yang diinginkan.
);

-- 1. Penulisan ulang default
-- Menulis ulang file menggunakan strategi binpack default.
CALL dlfCatalogName_iceberg.system.rewrite_data_files('db.table_name');

-- 2. Tentukan strategi Binpack (Mengompaksi file kecil menjadi file yang lebih besar dengan algoritma bin-packing sederhana, yang memberikan overhead terendah dan performa tercepat.)
CALL dlfCatalogName_iceberg.system.rewrite_data_files(
    table => 'db.table_name',
    strategy => 'binpack'
);


-- 3. Tulis ulang dengan kondisi filter
-- Menulis ulang hanya data yang sesuai dengan partisi atau kondisi tertentu.
CALL dlfCatalogName_iceberg.system.rewrite_data_files(
    table => 'db.table_name',
    where => 'date >= "2024-01-01"'           -- 'date' adalah contoh nama kolom dalam tabel. Sesuaikan kondisi filter sesuai kebutuhan.
);

-- 4. Opsi ukuran file kustom
-- Secara eksplisit mengatur ukuran file target (512 MB) dan ambang batas ukuran file input minimum untuk penulisan ulang (128 MB).
CALL dlfCatalogName_iceberg.system.rewrite_data_files(
    table => 'db.table_name',
    options => map(
        'target-file-size-bytes', '536870912',
        'min-file-size-bytes', '134217728'
    )
);