All Products
Search

This Product

    E-MapReduce:Konfigurasi metadata Data Lake Formation

    Document Center

    E-MapReduce:Konfigurasi metadata Data Lake Formation

    Last Updated:Jun 21, 2026

    Topik ini menjelaskan cara mengonfigurasi metadata Data Lake Formation (DLF) untuk tabel Iceberg.

    Konfigurasi berikut didukung:

    Konfigurasi Spark

    Konfigurasi ini menggunakan Object Storage Service (OSS) sebagai sistem file. Nama katalog default dan parameter yang diperlukan bervariasi tergantung pada versi kluster E-MapReduce (EMR). Bagian berikut menjelaskan konfigurasi untuk versi tertentu.

    • EMR-3.40 dan versi lebih baru, serta EMR-5.6.0 dan versi lebih baru

      Catatan

      Nama katalog default adalah iceberg.

      Parameter

      Description

      Remarks

      spark.sql.extensions

      Modul ekstensi Spark SQL.

      Atur parameter ini ke org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Iceberg 0.11.0 dan hanya didukung di Spark 3.x.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur parameter ini ke org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Kelas implementasi katalog.

      Atur parameter ini ke org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR-3.39.x dan EMR-5.5.x

      Catatan

      Nama katalog default adalah dlf.

      Parameter

      Description

      Remarks

      spark.sql.extensions

      Modul ekstensi Spark SQL.

      Atur parameter ini ke org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Iceberg 0.11.0 dan hanya didukung di Spark 3.x.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur parameter ini ke org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Kelas implementasi katalog.

      Atur parameter ini ke org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR-3.38.x, dan EMR-5.3.x hingga EMR-5.4.x (inklusif)

      Catatan

      Nama katalog default adalah dlf_catalog.

      Parameter

      Description

      Remarks

      spark.sql.extensions

      Modul ekstensi Spark SQL.

      Atur parameter ini ke org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Iceberg 0.11.0 dan hanya didukung di Spark 3.x.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur parameter ini ke org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Kelas implementasi katalog.

      Atur parameter ini ke org.apache.iceberg.aliyun.dlf.DlfCatalog.

      spark.sql.catalog.<catalog-name>.io-impl

      Kelas implementasi I/O.

      Atur parameter ini ke org.apache.iceberg.hadoop.HadoopFileIO.

      spark.sql.catalog.<catalog-name>.oss.endpoint

      Titik akhir Object Storage Service (OSS).

      Untuk informasi selengkapnya, lihat Wilayah dan titik akhir.

      Kami menyarankan Anda mengatur oss.endpoint ke titik akhir OSS VPC. Misalnya, jika wilayah Anda adalah Tiongkok (Hangzhou), atur oss.endpoint ke oss-cn-hangzhou-internal.aliyuncs.com.

      Catatan

      Jika Anda mengakses OSS lintas VPC, atur oss.endpoint ke titik akhir publik OSS.

      spark.sql.catalog.<catalog-name>.warehouse

      Jalur OSS tempat data tabel disimpan.

      Tidak ada.

      spark.sql.catalog.<catalog-name>.access.key.id

      ID AccessKey untuk akun Alibaba Cloud Anda.

      Untuk informasi selengkapnya, lihat Dapatkan pasangan AccessKey.

      spark.sql.catalog.<catalog-name>.access.key.secret

      Rahasia AccessKey untuk akun Alibaba Cloud Anda.

      Untuk informasi selengkapnya, lihat Dapatkan pasangan AccessKey.

      spark.sql.catalog.<catalog-name>.dlf.catalog-id

      ID akun Alibaba Cloud Anda.

      Untuk menemukan ID akun Anda, buka halaman Security Settings. Anda juga dapat login ke Konsol Alibaba Cloud dan menemukan Account ID Anda di halaman Manajemen Akun.

      spark.sql.catalog.<catalog-name>.dlf.endpoint

      Titik akhir layanan DLF.

      Kami menyarankan Anda mengatur dlf.endpoint ke titik akhir DLF VPC. Misalnya, jika wilayah Anda adalah Tiongkok (Hangzhou), atur dlf.endpoint ke dlf-vpc.cn-hangzhou.aliyuncs.com.

      Catatan

      Anda juga dapat menggunakan titik akhir publik DLF. Misalnya, jika wilayah Anda adalah Tiongkok (Hangzhou), atur dlf.endpoint ke dlf.cn-hangzhou.aliyuncs.com.

      spark.sql.catalog.<catalog-name>.dlf.region-id

      ID wilayah layanan DLF.

      Pastikan wilayah ini sesuai dengan yang ditentukan untuk dlf.endpoint.

    Konfigurasi Hive

    Konfigurasikan parameter berdasarkan versi kluster Anda.

    • EMR-3.39.0 dan versi lebih baru, serta EMR-5.5.0 dan versi lebih baru

      Catatan

      Nama katalog default adalah dlf.

      Parameter

      Description

      Remarks

      iceberg.catalog.<catalog-name>.catalog-impl

      Kelas implementasi katalog.

      Atur parameter ini ke org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR-3.38.x, dan EMR-5.3.x hingga EMR-5.4.x (inklusif)

      Catatan

      Nama katalog default adalah dlf_catalog.

      Parameter

      Description

      Remarks

      iceberg.catalog

      Nama katalog.

      Tentukan nama kustom.

      iceberg.catalog.<catalog-name>.type

      Tipe katalog.

      Atur parameter ini ke custom.

      iceberg.catalog.<catalog-name>.catalog-impl

      Kelas implementasi katalog.

      Atur parameter ini ke org.apache.iceberg.aliyun.dlf.DlfCatalog.

      iceberg.catalog.<catalog-name>.io-impl

      Kelas implementasi I/O.

      Atur parameter ini ke org.apache.iceberg.hadoop.HadoopFileIO.

      iceberg.catalog.<catalog-name>.warehouse

      Jalur warehouse tempat data tabel disimpan.

      Anda dapat menentukan jalur HDFS atau jalur OSS.

      iceberg.catalog.<catalog-name>.access.key.id

      ID AccessKey untuk akun Alibaba Cloud Anda.

      Untuk informasi selengkapnya, lihat Dapatkan pasangan AccessKey.

      iceberg.catalog.<catalog-name>.access.key.secret

      Rahasia AccessKey untuk akun Alibaba Cloud Anda.

      Untuk informasi selengkapnya, lihat Dapatkan pasangan AccessKey.

      iceberg.catalog.<catalog-name>.dlf.catalog-id

      ID akun Alibaba Cloud Anda.

      Untuk menemukan ID akun Anda, buka halaman Security Settings.

      iceberg.catalog.<catalog-name>.dlf.endpoint

      Titik akhir layanan DLF.

      Kami menyarankan Anda mengatur dlf.endpoint ke titik akhir DLF VPC. Misalnya, jika wilayah Anda adalah Tiongkok (Hangzhou), atur dlf.endpoint ke dlf-vpc.cn-hangzhou.aliyuncs.com.

      Catatan

      Anda juga dapat menggunakan titik akhir publik DLF. Misalnya, jika wilayah Anda adalah Tiongkok (Hangzhou), atur dlf.endpoint ke dlf.cn-hangzhou.aliyuncs.com.

      iceberg.catalog.<catalog-name>.dlf.region-id

      ID wilayah layanan DLF.

      Pastikan wilayah ini sesuai dengan yang ditentukan untuk dlf.endpoint.