全部产品
Search

搜索本产品

    E-MapReduce：Konfigurasi metadata DLF

    文档中心

    E-MapReduce：Konfigurasi metadata DLF

    更新时间：Jul 06, 2025

    Topik ini menjelaskan parameter yang perlu dikonfigurasikan saat menggunakan metadata Data Lake Formation (DLF) dalam tabel Iceberg.

    Berikut adalah mesin komputasi yang didukung:

    Spark

    Alibaba Cloud Object Storage Service (OSS) digunakan sebagai sistem file. Nama katalog default dan parameter yang harus dikonfigurasikan bervariasi tergantung pada versi kluster Anda.

    • EMR V3.40 atau versi minor lebih baru, dan EMR V5.6.0 atau lebih baru

      Catatan

      Nama katalog default adalah iceberg.

      Parameter

      Deskripsi

      Catatan

      spark.sql.extensions

      Modul ekstensi SQL Spark.

      Atur nilainya menjadi org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Iceberg 0.11.0. Hanya Spark 3.x yang mendukung parameter ini.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur nilainya menjadi org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Nama kelas katalog.

      Atur nilainya menjadi org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR V3.39.X dan EMR V5.5.X

      Catatan

      Nama katalog default adalah dlf.

      Parameter

      Deskripsi

      Catatan

      spark.sql.extensions

      Modul ekstensi SQL Spark.

      Atur nilainya menjadi org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Apache Iceberg 0.11.0. Hanya Apache Spark 3.x yang mendukung parameter ini.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur nilainya menjadi org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Nama kelas katalog.

      Atur nilainya menjadi org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR V3.38.X, EMR V5.3.X, dan EMR V5.4.X

      Catatan

      Nama katalog default adalah dlf_catalog.

      Parameter

      Deskripsi

      Catatan

      spark.sql.extensions

      Modul ekstensi SQL Spark.

      Atur nilainya menjadi org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions.

      Catatan

      Parameter ini diperkenalkan di Apache Iceberg 0.11.0. Hanya Apache Spark 3.x yang mendukung parameter ini.

      spark.sql.catalog.<catalog-name>

      Nama katalog.

      Atur nilainya menjadi org.apache.iceberg.spark.SparkCatalog.

      spark.sql.catalog.<catalog-name>.catalog-impl

      Nama kelas katalog.

      Atur nilainya menjadi org.apache.iceberg.aliyun.dlf.DlfCatalog.

      spark.sql.catalog.<catalog-name>.io-impl

      Nama kelas yang ditulis ke katalog selama operasi I/O.

      Atur nilainya menjadi org.apache.iceberg.hadoop.HadoopFileIO.

      spark.sql.catalog.<catalog-name>.oss.endpoint

      Titik akhir Bucket OSS Anda.

      Untuk informasi lebih lanjut, lihat Wilayah dan Titik Akhir.

      Kami merekomendasikan mengatur parameter ini ke titik akhir virtual private cloud (VPC) dari Bucket OSS. Sebagai contoh, jika Anda memilih wilayah China (Hangzhou), atur parameter ini menjadi oss-cn-hangzhou-internal.aliyuncs.com.

      Catatan

      Jika Anda ingin mengakses OSS lintas VPC, atur parameter ini ke titik akhir publik Bucket OSS.

      spark.sql.catalog.<catalog-name>.warehouse

      Jalur OSS tempat data tabel disimpan.

      Tidak ada.

      spark.sql.catalog.<catalog-name>.access.key.id

      ID AccessKey akun Alibaba Cloud Anda.

      Untuk informasi lebih lanjut tentang cara mendapatkan ID AccessKey akun Alibaba Cloud, lihat Memperoleh Pasangan AccessKey.

      spark.sql.catalog.<catalog-name>.access.key.secret

      Rahasia AccessKey akun Alibaba Cloud Anda.

      Untuk informasi lebih lanjut tentang cara mendapatkan rahasia AccessKey akun Alibaba Cloud, lihat Memperoleh Pasangan AccessKey.

      spark.sql.catalog.<catalog-name>.dlf.catalog-id

      ID akun Alibaba Cloud Anda.

      Untuk mendapatkan ID akun Alibaba Cloud Anda, buka halaman Pengaturan Keamanan. Obtain the ID of your Alibaba Cloud account

      spark.sql.catalog.<catalog-name>.dlf.endpoint

      Titik akhir DLF.

      Kami merekomendasikan mengatur parameter ini ke titik akhir VPC DLF. Sebagai contoh, jika Anda memilih wilayah China (Hangzhou), atur parameter ini menjadi dlf-vpc.cn-hangzhou.aliyuncs.com.

      Catatan

      Anda dapat mengatur parameter ini ke titik akhir publik DLF. Jika Anda memilih wilayah China (Hangzhou), atur parameter ini menjadi dlf.cn-hangzhou.aliyuncs.com.

      spark.sql.catalog.<catalog-name>.dlf.region-id

      ID wilayah tempat DLF diaktifkan.

      Pastikan wilayah yang Anda tentukan dalam parameter ini sesuai dengan titik akhir yang Anda tentukan dalam parameter spark.sql.catalog.<catalog-name>.dlf.endpoint.

    Hive

    Anda dapat mengonfigurasi parameter berikut berdasarkan versi kluster Anda.

    • EMR V3.39.0 atau versi minor lebih baru, dan EMR V5.5.0 atau lebih baru

      Catatan

      Nama katalog default adalah dlf.

      Parameter

      Deskripsi

      Catatan

      iceberg.catalog.<catalog-name>.catalog-impl

      Nama kelas katalog.

      Atur nilainya menjadi org.apache.iceberg.aliyun.dlf.hive.DlfCatalog.

    • EMR V3.38.X, EMR V5.3.X, dan EMR V5.4.X

      Catatan

      Nama katalog default adalah dlf_catalog.

      Parameter

      Deskripsi

      Catatan

      iceberg.catalog

      Nama katalog.

      Atur nilainya menjadi nama kustom.

      iceberg.catalog.<catalog-name>.type

      Tipe katalog.

      Atur nilainya menjadi custom.

      iceberg.catalog.<catalog-name>.catalog-impl

      Nama kelas katalog.

      Atur nilainya menjadi org.apache.iceberg.aliyun.dlf.DlfCatalog.

      iceberg.catalog.<catalog-name>.io-impl

      Nama kelas yang ditulis ke katalog selama operasi I/O.

      Atur nilainya menjadi org.apache.iceberg.hadoop.HadoopFileIO.

      iceberg.catalog.<catalog-name>.warehouse

      Jalur gudang tempat data tabel disimpan.

      Data tabel dapat disimpan di Hadoop Distributed File System (HDFS) atau OSS.

      iceberg.catalog.<catalog-name>.access.key.id

      ID AccessKey akun Alibaba Cloud Anda.

      Untuk informasi lebih lanjut tentang cara mendapatkan ID AccessKey akun Alibaba Cloud, lihat Memperoleh Pasangan AccessKey.

      iceberg.catalog.<catalog-name>.access.key.secret

      Rahasia AccessKey akun Alibaba Cloud Anda.

      Untuk informasi lebih lanjut tentang cara mendapatkan rahasia AccessKey akun Alibaba Cloud, lihat Memperoleh Pasangan AccessKey.

      iceberg.catalog.<catalog-name>.dlf.catalog-id

      ID akun Alibaba Cloud Anda.

      Untuk mendapatkan ID akun Alibaba Cloud Anda, buka halaman Pengaturan Keamanan. Obtain the ID of your Alibaba Cloud account

      iceberg.catalog.<catalog-name>.dlf.endpoint

      Titik akhir DLF.

      Kami merekomendasikan mengatur parameter ini ke titik akhir VPC DLF. Sebagai contoh, jika Anda memilih wilayah China (Hangzhou), atur parameter ini menjadi dlf-vpc.cn-hangzhou.aliyuncs.com.

      Catatan

      Anda dapat mengatur parameter ini ke titik akhir publik DLF. Jika Anda memilih wilayah China (Hangzhou), atur parameter ini menjadi dlf.cn-hangzhou.aliyuncs.com.

      iceberg.catalog.<catalog-name>.dlf.region-id

      ID wilayah tempat DLF diaktifkan.

      Pastikan wilayah yang Anda tentukan dalam parameter ini sesuai dengan titik akhir yang Anda tentukan dalam parameter iceberg.catalog.<catalog-name>.dlf.endpoint.