E-MapReduce:Menggunakan Katalog DLF

Sintaksis

CREATE EXTERNAL CATALOG <nama_katalog>
[COMMENT <komentar>]
PROPERTIES
(
    "type" = "paimon",
    ParameterKatalog,
    ParameterKredensialPenyimpanan
);

Parameter

• catalog_name: Nama katalog Hive. Parameter ini wajib diisi. Nama harus memenuhi persyaratan berikut:

  • Harus dimulai dengan huruf dan hanya boleh terdiri dari huruf (a-z atau A-Z), angka (0-9), dan garis bawah (_).

  • Panjang total tidak boleh melebihi 64 karakter.

• comment: Deskripsi katalog Hive. Parameter ini opsional.

• type: Jenis sumber data. Atur nilai ini menjadi hive.

• GeneralParams: Sekumpulan parameter untuk pengaturan umum. GeneralParams mencakup parameter berikut.

  Parameter	Wajib	Deskripsi
  enable_recursive_listing	Tidak	Menentukan apakah StarRocks membaca data secara rekursif dari file dalam direktori tabel atau partisi, termasuk subdirektori-nya. Nilai yang valid: true (default): Melakukan traversal rekursif pada direktori. false: Hanya membaca data dari file pada level saat ini di direktori tabel atau partisi.

• MetastoreParams: Parameter terkait cara StarRocks mengakses metadata kluster Hive.

  Properti	Deskripsi
  hive.metastore.type	Jenis layanan metadata yang digunakan oleh Hive. Atur nilai ini menjadi dlf.
  dlf.catalog.id	ID data catalog yang sudah ada di DLF 1.0. Parameter ini hanya wajib jika hive.metastore.type diatur menjadi dlf. Jika parameter dlf.catalog.id tidak ditentukan, sistem akan menggunakan Katalog DLF default.

Contoh

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Untuk informasi selengkapnya tentang Hive Catalog, lihat Hive Catalog.

Sintaks​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

Parameter

• catalog_name: Nama katalog Iceberg. Parameter ini wajib diisi. Nama harus memenuhi persyaratan berikut:

  • Harus terdiri dari huruf (a-z atau A-Z), angka (0-9), atau garis bawah (_), dan harus dimulai dengan huruf.

  • Panjang total tidak boleh melebihi 64 karakter.

  • Nama katalog bersifat case-sensitive.

• comment: Deskripsi katalog Iceberg. Parameter ini opsional.

• type: Jenis sumber data. Atur nilai ini menjadi iceberg.

• MetastoreParams: Parameter agar StarRocks dapat mengakses layanan metadata kluster Iceberg.

  Properti	Deskripsi
  iceberg.catalog.type	Jenis katalog di Iceberg. Nilainya harus dlf.
  dlf.catalog.id	ID data catalog yang sudah ada di DLF. Jika Anda tidak mengonfigurasi parameter dlf.catalog.id, sistem akan menggunakan katalog DLF default.

Contoh

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

Untuk informasi selengkapnya tentang Iceberg Catalog, lihat Iceberg Catalog.

Sintaks

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "paimon",
    CatalogParams,
    StorageCredentialParams
);

Parameter

• catalog_name: Nama katalog Paimon. Parameter ini wajib diisi. Nama harus memenuhi persyaratan berikut:

  • Harus dimulai dengan huruf dan hanya boleh terdiri dari huruf (a-z atau A-Z), angka (0-9), atau garis bawah (_).

  • Panjang total tidak boleh melebihi 64 karakter.

• comment: Deskripsi katalog Paimon. Parameter ini opsional.

• type: Jenis sumber data. Atur parameter ini menjadi paimon.

• CatalogParams: Parameter agar StarRocks dapat mengakses metadata kluster Paimon.

  Properti	Wajib	Deskripsi
  paimon.catalog.type	Ya	Jenis sumber data. Nilainya adalah dlf.
  paimon.catalog.warehouse	Ya	Jalur penyimpanan warehouse tempat data Paimon disimpan. HDFS, OSS, dan OSS-HDFS didukung. Format untuk OSS atau OSS-HDFS adalah oss://<yourBucketName>/<yourPath>. Penting Jika Anda menggunakan OSS atau OSS-HDFS sebagai warehouse, Anda harus mengonfigurasi parameter aliyun.oss.endpoint. Untuk informasi selengkapnya, lihat StorageCredentialParams: Parameters for StarRocks to access the file storage of the Paimon cluster.
  dlf.catalog.id	Tidak	ID data catalog yang sudah ada di DLF. Jika Anda tidak mengonfigurasi parameter dlf.catalog.id, sistem akan menggunakan katalog DLF default.

• StorageCredentialParams: Parameter agar StarRocks dapat mengakses penyimpanan file kluster Paimon.

  • Jika Anda menggunakan HDFS sebagai sistem penyimpanan, Anda tidak perlu mengonfigurasi StorageCredentialParams.

  • Jika Anda menggunakan OSS atau OSS-HDFS, Anda harus mengonfigurasi StorageCredentialParams.

    "aliyun.oss.endpoint" = "<YourAliyunOSSEndpoint>" 

    Parameter dijelaskan dalam tabel berikut.

    Properti

    Deskripsi

    aliyun.oss.endpoint

    Informasi endpoint untuk OSS atau OSS-HDFS adalah sebagai berikut: OSS: Buka halaman Overview bucket Anda dan temukan endpoint di bagian Access Ports. Anda juga dapat melihat OSS regions and endpoints untuk melihat endpoint wilayah yang sesuai. Contohnya, oss-cn-hangzhou.aliyuncs.com. OSS-HDFS: Buka halaman Overview bucket Anda dan temukan endpoint untuk HDFS Service di bagian Access Ports. Sebagai contoh, endpoint untuk wilayah China (Hangzhou) adalah cn-hangzhou.oss-dls.aliyuncs.com. Penting Setelah Anda mengonfigurasi parameter ini, Anda juga harus membuka halaman Instance Configuration di konsol EMR Serverless StarRocks. Kemudian, ubah parameter fs.oss.endpoint di core-site.xml dan jindosdk.cfg agar konsisten dengan nilai aliyun.oss.endpoint.

Contoh

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>",
    "dlf.catalog.id" = "paimon_dlf_test"
);

Untuk informasi selengkapnya tentang Paimon Catalog, lihat Paimon Catalog.