Konsep Terkait Entitas Metadata - DataWorks

Operasi API DataWorks (2024-05-18) mendukung kueri berbagai entitas metadata. Topik ini menjelaskan konsep terkait entitas metadata.

Objek entitas metadata

Data Map mengumpulkan dan mengelola objek entitas metadata dari berbagai jenis dan tingkat (subtipe) menggunakan crawler metadata. Untuk informasi lebih lanjut tentang jenis crawler yang didukung, lihat Jenis crawler yang didukung.

Data Map mendukung tingkat entitas metadata berikut berdasarkan struktur tingkat metadata:

Catalog
Database
Skema
Tabel
Kolom

Tingkat entitas bervariasi berdasarkan jenis crawler.

Jenis crawler yang didukung

Pengenal	Nama tampilan	Tingkat entitas metadata yang didukung					Catatan
Pengenal	Nama tampilan	Catalog	DataBase	Skema	Tabel	Kolom	Catatan
`maxcompute`	MaxCompute	❌	❌	✅	✅	✅	Crawler default disediakan untuk mengidentifikasi semua entitas metadata dalam akun Alibaba Cloud Anda. Dalam MaxCompute, objek pada tingkat database adalah proyek. Anda tidak dapat memanggil operasi API untuk menanyakan proyek. Apakah tingkat skema opsional tergantung pada apakah model tiga lapis diaktifkan untuk proyek MaxCompute Anda.
`dlf`	Data Lake Formation	✅	✅	❌	✅	✅	Crawler default disediakan untuk mengidentifikasi semua entitas metadata dalam akun Alibaba Cloud Anda.
`hms`	HMS	❌	✅	❌	✅	✅	Jenis crawler ini menggunakan Layanan Metastore Hive (HMS) untuk mengelola metadata. Jenis crawler ini dapat digunakan untuk mengumpulkan metadata dari kluster E-MapReduce (EMR) dan CDH_HIVE.
`holo`	Hologres	❌	✅	✅	✅	✅	-
`mysql`	MySQL	❌	✅	❌	✅	✅	-
`oracle`	Oracle	❌	✅	✅	✅	✅	-
`postgresql`	PostgreSQL	❌	✅	✅	✅	✅	-
`sqlserver`	SQL Server	❌	✅	✅	✅	✅	-
`analyticdb_for_mysql`	AnalyticDB MySQL	❌	✅	❌	✅	✅	Jenis crawler ini dapat digunakan untuk mengumpulkan metadata dari sumber data analyticdb_for_mysql dan analyticdb_for_spark.
`ads`	AnalytidDB MySQL 2.0	❌	✅	❌	✅	✅	-
`hybriddb_for_postgresql`	AnalyticDB PostgreSQL	❌	✅	✅	✅	✅	-
`ots`	OTS	❌	✅	❌	✅	✅	-
`clickhouse`	ClickHouse	❌	✅	❌	✅	✅	-
`starrocks`	StarRocks	✅	✅	❌	✅	✅	Catalog didukung. Jenis crawler ini dapat digunakan untuk menanyakan entitas metadata hanya di dalam catalog internal.
`lindorm_for_engine`	Lindorm	❌	✅	❌	✅	✅	-

Tipe entitas (EntityType)

EntityType adalah pengenal tipe entitas metadata. Nilai EntityType dalam format ${CrawlerType}-${SubType}.

CrawlerType adalah pengenal tipe crawler. Sebagai contoh, nilai CrawlerType bisa jadi mysql, maxcompute, dlf, atau holo.
SubType adalah pengenal subtipe entitas metadata. Sebagai contoh, nilai SubType bisa jadi catalog, database, schema, table, atau column.

Jika tabel MaxCompute digunakan, nilai EntityType adalah maxcompute-table.

ID Entitas Metadata (MetaEntityId)

MetaEntityId: menunjukkan pengenal objek entitas metadata. Pengenal tersebut memiliki karakteristik keterbacaan, keunikan, dan kemampuan ekstensibilitas.

Contoh metadata crawler dan objek entitas dari catalog, database, skema, tabel, dan kolom didukung.

ID entitas metadata berfungsi sebagai pengenal unik entitas. Anda dapat memisahkan pengenal di setiap tingkat dengan titik dua (:). String kosong digunakan sebagai placeholder untuk tingkat yang tidak didukung.

Contoh metadata crawler

ID entitas metadata crawler: pengenal unik ID entitas metadata.

Untuk tipe crawler MaxCompute dan DLF, crawler default disediakan untuk semua entitas metadata dalam tenant atau akun Alibaba Cloud. ID entitas metadata crawler dalam format ${CrawlerType}.
Untuk tipe crawler lainnya yang harus dibuat secara manual, ID entitas metadata crawler dalam format ${CrawlerType}:${MetaSourceId}.
- CrawlerType: pengenal tipe crawler. Sebagai contoh, nilai CrawlerType bisa jadi holo atau mysql.
- MetaSourceId: pengenal sumber metadata.
  - Mode instans: sesuai dengan ID instans atau ID kluster.
  - Mode URL: sesuai dengan URL yang dienkripsi URL (Jdbc Url atau Endpoint).

Contoh:

Untuk tipe MaxCompute, ID entitas metadata crawler adalah maxcompute.
Untuk tipe Hologres dalam mode instans, jika ID instans adalah i-z6j3kxxx7, ID entitas metadata crawler adalah holo:i-z6j3kxxx7.
Untuk tipe MySQL dalam mode URL, jika URL adalah jdbc:mysql://47.0.X.X:3306/test_db, ID entitas metadata crawler adalah mysql:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db.

Entitas metadata terkait tabel data

Format ID entitas metadata adalah ${EntityType}:${MetaSourceId}:${Catalog}:${Database}:${Schema}:${Table}:${Column}. Ini mencakup elemen-elemen berikut:

Tingkat	Properti	Deskripsi
-	`EntityType`	Pengenal tipe entitas.
-	`MetaSourceId`	Dalam mode instans, `MetaSourceId` sesuai dengan ID instans atau ID kluster. Dalam mode URL, sesuai dengan URL yang dienkripsi URL (Jdbc Url atau Endpoint). Untuk tipe `MaxCompute` dan `DLF`, string kosong digunakan sebagai placeholder.
Catalog	`Catalog`	Pengenal catalog. Untuk tipe StarRocks, ini adalah nama catalog. Untuk tipe DLF, ini adalah ID catalog. Untuk tipe lainnya, string kosong digunakan sebagai placeholder.
Database	`Database`	Nama database.
Skema	`Skema`	Nama skema. Untuk tipe yang tidak mendukung skema, string kosong digunakan sebagai placeholder. Untuk tipe `MaxCompute`, ketika model skema diaktifkan, nama skema harus diberikan. Ketika tidak diaktifkan, string kosong digunakan sebagai placeholder.
Tabel	`Tabel`	Nama tabel data.
Kolom	`Kolom`	Nama bidang.

Contoh entitas metadata

Berikut adalah contoh ID entitas metadata di berbagai tingkat termasuk MaxCompute, DLF, HMS, Hologres, dan MySQL.

Catatan

Dalam contoh ID berikut, Anda dapat memisahkan pengenal di setiap tingkat dengan titik dua (:). String kosong digunakan sebagai placeholder untuk tingkat yang tidak didukung.

MaxCompute

Catatan

Hanya proyek MaxCompute dengan model skema yang diaktifkan yang mendukung tingkat skema, dan memerlukan nama skema diberikan di posisi yang sesuai dalam ID tabel data dan bidang.
Proyek MaxCompute tanpa model skema yang diaktifkan tidak mendukung tingkat skema, dan string kosong digunakan sebagai placeholder di posisi yang sesuai dalam ID tabel data dan bidang.

Untuk proyek project_name (dengan model skema yang diaktifkan), skema schema_name, tabel table_name, dan kolom column_name, ID entitas di setiap tingkat adalah sebagai berikut:

Tingkat	ID
Metadata Instans Crawler	`maxcompute`
Proyek	`maxcompute-project:::project_name`
Skema	`maxcompute-schema:::project_name:schema_name`
Tabel data	`maxcompute-table:::project_name:schema_name:table_name`
Kolom	`maxcompute-column:::project_name:schema_name:table_name:column_name`

Untuk proyek project_name (tanpa model skema yang diaktifkan), tabel table_name, dan kolom column_name, ID entitas di setiap tingkat adalah sebagai berikut:

Tingkat	ID
Instansi metadata crawler	`maxcompute`
Proyek	`maxcompute-project:::project_name`
Tabel data	`maxcompute-table:::project_name::table_name`
Kolom	`maxcompute-column:::project_name::table_name:column_name`

DLF

Untuk katalog catalog_id, database database_name, tabel table_name, dan kolom column_name, ID entitas di setiap tingkat adalah sebagai berikut:

Tingkat	ID
Metadata Instans Perayap	`dlf`
Catalog	`dlf-catalog::catalog_id`
Database	`dlf-database::catalog_id:database_name`
Tabel data	`dlf-table::catalog_id:database_name::table_name`
Kolom	`dlf-column::catalog_id:database_name::table_name:column_name`

HMS

Untuk instans kluster EMR c-a1b2c3xxx, database test_db, tabel test_tbl, dan kolom test_col, ID entitas di setiap tingkat adalah sebagai berikut:

Tingkat	ID
Instansi metadata crawler	`hms:c-a1b2c3xxx`
Database	`hms-database:c-a1b2c3xxx::test_db`
Tabel data	`hms-table:c-a1b2c3xxx::test_db::test_tbl`
Kolom	`hms-column:c-a1b2c3xxx::est_tdb::test_tbl:test_col`

Hologres

Dalam contoh ini, instans Hologres hgpostcn-cn-a1b2c3xxx, database test_db, skema test_schema, tabel data test_tbl, dan kolom test_col digunakan. Tabel berikut menjelaskan ID entitas di setiap tingkat.

Tingkat	ID
Instans metadata Crawler	`maxcompute`
Proyek	`maxcompute-project:123456XXX::test_project`
Skema	`maxcompute-schema:123456XXX::test_project:default`
Tabel data	`maxcompute-table:123456XXX::test_project:default:test_tbl`
Kolom	`maxcompute-column:123456XXX::test_project:default:test_tbl:test_col`

MySQL

Untuk string koneksi sumber data MySQL jdbc:mysql://47.0.X.X:3306/test_db, database test_db, tabel test_tbl, dan kolom test_col, ID entitas di setiap tingkat adalah sebagai berikut (MetaSourceId dibuat dengan mengenkripsi URL string koneksi JDBC):

Tingkat	ID
Instansi metadata crawler	`mysql:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db`
Database	`mysql-database:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db::test_db`
Tabel data	`mysql-table:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db::test_db::test_tbl`
Kolom	`mysql-column:jdbc%3Amysql%3A%2F%2F47.0.X.X%3A3306%2Ftest_db::test_db::test_tbl:test_col`