Paimon Catalog veri kaynağı, Data Lake Formation (DLF) kaynaklı olmayan Paimon tabloları için meta verileri toplar ve yönetir. Bu sayede Data Map üzerinde Paimon veri gölü varlıklarının birleşik yönetimi mümkün olur.
Giriş
Lakehouse mimarisi yaygınlaştıkça; Paimon, Iceberg ve Delta Lake gibi açık tablo biçimleri, gerçek zamanlı veri ambarları oluşturmak ve birleşik toplu iş-akış işlemeyi etkinleştirmek için temel yapı taşları haline gelmiştir. Paimon Catalog, yerel uyumluluğu sayesinde Flink akış işleme ekosisteminde geniş ölçüde kullanılmaktadır.
DataWorks, DLF veri kaynakları aracılığıyla veri gölü tablolarının birleşik yönetimini sağlamak üzere Data Lake Formation ile entegre çalışır. Ancak kullanıcılar, meta verileri ve verileri Alibaba Cloud OSS üzerinde depolanan bir Paimon Catalog'u Flink motoruyla tanımlayabilir ve bu kaynağı DLF yönetimi dışında tutabilir.
Paimon Catalog veri kaynağı, DLF tarafından yönetilmeyen yerel göl biçimleri için meta veri toplama ve yönetimi imkanı sunarak bu boşluğu doldurur. Kendi kendine bildirilen katalog verilerinin lakehouse genelinde görünür, yönetilebilir ve kullanılabilir olmasını sağlar.
Sınırlamalar
Ağ bağlantısı: Yalnızca serverless resource group desteklenir.
Kullanım senaryoları: Paimon Catalog şu anda yalnızca Collect Metadata ve yönetim işlemleri için kullanılır. Veri entegrasyonu ve senkronizasyon görevlerini desteklemez. Veri senkronizasyonu amacıyla Paimon tablolarından okuma ve yazma işlemi yapmak için DLF veya OSS gibi diğer veri kaynaklarını kullanın.
Yordam
1. Veri Kaynakları sayfasına gidin
DataWorks konsolu üzerinde oturum açın ve hedef bölgeye geçiş yapın. Sol gezinme bölmesinde Workspace seçeneğine tıklayın, ardından hedef çalışma alanının İşlemler sütunundaki Manage seçeneğine tıklayarak yönetim sayfasına gidin.
Çalışma alanı yönetim merkezi sayfasında, sol gezinme bölmesinden Data Sources seçeneğine tıklayarak Veri Kaynağı sayfasına gidin.
2. Paimon Catalog veri kaynağı ekleyin
Data Sources sayfasında Add Data Source seçeneğine tıklayın.
Veri Kaynağı Ekle iletişim kutusunda Paimon Catalog aramasını yapın ve seçin.
3. Parametreleri yapılandırın
Aşağıdaki parametreleri yapılandırın:
|
Parametre |
Açıklama |
|
Data Source Name |
|
|
Catalog |
Bağlantı için kullanılan katalog adıdır; örneğin |
|
MetaStore |
Kataloğun depolama türüdür. Şu anda yalnızca Filesystem desteklenmektedir. |
|
Filesystem |
Dosya depolama türüdür. Şu anda yalnızca OSS desteklenmektedir. |
|
Access Mode |
|
|
Region |
En iyi performans için çalışma alanıyla aynı bölgede bulunan bir paket seçin. Bölgesel veri kaynakları arasında VPC eşlemesi kurun. Ayrıntılar için bkz. Aynı Alibaba Cloud hesabı altındaki farklı bir bölgedeki veri kaynağına bağlanma. Alternatif olarak genel uç nokta üzerinden bağlantı kurabilirsiniz. |
|
Endpoint |
Uç nokta ayrıntıları için bkz. Erişim etki alanı adları ve veri merkezleri. |
|
Warehouse |
Warehouse path: Paimon Catalog'un OSS üzerindeki depolama yolu.
|
tıklayarak listeden bir yol seçin.4. Bağlantıyı test edin
Yapılandırmayı tamamladıktan sonra, veri kaynağı ile kaynak grubu arasındaki bağlantıyı doğrulamak için bir bağlantı testi çalıştırın.
Connected mesajı görüntülenirse yapılandırma doğrudur.
Connection failed. mesajı görüntülenirse sorun gidermenize yardımcı olacak bir tanılama aracı açılır. Yaygın nedenler arasında hatalı kimlik bilgileri, IP adresi izin listesi yapılandırılmamış olması gibi ağ bağlantısı sorunları veya eksik bir NAT ağ geçidi bulunur.
Standart modda, hem geliştirme ortamının hem de üretim ortamının Connected durumunda olduğundan emin olun. Aksi takdirde meta veri toplama gibi sonraki işlemler sırasında hatalar oluşur.
Sonraki adımlar
Veri kaynağını ekledikten sonra Data Map'e giderek meta verileri toplayın. Ardından toplanan varlıkları görüntüleyebilir ve yönetebilirsiniz.