ApsaraDB for SelectDB:Lakehouse Veri İşleme

Genel Bakış

ApsaraDB for SelectDB; veri gölleri ve veritabanları gibi harici veri kaynaklarına bağlanarak basit ve hızlı veri analizi yapmanıza olanak tanıyan çok kaynaklı veri kataloğu özelliği (Multi-Catalog veya Catalog olarak da bilinir) sunar. Bu özellik, orijinal meta veri hiyerarşisinin üzerine bir Katalog katmanı ekleyerek üç düzeyli bir meta veri yapısı oluşturur: Catalog -> Database -> Table. Her bir Katalog, doğrudan harici bir veri kaynağına eşlenebilir. Desteklenen harici veri kaynakları hakkında daha fazla bilgi için Veri gölü analizi ve Veritabanı analizi konularına bakın.

ApsaraDB for SelectDB ayrıca Amazon S3 ve HDFS gibi uzak depolama sistemlerindeki dosya verilerini sorgulanabilir tablolara eşleyen tablo değerli işlevler (TVF'ler) sağlar; bu sayede dosya tabanlı analizler kolaylaşır. Daha fazla bilgi için Dosya analizi bölümüne bakın.

Kataloglar sayesinde ApsaraDB for SelectDB, harici veri kaynaklarını dahili verilerle birlikte entegre edip sorgulayabilir; böylece veri ambarları ve depolama sistemleri arasında esnek analizler mümkün olur.

Temel kavramlar ve işlemler

• Dahili Katalog

  ApsaraDB for SelectDB'deki mevcut tüm veritabanları ve tablolar Dahili Kataloğa aittir. Bu katalog yerleşik varsayılandır ve değiştirilemez veya silinemez.

• Harici Katalog

  CREATE CATALOG komutunu kullanarak bir Harici Katalog oluşturun. Ardından SHOW CATALOGS ile tüm Katalogları görüntüleyebilir veya belirli bir Katalogun oluşturma ifadesini SHOW CREATE CATALOG <catalog_name>; ile görebilirsiniz.

• Katalog Değiştirme

  ApsaraDB for SelectDB'de oturum açtıktan sonra varsayılan olarak Dahili Katalog etkin durumdadır. Kataloglar arasında geçiş yapmak için SWITCH komutunu kullanın:

  SWITCH internal;
  SWITCH hive_catalog;

  Geçiş işleminden sonra, hedef Katalogdaki veritabanlarını listelemek ve seçmek için SHOW DATABASES ve USE <db_name> komutlarını kullanabilirsiniz. Harici Kataloglardaki verilere, Dahili Katalogdakilerle aynı şekilde erişebilir ve görüntüleyebilirsiniz. Şu anda ApsaraDB for SelectDB Harici Kataloglara yalnızca salt okunur erişimi destekler.

• Katalog Silme

  Harici Katalogdaki veriler salt okunurdur ancak DROP CATALOG <catalog_name>; komutuyla Katalogun kendisini silebilirsiniz. Dahili Katalog silinemez.

  Not

  Bu işlem yalnızca Katalogun ApsaraDB for SelectDB'deki eşleme bilgilerini kaldırır. Harici veri kaynağının kendisinde herhangi bir değişiklik yapmaz.

Sütun türü eşlemesi

Bir Katalog oluşturduğunuzda, ApsaraDB for SelectDB harici veri kaynağındaki veritabanlarını ve tablolarını otomatik olarak senkronize eder ve sütun türlerini veri kaynağı ile tablo formatına göre eşler.

UNION ve INTERVAL gibi eşlenemeyen harici veri türlerine UNSUPPORTED türü atanır. Bir UNSUPPORTED sütunu sorgularken davranış aşağıdaki örnekte gösterilmiştir:

-- Schema of the synchronized table:
k1 INT,
k2 INT,
k3 UNSUPPORTED,
k4 INT

-- Query results:
SELECT * FROM testtable;                // Error: Unsupported type 'UNSUPPORTED_TYPE' in '`k3`
SELECT * except(k3) FROM testtable;     // Query OK.
SELECT k1, k3 FROM testtable;           // Error: Unsupported type 'UNSUPPORTED_TYPE' in '`k3`
SELECT k1, k4 FROM testtable;           // Query OK.

ApsaraDB for SelectDB tarafından desteklenen veri türlerini görüntülemek için SHOW DATA TYPES; komutunu çalıştırın. Belirli harici kaynaklar tarafından desteklenen veri türleri için Veri gölü analizi ve Veritabanı analizi bölümlerine bakın.

İzin yönetimi

ApsaraDB for SelectDB, Harici Kataloglardaki veritabanlarına ve tablolara erişimi kontrol etmek amacıyla yerleşik izin yönetimini Katalog düzeyine genişletir. Daha fazla bilgi için Kullanıcı izin yönetimi konusuna bakın.

Veritabanlarını belirtin

Hangi veritabanlarının senkronize edileceğini kontrol etmek için Katalog yapılandırmasında include_database_list ve exclude_database_list özelliklerini kullanın.

• include_database_list : Senkronize edilecek veritabanlarının virgülle ayrılmış listesi. Veritabanı adları büyük/küçük harfe duyarlıdır. Varsayılan olarak tüm veritabanları senkronize edilir.

• exclude_database_list : Senkronizasyondan hariç tutulacak veritabanlarının virgülle ayrılmış listesi. Veritabanı adları büyük/küçük harfe duyarlıdır. Varsayılan olarak boştur, yani hiçbir veritabanı hariç tutulmaz.

Meta veri güncellemesi

Tablo oluşturma veya silme, sütun ekleme veya kaldırma gibi harici bir veri kaynağındaki meta veri değişiklikleri ApsaraDB for SelectDB'ye otomatik olarak yansıtılmaz. Meta verileri aşağıdaki yöntemlerle yenileyebilirsiniz.

Manuel yenileme

Meta verileri manuel olarak yenilemek için REFRESH komutunu kullanın.

Sözdizimi

REFRESH CATALOG catalog_name;
REFRESH DATABASE [catalog_name.]database_name;
REFRESH TABLE [catalog_name.][database_name.]table_name;

Bir Kataloğu yenilemek, bölüm, şema ve dosya önbellekleri dahil olmak üzere ilgili önbellekleri de geçersiz kılar.

Örnekler

1. Katalog yenileme. Örnek:

   REFRESH CATALOG hive;

2. Veritabanı yenileme. Örnekler:

   REFRESH DATABASE ctl.database1;
   REFRESH DATABASE database1;

3. Tablo yenileme. Örnekler:

   REFRESH TABLE ctl.db.table1;
   REFRESH TABLE db.table1;
   REFRESH TABLE table1;

Zamanlanmış yenileme

Bir Katalog oluştururken metadata_refresh_interval_sec parametresini ayarlayarak zamanlanmış yenilemeyi etkinleştirin. Ana Frontend (FE) düğümü daha sonra belirtilen aralıkla Kataloğu periyodik olarak yeniler. Şu anda yalnızca üç veri kaynağı türü zamanlanmış yenilemeyi destekler:

• HMS: Hive Metastore.

• ES: Elasticsearch

• JDBC: Java Database Connectivity

-- Set the catalog refresh interval to 20 seconds
CREATE CATALOG es PROPERTIES (
    "type"="es",
    "hosts"="http://127.0.0.1:9200",
    "metadata_refresh_interval_sec"="20"
);

Otomatik yenileme

Şu anda yalnızca Hive veri kaynağından gelen belirli olaylar otomatik Katalog yenilemesini tetikler. Daha fazla bilgi için Hive veri kaynağı konusuna bakın.