ApsaraDB for SelectDB:Hive veri kaynağı

Ön koşullar

• Hive kümenizdeki tüm düğümlerin SelectDB örneği ile ağ bağlantısının bulunduğundan emin olun.

  • Hive kümenizdeki tüm düğümler ve SelectDB örneği aynı sanal özel bulut (VPC) içinde yer almalıdır. Farklı VPC'lerde bulunuyorsa öncelikle ağ bağlantısını kurmanız gerekir. Daha fazla bilgi için bkz. ApsaraDB for SelectDB örneği ile bir veri kaynağı arasında bağlantı kurulamazsa ne yapmalıyım?

  • Hive kümesindeki tüm düğümlerin IP adreslerini SelectDB izin listesine ekleyin. Daha fazla bilgi için bkz. IP adresi izin listesini yapılandırma.

  • Hive kümesinde bir izin listesi mekanizması varsa, SelectDB örneğinin bulunduğu ağın IP CIDR bloklarını Hive kümesinin izin listesine ekleyin.

    • SelectDB örneğinizin bulunduğu VPC'nin IP aralığını öğrenmek için bkz. ApsaraDB for SelectDB örneğimin bulunduğu VPC'nin IP CIDR bloğunu nasıl bulabilirim?

    • SelectDB örneğinizin genel IP adresini almak için genel uç noktasına ping komutunu çalıştırın SelectDB.

• Hive ortamınız HDFS üzerine kurulmuşsa Hive ile SelectDB arasındaki veri aktarımı için aşağıdaki bağlantı noktalarının açık olduğundan emin olun.

  • hive.metastore.uris parametresinde belirtilen bağlantı noktası. Varsayılan bağlantı noktası 9083'tür.

  • dfs.namenode.rpc-address parametresinde belirtilen bağlantı noktası. Varsayılan bağlantı noktası 8020'dir.

  • dfs.datanode.address parametresinde belirtilen bağlantı noktası. Varsayılan bağlantı noktası 9866'dır.

• Katalog kavramını ve temel işlemleri nasıl gerçekleştireceğinizi anlayın. Daha fazla bilgi için bkz. lakehouse.

Dikkat edilmesi gerekenler

• Hive 1, 2 ve 3 sürümleri desteklenir.

• Yönetilen tablolar, harici tablolar ve bazı Hive görünümleri desteklenir.

• Hive metastore içinde depolanan Hive, Iceberg ve Hudi meta verilerinin keşfi desteklenir.

• Şu anda ApsaraDB for SelectDB yalnızca harici bir katalogdaki verilerde okuma işlemlerini destekler.

Örnek ortam

Bu konuda Linux sistemi örnek olarak kullanılmıştır. SelectDB'de, HDFS üzerine kurulu bir Hive kümesindeki test_db.test_t tablosuna karşı birleşik sorgu çalıştırılır. Örnek değerleri kendi sisteminize ve ortamınıza uygun olacak şekilde değiştirin. Örnek ortam aşağıdaki gibidir:

• Kullanım durumu: HA olmayan (non-HA)

• Hive depolama altyapısı: HDFS

• Kaynak veritabanı: test_db

• Kaynak tablo: test_t

Kaynak verileri hazırlama

1. Hive kümenizde oturum açın.

2. test_db adlı bir veritabanı oluşturun.

   CREATE database if NOT EXISTS test_db;

3. test_t adlı bir tablo oluşturun.

   CREATE TABLE IF NOT EXISTS test_t (
       id INT,
       name STRING,
       age INT
   );

4. Tabloya veri ekleyin.

   -- Insert data
   INSERT INTO TABLE test_t VALUES
   (1, 'Alice', 25),
   (2, 'Bob', 30),
   (3, 'Charlie', 35),
   (4, 'David', 40),
   (5, 'Eve', 45);

Yordam

1. Adım: Bir örneğe bağlanma

SelectDB örneğinize bağlanın. Talimatlar için bkz. MySQL istemcisi kullanarak ApsaraDB for SelectDB örneğine bağlanma.

2. Adım: Hive entegrasyonu

SelectDB harici veri kaynaklarını harici bir katalog oluşturarak entegre eder. Farklı kullanım durumları farklı katalog özellikleri gerektirir. Ortamınıza uygun sözdizimini ve parametre değerlerini seçin.

Kataloğu oluşturduktan sonra ApsaraDB for SelectDB veritabanlarını ve tabloları veri kaynağından otomatik olarak senkronize eder. ApsaraDB for SelectDB farklı veri kaynakları ve tablo biçimleri arasındaki sütun eşlemelerini yapar. Hive ile SelectDB arasındaki tür eşlemesine aşina değilseniz bkz. Sütun türü eşleme.

CREATE CATALOG <catalog_name> PROPERTIES (
    'type'='<type>',
    'hive.metastore.uris' = '<hive.metastore.uris>',
    'hadoop.username' = '<hadoop.username>',
    'dfs.nameservices'='<hadoop.username>',
    'dfs.ha.namenodes.your-nameservice'='<dfs.ha.namenodes.your-nameservice>',
    'dfs.namenode.rpc-address.your-nameservice.nn1'='<dfs.namenode.rpc-address.your-nameservice.nn1>',
    'dfs.namenode.rpc-address.your-nameservice.nn2'='<dfs.namenode.rpc-address.your-nameservice.nn2>',
    'dfs.client.failover.proxy.provider.your-nameservice'='<dfs.client.failover.proxy.provider.your-nameservice>'
);

CREATE CATALOG hive_catalog PROPERTIES (
    'type'='hms',
    'hive.metastore.uris' = 'thrift://master-1-1.c-7fa25a1a****.cn-hangzhou.emr.aliyuncs.com:9083'
);

CREATE CATALOG hive_catalog PROPERTIES (
    "type"="hms",
    "hive.metastore.uris" = "thrift://172.0.0.1:9083",
    "oss.endpoint" = "oss-cn-beijing.aliyuncs.com",
    "oss.access_key" = "ak",
    "oss.secret_key" = "sk"
);

3. Adım: Katalogları görüntüleme

Kataloğun başarıyla oluşturulduğunu doğrulamak için aşağıdaki ifadeyi çalıştırın.

SHOW CATALOGS; -- Verify whether the catalog is created successfully.

+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| 436009309195 | hive_catalog | hms      |           | 2024-07-19 17:09:08.058 | 2024-07-19 18:04:37 |                        |
|            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

4. Adım: Hive verilerini görüntüleme

• Harici katalogdan Hive veritabanlarını ve tablolarını görüntüleyin.

  Not

  Bir SelectDB örneğine bağlandığınızda varsayılan çalışma dizini dahili katalogdur.

  1. Hedef harici kataloğa geçiş yapın.

     SWITCH hive_catalog;

  2. Verileri görüntüleyin.

     Hedef kataloğa geçtikten sonra verilerine dahili katalogdaki gibi erişebilirsiniz. Örneğin:

     • Veritabanlarını listeleyin: SHOW DATABASES;

     • Bir veritabanına geçin: USE test_db;

     • Bir veritabanındaki tabloları listeleyin: SHOW TABLES;

     • Tablo verilerini sorgulayın: SELECT * FROM test_t;

• Dahili katalogdan Hive verilerini görüntüleyin.

  -- View data from the test_t table in the test_db database under the hive_catalog.
  SELECT * FROM hive_catalog.test_db.test_t;

Ek işlemler: Veri geçişi

Veri kaynağını entegre ettikten sonra geçmiş verileri Hive'dan SelectDB hizmetine geçirmek için INSERT INTO ifadesini kullanın. Daha fazla bilgi için bkz. INSERT INTO.

Sütun türü eşleme