ApsaraDB for SelectDB:Source de données Hive

Cas d'utilisation

Configurations prises en charge

Prérequis

Avant de commencer, assurez-vous que :

• Tous les nœuds de votre cluster Hive se trouvent dans le même VPC que l'instance SelectDB, ou vous avez établi une connectivité inter-VPC. Pour résoudre les échecs de connexion, consultez la rubrique Que faire si la connexion entre une instance ApsaraDB for SelectDB et une source de données échoue ?

• Les adresses IP de tous les nœuds du cluster Hive ont été ajoutées à la liste d'autorisation d'adresses IP de l'instance SelectDB. Consultez la documentation Configurer une liste d'autorisation d'adresses IP.

• Si le cluster Hive applique sa propre liste d'autorisation, ajoutez également les adresses IP du VPC de l'instance SelectDB à cette liste. Pour trouver l'adresse IP du VPC de l'instance SelectDB, consultez la FAQ Comment afficher les adresses IP du VPC auquel appartient mon instance ApsaraDB SelectDB ?

• Si le cluster Hive utilise HDFS comme stockage, ouvrez les ports suivants pour permettre le transfert de données entre le cluster Hive et SelectDB :

  Paramètre	Port par défaut
  hive.metastore.uris	9083
  dfs.namenode.rpc-address	8020
  dfs.datanode.address	9866

• Vous maîtrisez les concepts et les opérations liés aux catalogues. Consultez la documentation Data lakehouse.

Environnement d'exemple

La procédure décrite dans cette rubrique utilise la configuration suivante. Remplacez les valeurs par les vôtres lorsque ces paramètres apparaissent.

Préparer les données source

1. Connectez-vous au cluster Hive que vous souhaitez interroger.

2. Créez une base de données nommée test_db.

   CREATE DATABASE IF NOT EXISTS test_db;

3. Créez une table nommée test_t.

   CREATE TABLE IF NOT EXISTS test_t (
       id   INT,
       name STRING,
       age  INT
   );

4. Insérez des exemples de données.

   INSERT INTO TABLE test_t VALUES
       (1, 'Alice',   25),
       (2, 'Bob',     30),
       (3, 'Charlie', 35),
       (4, 'David',   40),
       (5, 'Eve',     45);

Connecter un cluster Hive à SelectDB

CREATE CATALOG hive_catalog PROPERTIES (
    'type'                = 'hms',
    'hive.metastore.uris' = 'thrift://<metastore-host>:9083'
);

CREATE CATALOG hive_catalog PROPERTIES (
    'type'                = 'hms',
    'hive.metastore.uris' = 'thrift://master-1-1.c-7fa25a1a****.cn-hangzhou.emr.aliyuncs.com:9083'
);

CREATE CATALOG <catalog_name> PROPERTIES (
    'type'                                                = 'hms',
    'hive.metastore.uris'                                 = 'thrift://<metastore-host>:9083',
    'hadoop.username'                                     = '<hadoop-username>',
    'dfs.nameservices'                                    = '<nameservice-id>',
    'dfs.ha.namenodes.<nameservice-id>'                   = '<nn1>,<nn2>',
    'dfs.namenode.rpc-address.<nameservice-id>.<nn1>'     = '<host1>:<port1>',
    'dfs.namenode.rpc-address.<nameservice-id>.<nn2>'     = '<host2>:<port2>',
    'dfs.client.failover.proxy.provider.<nameservice-id>' = '<dfs.client.failover.proxy.provider.your-nameservice>'
);

CREATE CATALOG hive_catalog PROPERTIES (
    "type"                = "hms",
    "hive.metastore.uris" = "thrift://172.0.0.1:9083",
    "oss.endpoint"        = "oss-cn-beijing.aliyuncs.com",
    "oss.access_key"      = "<your-access-key-id>",
    "oss.secret_key"      = "<your-access-key-secret>"
);

SHOW CATALOGS;

+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| 436009309195 | hive_catalog | hms      |           | 2024-07-19 17:09:08.058 | 2024-07-19 18:04:37 |                        |
|            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

-- Style 1: Switch catalog, then use database and table
SWITCH hive_catalog;
USE test_db;
SELECT * FROM test_t;

-- Style 2: Use the fully qualified table name (no switch required)
SELECT * FROM hive_catalog.test_db.test_t;

SWITCH hive_catalog;
SHOW DATABASES;   -- list all databases in the Hive catalog
USE test_db;
SHOW TABLES;      -- list all tables in test_db

Migrer des données de Hive vers SelectDB

Une fois le catalogue Hive connecté, utilisez des instructions INSERT INTO pour migrer les données historiques de Hive vers des tables internes SelectDB. Consultez la documentation Importer des données à l'aide d'instructions INSERT INTO.

Mappages des types de données de colonne

SelectDB mappe automatiquement les types de colonnes Hive aux types SelectDB lors de la création d'un catalogue. Les mappages ci-dessous s'appliquent aux métadonnées Hive, Iceberg et Hudi stockées dans un metastore Hive.

Les types complexes peuvent être imbriqués. Par exemple :

• array<map<string, int>>

• map<string, array<int>>

• struct<col1: array<int>, col2: map<int, date>>

Étapes suivantes

• Data lakehouse — En savoir plus sur les catalogues externes et les concepts de requêtes fédérées.

• Importer des données à l'aide d'instructions INSERT INTO — Déplacer les données Hive vers des tables internes SelectDB.