OpenSearch:Data Lake Formation (DLF)

Cette rubrique explique comment ajouter une table à une instance Retrieval Engine Edition en utilisant une source de données Data Lake Formation (DLF).

Prérequis

• Vous maîtrisez le fonctionnement de Data Lake Formation.

• Vous avez configuré l'ID du catalogue, la base de données et la table dans Data Lake Formation, éléments nécessaires à la configuration de la synchronisation des données.

Ajout d'une source de données Data Lake Formation

1. Sur la page Instance Details > Table Management, cliquez sur Add Table.

2. À l'étape Basic Table Information, saisissez un Table name (par exemple, dlf_table), définissez le Number of data shards (valeur par défaut : 1) et le Number of resources for data updates (valeur par défaut : 2), puis cliquez sur Next. Le nombre de ressources pour les mises à jour de données détermine le niveau de concurrence pour la consommation des données en temps réel, afin d'améliorer le débit (TPS).

• Table name : spécifiez un nom personnalisé.

• Number of data shards : indiquez un entier positif jusqu'à 256. La valeur ne doit pas dépasser trois fois le nombre de nœuds de données de votre instance.

• Number of resources for data updates : par défaut, chaque table inclut deux ressources de mise à jour gratuites (4 vCPU et 8 Go de mémoire chacune). Les ressources dépassant le quota gratuit sont facturées. Pour plus d'informations, consultez la section Présentation de la facturation de Retrieval Engine Edition.

3. À l'étape Data synchronization, configurez la source de données. Après avoir validé la configuration, cliquez sur Next.

   Pour Full data source, sélectionnez Data Lake Formation (DLF), puis saisissez l'ID du catalogue, la base de données et la table.

• Source de données complète : source utilisée pour l'importation initiale des données complètes. Sélectionnez Data Lake Formation (DLF).

• ID du catalogue : identifiant du catalogue Data Lake Formation contenant vos données.

• Base de données : base de données au sein du catalogue qui contient votre table.

• Table : table au sein de la base de données que vous souhaitez synchroniser.

  Remarque

  • Pour utiliser DLF comme source de données pour une instance existante, vous devez d'abord mettre à niveau sa version hors ligne.

  • Seuls les catalogues de type Paimon sont pris en charge.

  • Les tables Paimon avec clé primaire prennent en charge les opérations d'ajout, de mise à jour, de suppression et de requête. Les tables Paimon en ajout seul (append-only) ne prennent en charge que les opérations d'écriture et ne permettent ni la modification ni la suppression des données.

4. Configurez le schéma d'index en mode Form Mode ou Developer Mode, puis cliquez sur Next.

   Dans la section Field Settings, définissez vos champs de données, tels qu'un champ id (Type : INT8, en tant que clé primaire), un champ name (Type : STRING) et un champ email (Type : STRING). Vous pouvez également configurer ici la compression des données et les analyseurs. Dans la section Index Settings, définissez vos index de recherche. Par exemple, ajoutez un index nommé phone (Type : STRING) basé sur le champ name.

5. Après confirmation de la création, le système crée automatiquement la table. Vous pouvez suivre la progression de la création sur la page Change history. Lorsque le statut de la table passe à In Use, utilisez la page Query test pour tester vos requêtes.

Précautions

Lorsque de nouvelles données sont écrites dans une table Paimon dans DLF, OpenSearch déclenche automatiquement l'indexation en temps réel. Toutefois, l'écriture manuelle de données via une API peut entraîner des incohérences de données ; faites donc preuve de prudence.