Lisez et écrivez des données dans les tables larges de LindormTable via le langage SQL depuis le système de traitement distribué Lindorm (LDPS).
Prérequis
Avant de commencer, assurez-vous d'avoir :
Consulté les Précautions relatives à l'utilisation du SQL pour accéder à LindormTable
-
Initialisé les ressources requises pour votre type de tâche :
Tâche Java : Créer une tâche en Java
Tâche Python : Créer une tâche en Python
Accéder aux données d'une table large
Les tables larges de LindormTable sont accessibles via le catalogue lindorm_table dans LDPS. LDPS prend en charge les opérations du langage de manipulation de données (DML) sur les tables larges. Les opérations du langage de définition de données (DDL) et le partitionnement ne sont pas pris en charge.
La procédure typique consiste à basculer vers le catalogue lindorm_table , à vérifier le schéma de la table, puis à exécuter vos instructions DML.
Basculer vers le catalogue
USE lindorm_table;Interroger le schéma de la table
SHOW CREATE TABLE test;La sortie ressemble à ce qui suit :
+----------------------------------------------------+
| CREATE TABLE default.test ( |
| `id` INT, |
| `name` STRING) |
| |
+----------------------------------------------------+Insérer des données
INSERT INTO test VALUES (0, 'Jay');Interroger les données
SELECT * FROM test;Pour la liste complète de la syntaxe SQL prise en charge, consultez les instructions DML.
Importer des données en masse (aperçu public)
La syntaxe SQL est identique à celle d'une instruction INSERT standard. Lorsque le chargement en masse (bulkload) est activé, LDPS génère et enregistre directement des fichiers de table large à partir des données importées, ce qui augmente le débit d'écriture.
Configurez les paramètres suivants avant d'exécuter l'importation :
| Paramètre | Description | Valeur par défaut |
|---|---|---|
spark.sql.catalog.lindorm_table.bulkLoad.enabled |
Active la fonctionnalité de chargement en masse. Définissez la valeur sur true pour l'activer. |
false |
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor |
Nombre de sessions simultanées utilisées pour écrire des données dans une seule région d'une table large. | 4 |
Les index secondaires et les index de recherche ne sont pas créés automatiquement pour les données importées par les tâches de chargement en masse.
Étapes suivantes
Explorez la référence complète de la syntaxe DML : Instructions DML