Démarrage rapide avec une instance Shared-data - E-MapReduce

Prérequis

Créez un compte Alibaba Cloud et effectuez la vérification d'identité.
En tant qu'utilisateur RAM, vous devez disposer de la stratégie système AliyunEMRStarRocksFullAccess. Pour plus d'informations, consultez Accorder des autorisations à un utilisateur RAM.

Remarque
La stratégie système AliyunEMRStarRocksFullAccess est requise pour créer et gérer des instances StarRocks.

Précautions

Vous êtes responsable de la gestion et de la configuration de l'environnement d'exécution de votre code.

Procédure

Étape 1 : Créer une instance StarRocks Shared-data

Accédez à la page de liste des instances E-MapReduce Serverless StarRocks.
1. Connectez-vous à la console E-MapReduce.
2. Dans le volet de navigation de gauche, sélectionnez EMR Serverless > StarRocks.
3. Dans la barre de menu supérieure, sélectionnez la région requise.
Sur la page Instances, cliquez sur Create Instance.

Sur la page E-MapReduce Serverless StarRocks, configurez l'instance.

Paramètre	Exemple	Description
Product Type	paiement à l'utilisation	Sélectionnez Pay-as-you-go. Pour plus de détails sur la facturation, consultez paiement à l'utilisation.
Region	Chine (Pékin)	Emplacement physique de l'instance. Important Vous ne pouvez pas modifier la région après la création de l'instance. Choisissez la région avec soin.
Network and zone	vpc_Hangzhou/vpc-bp1f4epmkvncimpgs** Zone I vsw_i/vsw-bp1e2f5fhaplp0g6p**	Sélectionnez un VPC (Virtual Private Cloud), une zone et le vSwitch correspondant. VPC : Environnement réseau isolé que vous définissez dans Alibaba Cloud. Sélectionnez un VPC existant ou cliquez sur Create a VPC pour accéder à la console VPC et en créer un. Pour plus d'informations, consultez Création et gestion d'un VPC. Remarque Lors de la création d'un VPC, vous devez sélectionner un bloc CIDR IPv4 parmi l'une des trois plages de réseaux privés suivantes définies par la RFC 1918 : `10.0.0.0/8` (10.0.0.0 à 10.255.255.255) `172.16.0.0/12` (172.16.0.0 à 172.31.255.255) `192.168.0.0/16` (192.168.0.0 à 192.168.255.255) Si votre instance Serverless StarRocks doit accéder à Internet (par exemple, pour importer des données ou interroger des tables externes), assurez-vous que son VPC dispose d'un accès Internet. Vous pouvez déployer une passerelle NAT Internet dans le VPC et activer la fonctionnalité SNAT. Pour plus d'informations, consultez Utilisation de la fonctionnalité SNAT d'une passerelle NAT Internet pour accéder à Internet. Zone : Zone où se trouve l'instance. vSwitch : Un vSwitch est un module réseau de base d'un VPC qui connecte différentes ressources cloud. Sélectionnez un vSwitch existant ou cliquez sur . Create vSwitch pour accéder à la console VPC et en créer un. Pour plus d'informations, consultez Création et gestion d'un vSwitch.
Instance Type	Shared-data	Adapté aux charges de travail ayant des exigences de performance de requête moins élevées, telles que l'analyse multidimensionnelle OLAP, l'analytique sur lac de données, les requêtes fédérées sur des tables externes, l'analytique en temps réel et l'entreposage de données.
Instance Edition	Standard Edition	Prend en charge Basic Edition et Standard Edition. Pour plus d'informations, consultez Présentation des éditions d'instance. Remarque Basic Edition est disponible uniquement dans les régions Chine (Pékin), Chine (Shanghai), Chine (Shenzhen) et Chine (Hangzhou).
Kernel Version	3.3	Numéro de version communautaire StarRocks.
FE Specifications	Type de spécification : Standard Specifications Unités de calcul (CU) : 8 CU Disque de données : ESSD PL1 Haute disponibilité : Activée par défaut Nombre de nœuds : 3 Équilibrage de charge : PrivateZone intégré	Type de spécification : Le type de spécification des nœuds FE varie selon l'Instance Edition de StarRocks. Basic Edition : Prend en charge Standard Specifications. Standard Edition : Prend en charge les spécifications Standard Specifications et Memory-optimized Specifications. Compute CUs : Sélectionnez le nombre d'unités de calcul (CU). Choisissez la spécification CU appropriée selon vos besoins. Pour plus d'informations sur les frais de CU, consultez Éléments facturables. Data Disk : Seul le disque ESSD PL1 est pris en charge. La taille du disque de données varie de 100 Go à 65 000 Go, avec un pas de 100. Pour plus d'informations sur les disques cloud, consultez Disques SSD Enterprise. HA : Activée par défaut. L'édition Standard prend en charge la haute disponibilité. Après activation de la haute disponibilité, le nombre de nœuds FE StarRocks passe de 1 à 3 pour réduire le risque de défaillances. Important Nous vous recommandons vivement d'activer la haute disponibilité pour les environnements de production. Number of Nodes : Nombre de nœuds FE. La valeur peut être un nombre impair compris entre 1 et 11. Load balancing : Prend en charge les méthodes suivantes. Built-in Private Zone : Équilibre le trafic via la résolution de noms de domaine PrivateZone sans coût supplémentaire. Adapté aux scénarios légers ou sensibles aux coûts. Recommandé pour les environnements hors production ou les services ayant de faibles exigences en matière d'équilibrage de charge. Load balancing SLB : Fournit un équilibrage de charge haute performance via le service SLB. Recommandé pour les environnements de production exigeant des performances et une fiabilité élevées. La fonctionnalité permettant de retirer le leader FE du trafic de requêtes n'est disponible qu'après l'activation de SLB. Vous devez activer le service SLB, ce qui entraîne des frais supplémentaires. Pour plus d'informations, consultez Présentation de la facturation CLB.
CN Specifications	Type de spécification : Standard Specifications Unités de calcul (CU) : 8 CU Disque de données : ESSD PL1, 200 Go, 1 disque Nombre de nœuds : 3	Type de spécification : Le type de spécification des nœuds CN varie selon l'Instance Edition de StarRocks. Basic Edition : Prend en charge Standard Specifications. Standard Edition : Prend en charge les spécifications suivantes. Standard Specifications : Option par défaut et recommandée. 1 CU = 1 cœur CPU + 4 Go de mémoire. Cette spécification utilise ESSD pour le stockage StarRocks. Memory-optimized Specifications : 1 RCU = 1 cœur CPU + 8 Go de mémoire. Cette spécification convient aux scénarios intensifs en mémoire, tels que l'exécution d'un grand nombre de requêtes complexes ou la gestion de demandes à forte concurrence. Elle utilise ESSD pour le stockage StarRocks. Network-enhanced Specifications : 1 NCU = 1 cœur CPU + 4 Go de mémoire, offrant plus du double de la bande passante réseau des spécifications standard. Cette spécification convient aux scénarios impliquant l'analyse de grandes quantités de données provenant de tables externes. Elle utilise ESSD pour le stockage StarRocks. High-performance Storage : Vous devez sélectionner des spécifications détaillées pour ce type. Il utilise un SSD local pour le stockage StarRocks et est idéal pour les scénarios ayant des exigences strictes en matière de performances d'E/S. High-specification Storage : Vous devez sélectionner des spécifications détaillées pour ce type. Il utilise un HDD local pour le stockage StarRocks. Ce type est idéal pour stocker de très grands volumes de données à moindre coût, mais offre des performances d'E/S inférieures. Compute CUs : Sélectionnez le nombre d'unités de calcul (CU). Choisissez la spécification CU appropriée selon vos besoins. Pour plus d'informations sur les frais de CU, consultez Éléments facturables. Data Disk : Prend en charge ESSD PL0, ESSD PL1 Cloud Disk (Recommended), ESSD PL2, ESSD PL3, Elastic temporary disk (standard edition) et Elastic temporary disk (Advanced Edition). Pour plus d'informations sur les frais de disques cloud et de disques éphémères élastiques, consultez Éléments facturables. Pour plus d'informations, consultez Disques SSD Enterprise et Disques éphémères élastiques. Remarque Vous pouvez saisir la capacité de stockage requise et le système recommande automatiquement une configuration. Si la capacité que vous sélectionnez dépasse le seuil recommandé, une invite s'affiche pour vous aider à ajuster les paramètres afin d'obtenir des performances optimales. Seules les spécifications Standard Specifications, Memory-optimized Specifications et Compute enhanced prennent en charge les disques éphémères élastiques. Les disques éphémères élastiques présentent des limitations concernant les régions et les zones. Number of Nodes : Nombre de nœuds CN. La valeur peut varier de 1 à 100.
Instance Name	Saisissez un nom d'instance personnalisé.	Le nom de l'instance doit comporter entre 1 et 64 caractères et peut contenir des caractères chinois, des lettres, des chiffres, des traits d'union (-) et des underscores (_).
Administrator	admin	Compte administrateur intégré pour la gestion de StarRocks. Le nom d'utilisateur par défaut ne peut pas être modifié.
Password et Confirm Password	Saisissez un mot de passe personnalisé.	Mot de passe du compte admin intégré de l'instance StarRocks. Conservez ce mot de passe pour une utilisation ultérieure. Si vous l'oubliez, vous pouvez le réinitialiser. Pour plus d'informations, consultez Comment réinitialiser le mot de passe d'une instance ?

Pour plus d'informations sur les paramètres de l'instance, consultez Créer une instance.

Sélectionnez le contrat de service, cliquez sur Create Instance et effectuez le paiement comme indiqué.

Après le paiement, revenez à la page de gestion des instances. L'instance est créée avec succès lorsque son Status passe à Running.

Étape 2 : Se connecter à une instance StarRocks

Sur la page Instances, recherchez l'instance cible et cliquez sur Connect dans la colonne Actions.

Vous pouvez également vous connecter à une instance StarRocks par d'autres moyens.

Connectez-vous à l'instance StarRocks.

Dans l'onglet New Connection, configurez les paramètres suivants.

Une fois la configuration terminée, cliquez sur Test Network Connectivity pour valider la connexion, puis sur OK pour la créer.

Paramètre

Exemple

Description

Region

Chine (Hangzhou)

Sélectionnez la région où réside votre instance StarRocks.

Region

StarRocks_Serverless

Sélectionnez l'instance StarRocks à laquelle vous souhaitez vous connecter.

Name

Connection_Serverless

Saisissez un nom de connexion personnalisé.

Le nom doit comporter entre 1 et 64 caractères et peut contenir des caractères chinois, des lettres, des chiffres, des traits d'union (-) et des underscores (_).

Instance

Saisissez une valeur selon vos besoins réels.

Le nom d'utilisateur par défaut est admin. Vous pouvez également créer d'autres utilisateurs si nécessaire. Pour plus d'informations, consultez Gestion des utilisateurs et autorisation des données.

Password

Saisissez une valeur selon vos exigences.

Mot de passe pour le nom d'utilisateur spécifié.

Cliquez sur Name.
Une fois le test de connexion réussi, cliquez sur Username.

Vous êtes redirigé vers la page SQL Editor, où vous pouvez exécuter des requêtes SQL. Pour plus d'informations, consultez Connexion à une instance StarRocks à l'aide d'EMR StarRocks Manager.

Étape 3 : Exécuter des requêtes SQL

Sur la page Queries de l'SQL Editor, cliquez sur l'icône .
Dans la boîte de dialogue Password.

Dans le nouveau fichier, saisissez les commandes suivantes. Sélectionnez toutes les commandes et cliquez sur Run.

/**Create a database**/
CREATE DATABASE IF NOT EXISTS load_test;

/**Use the database**/
USE load_test;

/**Create a table**/
CREATE TABLE insert_wiki_edit
(
    event_time DATETIME,
    channel VARCHAR(32) DEFAULT '',
    user VARCHAR(128) DEFAULT '',
    is_anonymous TINYINT DEFAULT '0',
    is_minor TINYINT DEFAULT '0',
    is_new TINYINT DEFAULT '0',
    is_robot TINYINT DEFAULT '0',
    is_unpatrolled TINYINT DEFAULT '0',
    delta INT SUM DEFAULT '0',
    added INT SUM DEFAULT '0',
    deleted INT SUM DEFAULT '0'
)
AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
PARTITION BY RANGE(event_time)
(
    PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
    PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
    PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
    PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
)
DISTRIBUTED BY HASH(user) BUCKETS 10
PROPERTIES("replication_num" = "1");

/**Insert data**/
INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

/**Query data**/
select * from insert_wiki_edit;

Les résultats de la requête s'affichent.

Remarque

Exécutez la commande SHOW CREATE TABLE load_test.insert_wiki_edit; et vérifiez la propriété datacache.enable pour confirmer que l'instance Shared-data est active. Après la création de la base de données et de la table, vous trouverez leurs répertoires dans votre bucket OSS.

Exécutez la commande SHOW CREATE TABLE load_test.insert_wiki_edit; . Le résultat inclut la propriété datacache.enable, ce qui confirme que la séparation stockage-calcul est active. L'exemple suivant montre la section PROPERTIES clé.

DISTRIBUTED BY HASH(user) BUCKETS 10 PROPERTIES ("replication_num" = "1", "datacache.enable" = "true", "storage_volume" = "builtin_storage_volume", "enable_async_write_back" = "false", "enable_persistent_index" = "false", "compression" = "LZ4");

Étape 4 : Afficher les informations de la table

Dans le nouveau fichier, exécutez la commande suivante pour afficher les bases de données :
```
SHOW PROC '/dbs';
```
Le résultat liste cinq bases de données : information_schema (DbId=1, TableNum=46), sys (DbId=100, TableNum=6), _starrocks_audit_db_ (DbId=10004, TableNum=1), _statistics_ (DbId=10023, TableNum=8) et load_test (DbId=10120, TableNum=1). Le quota pour chacune est de 8 388 608,000 To et la colonne LastConsistencyCheckTime est vide.
Exécutez la commande suivante pour afficher les informations détaillées de la table :
```
SHOW PROC '/dbs/10120';
```
Le résultat inclut des colonnes telles que TableId, TableName, IndexNum, PartitionColumnName, PartitionNum, State, Type, ReplicaCount, PartitionType et StoragePath.

En mode de séparation stockage-calcul, un Type CLOUD_NATIVE identifie une table Shared-data. Le StoragePath indique l'emplacement de stockage des données de la table.

Étape 5 : Démontrer la fonctionnalité de cache

Dans le volet de navigation de gauche, sélectionnez Test Connectivity > OK.
Recherchez la requête et cliquez sur l'ID de requête.
Cliquez sur l'onglet Execution Details.

Dans l'arborescence d'exécution du profil, localisez les nœuds pertinents pour trouver les métriques suivantes : CompressedBytesReadLocalDisk (lecture depuis le cache local) et CompressedBytesReadRemote (lecture depuis OSS distant).

Dans cet exemple, la table insert_wiki_edit_cache a la mise en cache locale activée et les métriques confirment que la requête a entièrement utilisé le cache local.

Dans le panneau de métriques du nœud CONNECTOR_SCAN, la valeur de CompressedBytesReadLocalDisk est de 729,52 Mo et celle de CompressedBytesReadRemote est de 0,00.

Les métriques de la table insert_wiki_edit_nocache montrent que la requête n'a pas utilisé le cache local et que toutes les données ont été lues depuis OSS distant.

Dans le nœud CONNECTOR_SCAN pour la table insert_wiki_edit_nocache, CompressedBytesReadLocalDisk est 0.00 et CompressedBytesReadRemote est 804.63 MB, confirmant que toutes les données ont été lues depuis OSS distant.

Étape 6 : Exécuter un test de performance

Cet exemple compare les performances des requêtes entre la séparation stockage-calcul (avec cache local) et l'intégration stockage-calcul. Pour une comparaison plus détaillée utilisant l'ensemble de tests SSB, consultez Instructions de test de performance SSB.

Préparez l'environnement de données.
- Configuration des ressources du cluster : 1 FE (8 CU) + 3 CN (Calcul : 16 CU | Stockage : 1 000 Go).
- Paramètres du cluster : Utilisez les paramètres par défaut. Activez le cache local pour le cluster à séparation stockage-calcul.
- Volume de données : 500 Go (sf=500)
Résultats des tests.
- Temps total pour l'intégration stockage-calcul : 21 586 s.
- Temps total pour la séparation stockage-calcul (avec cache local activé lors de la deuxième exécution) : 27 364 s.
- Temps total pour la séparation stockage-calcul (sans cache local activé) : 117 529 s.

Après avoir exécuté le test SSB avec le script sh ssb_query.sh ssb, les résultats montrent qu'avec le cache local activé, la séparation stockage-calcul offre des performances presque identiques à l'intégration stockage-calcul et surpasse significativement la configuration sans cache local.

SQL

Intégration stockage-calcul

Séparation stockage-calcul (cache activé)

Séparation stockage-calcul (cache désactivé)

Q1,1

0m0.373s

0m0.380s

0m2.080s

Q1,2

0m0.303s

0m0.292s

0m2.141s

Q1,3

0m0.101s

0m0.097s

0m0.144s

Q2,1

0m2.461s

0m2.821s

0m14.401s

Q2.2

0m2.272s

0m2.735s

0m13.048s

Q2,3

0m2.168s

0m2.588s

0m13.957s

Q3.1

0m4.536s

0m4.864s

0m14.810s

Q3,2

0m2.371s

0m2.682s

0m11.292s

Q3,3

0m2.082s

0m2.648s

0m13.651s

Q3,4

0m0.195s

0m0.212s

0m0.572s

Q4,1

0m5.122s

0m5.847s

0m29.576s

Q4,2

0m1.141s

0m1.369s

0m1.465s

Q4,3

0m0.661s

0m0.829s

0m0.792s

Total

21.586s

27.364s

117.529s

(Facultatif) Étape 7 : Libérer l'instance

Important

Cette opération supprime l'instance et toutes ses ressources. Cette action est irréversible. Procédez avec prudence.

Pour éviter d'engendrer des frais supplémentaires, libérez une instance lorsque vous n'en avez plus besoin.

Sur la page Queries dans la colonne Actions de l'instance.
Dans la boîte de dialogue qui s'affiche, cliquez sur OK.

Documentation connexe

Pour plus d'informations sur l'SQL Editor, consultez SQL Editor.
Pour afficher les détails des requêtes SQL, analyser les plans d'exécution et résoudre les problèmes SQL, consultez Diagnostics and Analysis.
Pour afficher et analyser toutes les opérations de base de données, consultez Audit Log.

Nous contacter

Pour toute question, rejoignez notre groupe de support DingTalk en recherchant l'ID 24010016636.