E-MapReduce:Quick start

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un cluster StarRocks. Consultez la rubrique Créer un cluster StarRocks

Connexion au nœud maître

Connectez-vous au nœud maître du cluster StarRocks via SSH. Pour plus de détails, consultez la documentation Connexion à un cluster.

Exécutez toutes les commandes de ce guide dans une session SSH active sur le nœud maître. Ne les lancez pas directement depuis votre machine locale.

Connexion au cluster StarRocks

Exécutez la commande suivante pour vous connecter à StarRocks avec le client MySQL :

mysql -h127.0.0.1 -P 9030 -uroot

Création d'une base de données et d'une table

1. Créez une base de données nommée load_test et sélectionnez-la :

   CREATE DATABASE IF NOT EXISTS load_test;
   USE load_test;

2. Créez une table nommée insert_wiki_edit :

   CREATE TABLE insert_wiki_edit
   (
       event_time DATETIME,
       channel VARCHAR(32) DEFAULT '',
       user VARCHAR(128) DEFAULT '',
       is_anonymous TINYINT DEFAULT '0',
       is_minor TINYINT DEFAULT '0',
       is_new TINYINT DEFAULT '0',
       is_robot TINYINT DEFAULT '0',
       is_unpatrolled TINYINT DEFAULT '0',
       delta INT SUM DEFAULT '0',
       added INT SUM DEFAULT '0',
       deleted INT SUM DEFAULT '0'
   )
   AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
   PARTITION BY RANGE(event_time)
   (
       PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
       PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
       PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
       PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
   )
   DISTRIBUTED BY HASH(user) BUCKETS 10
   PROPERTIES("replication_num" = "1");

   Cette table utilise le modèle AGGREGATE KEY. Elle est partitionnée par plage de event_time et distribuée par hachage de user sur 10 buckets.

Chargement des données de test

Insérez deux lignes d'exemple dans la table :

INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

Le résultat attendu est le suivant :

Query OK, 2 rows affected

Interrogation des données

Exécutez une requête SELECT pour vérifier les données importées :

select * from insert_wiki_edit;

Le résultat attendu est le suivant :

+---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+
| event_time          | channel       | user         | is_anonymous | is_minor | is_new | is_robot | is_unpatrolled | delta | added | deleted |
+---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+
| 2015-09-12 00:00:00 | #en.wikipedia | GELongstreet |            0 |        0 |      0 |        0 |              0 |    36 |    36 |       0 |
| 2015-09-12 00:00:00 | #ca.wikipedia | PereBot      |            0 |        1 |      0 |        1 |              0 |    17 |    17 |       0 |
+---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+
2 rows in set (0.16 sec)

Étapes suivantes

Une fois le bon fonctionnement du cluster vérifié de bout en bout, explorez les rubriques suivantes :

• Découvrez d'autres méthodes de chargement de données dans StarRocks, telles que Stream Load et Broker Load.

• Explorez les fonctionnalités d'accélération des requêtes de StarRocks.

• Surveillez l'état de votre cluster StarRocks dans la console EMR.