E-MapReduce:はじめに

前提条件

Doris クラスタが作成されていること。詳細については、Doris クラスタの作成 をご参照ください。

手順

1. SSH モードで Doris クラスタにログオンします。詳細については、クラスタへのログオン をご参照ください。

   マスターノードのパブリック IP アドレスを取得するには、次の操作を実行します。クラスタの [ノード] タブで、emr_master ノードグループを見つけ、ノードグループの左側のプラスアイコンをクリックします。パブリック IP アドレスは [IP アドレス] 列に表示されます。

2. 次のコマンドを実行して、クラスタに接続します。

   mysql -h127.0.0.1  -P 9031 -uroot

3. データベースが存在しない場合は、次のコマンドを実行してデータベースを作成します。

   CREATE DATABASE IF NOT EXISTS load_test;
   USE load_test;

4. 次のコマンドを実行して、テーブルを作成します。

   CREATE TABLE insert_wiki_edit
   (
       event_time DATETIME,
       channel VARCHAR(32) DEFAULT '',
       user VARCHAR(128) DEFAULT '',
       is_anonymous TINYINT DEFAULT '0',
       is_minor TINYINT DEFAULT '0',
       is_new TINYINT DEFAULT '0',
       is_robot TINYINT DEFAULT '0',
       is_unpatrolled TINYINT DEFAULT '0',
       delta INT SUM DEFAULT '0',
       added INT SUM DEFAULT '0',
       deleted INT SUM DEFAULT '0'
   )
   AGGREGATE KEY(event_time, channel, user, is_anonymous, is_minor, is_new, is_robot, is_unpatrolled)
   PARTITION BY RANGE(event_time)
   (
       PARTITION p06 VALUES LESS THAN ('2015-09-12 06:00:00'),
       PARTITION p12 VALUES LESS THAN ('2015-09-12 12:00:00'),
       PARTITION p18 VALUES LESS THAN ('2015-09-12 18:00:00'),
       PARTITION p24 VALUES LESS THAN ('2015-09-13 00:00:00')
   )
   DISTRIBUTED BY HASH(user) BUCKETS 10
   PROPERTIES("replication_num" = "1");

5. 次のコマンドを実行して、テストデータをインポートします。

   INSERT INTO insert_wiki_edit VALUES("2015-09-12 00:00:00","#en.wikipedia","GELongstreet",0,0,0,0,0,36,36,0),("2015-09-12 00:00:00","#ca.wikipedia","PereBot",0,1,0,1,0,17,17,0);

6. 次のコマンドを実行して、テストデータをクエリします。

   select * from insert_wiki_edit;

   次の情報が返されます。

   +---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+
   | event_time          | channel       | user         | is_anonymous | is_minor | is_new | is_robot | is_unpatrolled | delta | added | deleted |
   +---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+
   | 2015-09-12 00:00:00 | #en.wikipedia | GELongstreet |            0 |        0 |      0 |        0 |              0 |    36 |    36 |       0 |
   | 2015-09-12 00:00:00 | #ca.wikipedia | PereBot      |            0 |        1 |      0 |        1 |              0 |    17 |    17 |       0 |
   +---------------------+---------------+--------------+--------------+----------+--------+----------+----------------+-------+-------+---------+