Lindorm:作業の開始

列指向データにアクセスする

列指向データは、Iceberg エコシステムと互換性のある列指向ストレージデータレイクです。データは Lindorm インスタンスのファイルエンジンに保存され、OLAP リソースグループを介して書き込みおよびクエリを実行できます。

列指向データは、lindorm_columnar という名前のカタログ (異なるデータソースを識別するために使用) に保存されます。OLAP リソースグループが MySQL プロトコルを介して接続されると、デフォルトで列指向データカタログにアクセスします。SET CATALOG lindorm_columnar; 文を実行して、明示的に列指向データカタログに切り替えることもできます。

1. データベースを作成して使用します。

   -- データベースを作成します。
   CREATE DATABASE olapdemo;
   
   -- データベースを使用します。
   USE olapdemo;

2. データテーブルを作成し、データを書き込みます。

   -- テーブルを作成します。
   CREATE TABLE test (id INT, name STRING) ENGINE = iceberg;
   
   -- テーブルにデータを挿入します。
   INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');

3. データをクエリします。

   • 例 1：

     SELECT id, name FROM test WHERE id != 0;

     出力：

     +------+--------+
     | id   | name   |
     +------+--------+
     |    1 | Edison |
     +------+--------+

   • 例 2：

     SELECT count(distinct name) FROM test;

     出力：

     +----------------------+
     | count(DISTINCT name) |
     +----------------------+
     |                    2 |
     +----------------------+

   • 例 3：

     SELECT * FROM
      (SELECT id, name FROM test WHERE id != 0) t0
      JOIN
      (SELECT id, name FROM test WHERE id != 2) t1
      ON t0.id=t1.id;

     +------+--------+------+--------+
     | id   | name   | id   | name   |
     +------+--------+------+--------+
     |    1 | Edison |    1 | Edison |
     +------+--------+------+--------+

4. テーブルを削除します。

   DROP TABLE test;

5. データベースを削除します。

   DROP DATABASE olapdemo;

ワイドテーブルデータにアクセスする

OLAP リソースグループを使用すると、LindormTable 内のデータを直接クエリし、その計算能力を活用して複雑なクエリ計算を効率的に実行できます。OLAP リソースグループは、ワイドテーブルの作成またはワイドテーブルへのデータの書き込みをサポートしていません。データクエリ操作のみをサポートしています。

LindormTable データは、lindorm_table という名前のカタログに保存されます。LindormTable データにアクセスするには、SET CATALOG lindorm_table; 文を明示的に実行して、lindorm_table カタログに切り替える必要があります。

-- データベースを作成します。
CREATE DATABASE test; 

-- データベースを使用します。
USE test; 

-- ワイドテーブルを作成し、2 つのデータレコードを挿入します。
CREATE TABLE tb (id varchar, name varchar, address varchar,  primary key(id, name)) ; 
UPSERT INTO tb (id, name, address) values ('001', 'Jack',  'hz'); 
UPSERT INTO tb (id, name, address) values ('002', 'Edison',  'bj'); 

列指向データにアクセスする

列指向データは、Iceberg エコシステムと互換性のある列指向ストレージデータレイクです。データは Lindorm インスタンスのファイルエンジンに保存され、Spark SQL を使用して書き込みおよびクエリを実行できます。

列指向データは、lindorm_columnar という名前のカタログ (異なるデータソースを識別するために使用) に保存されます。OLAP リソースグループが MySQL プロトコルを介して接続されると、デフォルトで列指向データカタログにアクセスします。SET CATALOG lindorm_columnar; 文を実行して、明示的に列指向データカタログに切り替えることもできます。

1. データベースを作成して使用します。

   -- データベースを作成します。
   CREATE DATABASE etldemo;
   
   -- データベースを使用します。
   USE etldemo;

2. データテーブルを作成し、テーブルにデータを書き込みます。

   -- テーブルを作成します。
   CREATE TABLE test (id INT, name STRING);
   
   -- テーブルにデータを挿入します。
   INSERT INTO test VALUES (0, 'Jay'), (1, 'Edison');

3. データをクエリします。

   • 例 1：

     SELECT id, name FROM test WHERE id != 0;

     出力：

     +------+--------+
     | id   | name   |
     +------+--------+
     |    1 | Edison |
     +------+--------+

   • 例 2：

     SELECT count(distinct name) FROM test;

     出力：

     +----------------------+
     | count(DISTINCT name) |
     +----------------------+
     |                    2 |
     +----------------------+

   • 例 3：

     SELECT *FROM
      (SELECT id, name FROM test WHERE id != 0) t0
      JOIN
      (SELECT id, name FROM test WHERE id != 2) t1
      ON t0.id=t1.id;

     +------+--------+------+--------+
     | id   | name   | id   | name   |
     +------+--------+------+--------+
     |    1 | Edison |    1 | Edison |
     +------+--------+------+--------+

4. テーブルを削除します。

   DROP TABLE test;

5. データベースを削除します。

   DROP DATABASE etldemo;

ワイドテーブルデータにアクセスする

ETL リソースグループを使用すると、LindormTable 内のデータを直接クエリし、その計算能力を活用して複雑なクエリ計算を効率的に実行できます。ETL リソースグループは、ワイドテーブルの作成またはワイドテーブルへのデータの書き込みをサポートしていません。データクエリ操作のみをサポートしています。

LindormTable データは、lindorm_table という名前のカタログに保存されます。LindormTable データにアクセスするには、SET CATALOG lindorm_table; 文を明示的に実行して、lindorm_table カタログに切り替える必要があります。

-- データベースを作成します。
CREATE DATABASE test; 

-- データベースを使用します。
USE test; 

-- データテーブルを作成し、2 つのデータレコードを挿入します。
CREATE TABLE tb (id varchar, name varchar, address varchar,  primary key(id, name)) ; 
UPSERT INTO tb (id, name, address) values ('001', 'Jack',  'hz'); 
UPSERT INTO tb (id, name, address) values ('002', 'Edison',  'bj'); 

lindorm-beeline 対話型セッションで、次のクエリ文を実行してワイドテーブルデータにアクセスします。

1. 明示的にデータソースに切り替え、データベースを使用します。

   -- データソースに明示的に切り替えます。
   SET CATALOG lindorm_table;
   
   -- test データベースを使用します。
   USE test;

2. ワイドテーブルデータのクエリを実行します。

   例 1:

   SELECT * FROM tb LIMIT 5;

   出力:

   +------+--------+---------+
   | id   | name   | address |
   +------+--------+---------+
   | 001  | Jack   | hz      |
   | 002  | Edison | bj      |
   +------+--------+---------+

   例 2:

   SELECT count(*) FROM tb;

   出力:

   +-----------+
   | count(1)  |
   +-----------+
   | 2         |
   +-----------+