ApsaraDB for SelectDB:Elasticsearch データの移行

ステップ 1：SelectDB インスタンスへの接続

接続方法については、「インスタンスへの接続」をご参照ください。

ステップ 2：Elasticsearch カタログの作成

以下の文を実行して、Elasticsearch クラスターを指すカタログを作成します。

CREATE CATALOG es_catalog PROPERTIES (
    "type"="es",
    "hosts"="http://127.0.0.1:9200",
    "user"="test_user",
    "password"="test_passwd",
    "nodes_discovery"="false"
);

以下の表に、カタログのプロパティを示します。

ステップ 3：カタログの確認

SHOW CATALOGS を実行し、カタログが正しく作成されたことを確認します。

SHOW CATALOGS;

期待される出力：

+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| CatalogId    | CatalogName  | Type     | IsCurrent | CreateTime              | LastUpdateTime      | Comment                |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+
| 436009309195 | es_catalog   | es       |           | 2024-08-06 17:09:08.058 | 2024-07-19 18:04:37 |                        |
|            0 | internal     | internal | yes       | UNRECORDED              | NULL                | Doris internal catalog |
+--------------+--------------+----------+-----------+-------------------------+---------------------+------------------------+

ステップ 4：（任意）Elasticsearch カタログのクエリ

マップされたテーブルを参照するために、外部カタログに切り替えます。

SWITCH es_catalog;

es_catalog 内のデータは、内部カタログと同様の方法でクエリおよびアクセスできます。クエリの例については、「Elasticsearch データソース」トピックの「Elasticsearch データソースからのデータのクエリ」セクションをご参照ください。

作業終了後は、内部カタログに戻ります。

SWITCH internal;

ステップ 5：送信先データベースの作成

データベースが既に存在する場合は、このステップをスキップしてください。

CREATE DATABASE es_db;

送信先データベースに切り替えます。

USE es_db;

ステップ 6：送信先テーブルの作成

テーブルを作成する前に、Elasticsearch と SelectDB 間のカラム型マッピングを確認してください。完全な型マッピングのリファレンスについては、「Elasticsearch データソース」トピックの「カラム型マッピング」セクションをご参照ください。

Elasticsearch インデックスのスキーマに合致するカラム型を用いてテーブルを作成します。

CREATE TABLE test_Es2SelectDB
(
    `annual_rate` VARCHAR(200),
    `describe`    TEXT,
    `productName` VARCHAR(200)
)
DISTRIBUTED BY HASH(productName) BUCKETS 4
PROPERTIES("replication_num" = "1");

ステップ 7：データの移行

INSERT INTO ... SELECT を実行し、Elasticsearch インデックスから SelectDB テーブルへ全レコードをコピーします。

INSERT INTO test_Es2SelectDB SELECT * FROM es_catalog.default_db.product_info;

ステップ 8：移行の確認

送信先テーブルをクエリし、データが正しくインポートされたことを確認します。

SELECT * FROM test_Es2SelectDB;