ApsaraDB for SelectDB:Elasticsearch veri kaynağı

CREATE CATALOG test_es PROPERTIES (
    "type"="es",
    "hosts"="http://127.0.0.1:9200",
    "user"="test_user",
    "password"="test_passwd",
    "nodes_discovery"="false"
);

-- Switch to the catalog, then query
SWITCH test_es;
SELECT * FROM es_table LIMIT 10;

-- Use the fully qualified database path
USE test_es.default_db;
SELECT * FROM es_table LIMIT 10;

-- Use the fully qualified table name directly
SELECT * FROM test_es.default_db.es_table LIMIT 10;

Temel sorgular

SELECT * FROM es_table WHERE k1 > 1000 AND k3 = 'term' OR k4 LIKE 'fu*z_';

Gelişmiş esquery

SQL ile ifade edilemeyen sorguları — örneğin match_phrase ve geo_shape — doğrudan Elasticsearch'e aktarmak için esquery(field, QueryDSL) işlevini kullanın. field parametresi sorguyu bir dizinle ilişkilendirir. QueryDSL parametresi, tam olarak bir kök anahtarı olan bir JSON nesnesidir.

match_phrase sorgusu:

SELECT * FROM es_table WHERE esquery(k4, '{"match_phrase": {"k4": "selectdb on es"}}');

geo_shape sorgusu:

SELECT * FROM es_table WHERE esquery(k4, '{"geo_shape": {"location": {"shape": {"type": "envelope", "coordinates": [[13, 53], [14, 52]]}, "relation": "within"}}}');

bool sorgusu:

SELECT * FROM es_table WHERE esquery(k4, '{"bool": {"must": [{"terms": {"k1": [11, 12]}}, {"terms": {"k2": [100]}}]}}');

ARRAY türü

Elasticsearch'te açık bir ARRAY türü bulunmaz ancak bir alan sıfır veya daha fazla değer içerebilir. SelectDB'de bir alanı dizi olarak bildirmek için dizin eşlemesinde _meta.selectdb altına bir array_fields girişi ekleyin.

doc dizini için örnek veri yapısı:

{
  "array_int_field": [1, 2, 3, 4],
  "array_string_field": ["selectdb", "is", "the", "best"],
  "id_field": "id-xxx-xxx",
  "timestamp_field": "2022-11-12T12:08:56Z",
  "array_object_field": [{"name": "xxx", "age": 18}]
}

Dizi alanlarını bildirmek için eşlemeyi güncelleyin:

# Elasticsearch 7.x and later
curl -X PUT "localhost:9200/doc/_mapping?pretty" -H 'Content-Type: application/json' -d '
{
    "_meta": {
        "selectdb": {
            "array_fields": [
                "array_int_field",
                "array_string_field",
                "array_object_field"
            ]
        }
    }
}'

# Elasticsearch 6.x and earlier
curl -X PUT "localhost:9200/doc/_mapping?pretty" -H 'Content-Type: application/json' -d '
{
    "_doc": {
        "_meta": {
            "selectdb": {
                "array_fields": [
                    "array_int_field",
                    "array_string_field",
                    "array_object_field"
                ]
            }
        }
    }
}'

Filtre koşulu aktarma

SelectDB, filtre koşullarını Elasticsearch'e aktararak yalnızca eşleşen verilerin döndürülmesini sağlar; bu sayede her iki sistemde de CPU, bellek ve G/Ç yükü azalır. Aşağıdaki tabloda SQL operatörlerinin Elasticsearch Query DSL ile nasıl eşleştiği gösterilmektedir.

Sorguları hızlandırmak için sütun taramasını etkinleştirme

Alan değerlerini _source alanı yerine sütun tabanlı depolamadan (doc_values) okumak için enable_docvalue_scan parametresini true olarak ayarlayın. Yalnızca birkaç sütun sorgulandığında, sütun taraması _source üzerinden okumaya göre on kat daha hızlı olabilir.

Sütun taraması etkinleştirildiğinde SelectDB iki ilke uygular:

• En iyi çaba: Sorgulanan tüm alanlarda doc_value etkinse SelectDB tamamen sütun tabanlı depolamadan okuma yapar.

• Otomatik geri dönüş: Sorgulanan alanlardan herhangi biri doc_value içermiyorsa SelectDB tüm alanlar için _source üzerinden okumaya geri döner.

KEYWORD alanlarını algılama

STRING alanlarındaki eşitlik sorguları için SelectDB'nin otomatik olarak KEYWORD alt alanlarını kullanmasını sağlamak amacıyla enable_keyword_sniff parametresini true olarak ayarlayın.

Elasticsearch bir dizini otomatik olarak oluşturduğunda STRING alanları hem bir TEXT alanı hem de bir KEYWORD alt alanı alır:

"k4": {
    "type": "text",
    "fields": {
        "keyword": {
            "type": "keyword",
            "ignore_above": 256
        }
    }
}

Keyword sniffing olmadan, k4 = "SelectDB On ES" SQL koşulu şu Query DSL'i oluşturur:

"term": {"k4": "SelectDB On ES"}

k4 bir TEXT alanı olduğundan değeri selectdb, on ve es belirteçlerine ayrıştırılır; bunların hiçbiri tam ifadeyle eşleşmediği için sonuç dönmez.

enable_keyword_sniff parametresi true olarak ayarlandığında SelectDB koşulu otomatik olarak KEYWORD alt alanını hedefleyecek şekilde yeniden yazar:

"term": {"k4.keyword": "SelectDB On ES"}

KEYWORD alanı orijinal değiştirilmemiş değeri sakladığından tam ifade doğru şekilde eşleşir.

Düğüm keşfini etkinleştirme

SelectDB'nin parçaları atanmış tüm Elasticsearch veri düğümlerini keşfetmesine olanak tanımak için nodes_discovery parametresini true olarak ayarlayın.

Alibaba Cloud Elasticsearch trafiği bir SLB örneği üzerinden yönlendirir; bu durum, küme düğümlerine doğrudan erişimi engeller. Alibaba Cloud Elasticsearch'e bağlanırken nodes_discovery parametresini her zaman false olarak ayarlayın.

HTTPS'yi etkinleştirme

Elasticsearch kümesine HTTPS üzerinden bağlanmak için ssl parametresini true olarak ayarlayın. SelectDB, SSL sertifikasının geçerliliğinden bağımsız olarak FE ve BE düğümlerinden gelen tüm HTTPS isteklerine güvenir.

Zaman alanlarını işleme

Bu bölümdeki yönergeler yalnızca harici Elasticsearch tabloları için geçerlidir. Elasticsearch katalogları için zaman alanları otomatik olarak DATE veya DATETIME türüne eşlenir.

Geniş bir giriş aralığını desteklemek için Elasticsearch'teki tarih alanı biçimini yapılandırın:

"dt": {
    "type": "date",
    "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
}

SelectDB'de alanı date, datetime veya varchar olarak tanımlayın. Aşağıdaki filtre koşullarının tümü doğru şekilde aktarılır:

SELECT * FROM doe WHERE k2 > '2020-06-21';
SELECT * FROM doe WHERE k2 < '2020-06-21 12:00:00';
SELECT * FROM doe WHERE k2 < 1593497011;
SELECT * FROM doe WHERE k2 < now();
SELECT * FROM doe WHERE k2 < date_format(now(), '%Y-%m-%d');

_id alanını sorgulama

Elasticsearch, içe aktarma sırasında belirtilmemişse her belgeye otomatik olarak genel olarak benzersiz bir _id atar. Harici bir tablodan _id değerini sorgulamak için bunu bir VARCHAR sütunu olarak bildirin:

CREATE EXTERNAL TABLE `doe` (
    `_id`  varchar COMMENT "",
    `city` varchar COMMENT ""
) ENGINE=ELASTICSEARCH
PROPERTIES (
    "hosts"    = "http://127.0.0.1:8200",
    "user"     = "root",
    "password" = "root",
    "index"    = "doe"
);

Bir Elasticsearch kataloğundan _id değerini sorgulamak için mapping_es_id parametresini true olarak ayarlayın.

+----------------------------------------------+
|                                              |
| SelectDB   +------------------+              |
|            |       FE         +--------------+-------+
|            |                  |  Request Shard Location
|            +--+-------------+-+              |       |
|               ^             ^                |       |
|               |             |                |       |
|  +-------------------+ +------------------+  |       |
|  |            |      | |    |             |  |       |
|  | +----------+----+ | | +--+-----------+ |  |       |
|  | |      BE       | | | |      BE      | |  |       |
|  | +---------------+ | | +--------------+ |  |       |
+----------------------------------------------+       |
   |        |          | |        |         |          |
   |        |          | |        |         |          |
   |    HTTP SCROLL    | |    HTTP SCROLL   |          |
+-----------+---------------------+------------+       |
|  |        v          | |        v         |  |       |
|  | +------+--------+ | | +------+-------+ |  |       |
|  | |               | | | |              | |  |       |
|  | |   DataNode    | | | |   DataNode   +<-----------+
|  | |               | | | |              | |  |       |
|  | |               +<--------------------------------+
|  | +---------------+ | | |--------------| |  |       |
|  +-------------------+ +------------------+  |       |
|   Same Physical Node                         |       |
|                                              |       |
|           +-----------------------+          |       |
|           |                       |          |       |
|           |      MasterNode       +<-----------------+
| ES        |                       |          |
|           +-----------------------+          |
+----------------------------------------------+