AnalyticDB:Analyzer untuk indeks teks penuh

Pilih analyzer

Analyzer default berdasarkan versi kluster:

• Kluster sebelum V3.1.4.15: analyzer AliNLP

• Kluster V3.1.4.15 atau lebih baru: analyzer IK

Untuk memeriksa versi minor kluster Anda, lihat Bagaimana cara melihat versi minor kluster?

Tentukan analyzer

FULLTEXT INDEX idx_name(`column_name`) [ WITH ANALYZER analyzer_name ] [ WITH DICT tbl_dict_name];

CREATE TABLE `tbl_fulltext_demo` (
  `id` int,
  `content` varchar,
  `content_alinlp` varchar,
  `content_ik` varchar,
  `content_standard` varchar,
  `content_ngram` varchar,
  `content_edge_ngram` varchar,
  FULLTEXT INDEX fidx_c(`content`),                                           -- Analyzer default
  FULLTEXT INDEX fidx_alinlp(`content_alinlp`) WITH ANALYZER alinlp,
  FULLTEXT INDEX fidx_ik(`content_ik`) WITH ANALYZER ik,
  FULLTEXT INDEX fidx_standard(`content_standard`) WITH ANALYZER standard,
  FULLTEXT INDEX fidx_ngram(`content_ngram`) WITH ANALYZER ngram,
  FULLTEXT INDEX fidx_edge_ngram(`content_edge_ngram`) WITH ANALYZER edge_ngram,
  PRIMARY KEY (`id`)
) DISTRIBUTED BY HASH(id);

Pratinjau hasil tokenisasi

Sebelum menetapkan analyzer, uji cara analyzer tersebut melakukan tokenisasi terhadap teks Anda. Setiap analyzer memiliki fungsi uji khusus yang mengembalikan daftar token untuk string input tertentu.

Tambahkan awalan /*+ mode=two_phase*/ pada semua kueri uji tokenisasi; jika tidak, kueri tersebut tidak akan dieksekusi dengan benar.

Contoh berikut menggunakan input yang sama — 'Hello world' — pada semua analyzer sehingga Anda dapat langsung membandingkan output-nya:

Penggunaan:

/*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

[hello, world, or]

Analyzer Pattern tidak mendukung pengujian tokenisasi berbasis SQL.

Analyzer AliNLP

Paling cocok untuk teks Tiongkok dan multibahasa. Analyzer AliNLP dikembangkan oleh Alibaba Cloud dan Akademi DAMO menggunakan teknologi Pemrosesan Bahasa Alami (NLP). Analyzer ini memecah teks bahasa alami berurutan menjadi segmen-segmen bermakna dan mendukung kamus kustom untuk entitas dan kata penghubung (stop words) yang ditentukan pengguna.

Bahasa yang didukung: Tiongkok, Inggris, Indonesia, Melayu, Thailand, Vietnam, Prancis, Spanyol

• Hasil tokenisasi untuk teks Inggris:

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('Hello world');

  Hasil:

  [hello,  , world]

Contoh berikut menunjukkan hasil tokenisasi dengan konfigurasi default:

Analyzer IK

Paling cocok untuk teks Tiongkok. Analyzer IK adalah analyzer Tiongkok sumber terbuka yang ringan. Analyzer ini mendukung dua mode segmentasi — granularitas kasar dan granularitas halus — serta menerima kamus kustom untuk entitas dan kata penghubung (stop words).

• Hasil tokenisasi untuk teks Inggris:

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

  Hasil:

  [hello, world, or]

Contoh berikut menunjukkan hasil tokenisasi dengan konfigurasi default:

Analyzer Standard

Paling cocok untuk teks Inggris. Analyzer Standard menerapkan aturan spesifik bahasa: untuk bahasa Inggris, teks diubah menjadi huruf kecil dan kata penghubung (stop words) serta tanda baca dihapus sebelum dilakukan tokenisasi; untuk bahasa Tiongkok, teks dipisah menjadi karakter individual. Analyzer ini mendukung kamus kustom.

• Hasil tokenisasi untuk teks Inggris:

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('Hello world');

  Hasil:

  [hello, world]

Contoh berikut menunjukkan hasil tokenisasi dengan konfigurasi default:

Analyzer Ngram

Paling cocok untuk pencarian substring fuzzy. Analyzer Ngram memecah teks menjadi semua substring kemungkinan dengan panjang tetap, sehingga efektif untuk kueri kecocokan parsial. Analyzer ini mendukung kamus kustom.

• Hasil tokenisasi untuk teks Inggris:

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('Hello world');

  Hasil:

  [he, el, ll, lo, o ,  w, wo, or, rl, ld]

Contoh berikut menunjukkan hasil tokenisasi dengan konfigurasi default:

Analyzer Edge_ngram

Paling cocok untuk pencarian awalan dan pengisian otomatis (autocomplete/search-as-you-type). Analyzer Edge_ngram menghasilkan token awalan dengan panjang bertambah — misalnya, h, lalu he — sehingga ideal untuk mencocokkan kata dari awal. Analyzer ini mendukung kamus kustom.

Tips: Edge_ngram bekerja baik ketika istilah pencarian muncul di awal kata. Untuk pencocokan substring fuzzy di mana saja dalam teks, gunakan analyzer Ngram sebagai gantinya.

• Hasil tokenisasi teks Inggris.

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

  Hasil:

  [h, he]

Contoh berikut menunjukkan hasil tokenisasi dengan konfigurasi default:

Analyzer Pattern

Paling cocok untuk pembatas kustom. Analyzer Pattern melakukan tokenisasi teks dengan memisahkan berdasarkan pola ekspresi reguler yang Anda tentukan. Analyzer ini tidak mendukung kamus kustom atau pengujian tokenisasi berbasis SQL.

FULLTEXT INDEX fidx_name(`column_name`) WITH ANALYZER pattern_tokenizer("Custom_rule") [ WITH DICT `tbl_dict_name` ];

Kelola konfigurasi analyzer

show adb_config key <analyzer_param>;

show adb_config key FULLTEXT_NGRAM_TOKEN_SIZE;

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = '<analyzer_param>';

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

set adb_config <analyzer_param>=<value>;

set adb_config FULLTEXT_NGRAM_TOKEN_SIZE=3;