ApsaraDB RDS:Vector generation (rds_embedding)

Ön koşullar

Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:

• PostgreSQL 14 veya sonraki bir sürümü çalışan bir RDS örneği

• rds_embedding uzantısının zaten oluşturulduğu bir örnek. Uzantının tüm sürümlerde oluşturulması kısıtlanmıştır ve alt motor sürümünün yükseltilmesi bu kısıtlamayı kaldırmaz

• Bir Alibaba Cloud Model Studio API anahtarı. Anahtar almak için bkz. API anahtarınızı alın

• RDS örneğinizin çalıştığı sanal özel cloud (VPC) için yapılandırılmış bir NAT Gateway. RDS PostgreSQL örnekleri varsayılan olarak internete erişemez, bu nedenle harici gömme modellerini çağırmak için bir NAT Gateway gereklidir

  NAT ağ geçidi yapılandırma adımları

  1. Adım: İnternet NAT ağ geçidi oluşturun

  1. NAT Gateway konsolunda oturum açın.

  2. Internet NAT Gateway sayfasında Create Internet NAT Gateway seçeneğini tıklayın.

  3. İnternet NAT ağ geçidini ilk kez oluşturuyorsanız Create Service-Linked Role bölümünde Create Service-Linked Role seçeneğini tıklayın.

  4. Satın alma sayfasında aşağıdaki parametreleri yapılandırın ve Buy Now seçeneğini tıklayın.

     Not

     Parametrelerin tam listesi için bkz. İnternet üzerinden erişim sağlamak için internet NAT ağ geçidinin SNAT özelliğini kullanma.

     Parameter	Description
     Region	RDS örneğinizle aynı bölgeyi seçin.
     VPC	RDS örneğinizle aynı VPC'yi seçin. VPC'yi ApsaraDB RDS konsolunun Database Connection sayfasında bulabilirsiniz.
     Associate vSwitch	RDS örneğinizle aynı vSwitch'i seçin. vSwitch'i ApsaraDB RDS konsolunun Database Connection sayfasında bulabilirsiniz.
     Access Mode	Configure Later seçeneğini belirleyin.

  5. Confirm sayfasında ayrıntıları gözden geçirin, Hizmet Şartları onay kutusunu işaretleyin ve Confirm seçeneğini tıklayın. Ağ geçidi Internet NAT Gateway sayfasında görünür.

     

  2. Adım: Ağ geçidine esnek IP adresi (EIP) ilişkilendirin

  1. Internet NAT Gateway sayfasında Temel Bilgiler sekmesini açmak için ağ geçidi kimliğini tıklayın.

  2. Associated Elastic IP Address sekmesinde Bind Elastic IP Address seçeneğini tıklayın.

  3. Associate EIP iletişim kutusunda Purchase and Associate EIP seçeneğini belirleyin.

     

  4. OK seçeneğini tıklayın. EIP Associated Elastic IP Address sekmesinde görünür.

     

  3. Adım: SNAT girişi oluşturun

  1. Internet NAT Gateway sayfasında Temel Bilgiler sekmesini açmak için ağ geçidi kimliğini tıklayın.

  2. SNAT Management sekmesinde Create SNAT Entry seçeneğini tıklayın.

  3. Create SNAT Entry sayfasında aşağıdaki parametreleri yapılandırın ve OK seçeneğini tıklayın. SNAT girişi SNAT Entry List bölümünde görünür.

     Parameter	Description
     SNAT Entry	Yalnızca seçilen vSwitch'e bağlı örneklerin internete erişebilmesi için Specify vSwitch seçeneğini belirleyin.
     Select vSwitch	RDS örneğinizin vSwitch'ini seçin.
     Select EIP	İnternete erişmek için bir veya daha fazla EIP seçin. Bu örnekte açılan listeden tek bir EIP seçilmiştir.

     

Uzantıyı etkinleştirin

Aşağıdaki komutları yetkili bir hesap kullanarak çalıştırın. Önce vector uzantısını etkinleştirin; bu uzantı rds_embedding uzantısının bağımlı olduğu vektör veri türünü ve işlemlerini sağlar. rds_embedding uzantısının tüm sürümlerde oluşturulması kısıtlanmıştır. Aşağıdaki ifade yalnızca uzantının zaten oluşturulduğu örnekler için geçerlidir.

CREATE EXTENSION vector;
CREATE EXTENSION rds_embedding;

Uzantıları devre dışı bırakmak için:

DROP EXTENSION rds_embedding;
DROP EXTENSION vector;

Gömmeleri oluşturun ve sorgulayın

Aşağıdaki örnekte 1024 boyutlu vektörler oluşturmak ve kosinüs benzerliği sorgusu çalıştırmak için Alibaba Cloud Model Studio'daki text-embedding-v3 modeli kullanılmaktadır. Model hakkında daha fazla bilgi için bkz. Model tanıtımı.

1. Adım: Tablo oluşturun

İçerik için bir text sütunu ve gömmeler için bir vector(1024) sütunu içeren bir tablo oluşturun.

CREATE TABLE test(info text, vec vector(1024) NOT NULL);

2. Adım: Gömme modelini kaydedin

Uç nokta URL'sini, yetkilendirme üst bilgisi şablonunu, istek gövdesi şablonunu ve yanıttan gömmeyi ayıklamak için JSON yolunu sağlayarak text-embedding-v3 modelini kaydedin.

SELECT rds_embedding.add_model(
    'text-embedding-v3',
    'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding',
    'Authorization: Bearer sk-****',
    '{"input":{"texts":["%s"]},"model":"text-embedding-v3","parameters":{"text_type":"query"}}',
    '->''output''->''embeddings''->0->>''embedding'''
);

sk-**** ifadesini API anahtarınızla değiştirin.

3. Adım: Metin ve gömmeleri ekleyin

rds_embedding.get_embedding_by_model() işlevini satır içi çağırarak her satırı ekleyin. İşlev model API'sini çağırır ve verilen metin için gömme vektörünü döndürür.

INSERT INTO test SELECT 'Windy high sky, apes cry sadly',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Windy high sky, apes cry sadly')::real[];

INSERT INTO test SELECT 'Clear islet, white sand, birds fly back',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Clear islet, white sand, birds fly back')::real[];

INSERT INTO test SELECT 'Boundless falling leaves rustle down',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Boundless falling leaves rustle down')::real[];

INSERT INTO test SELECT 'Endless Yangtze River rolls on',
    rds_embedding.get_embedding_by_model('text-embedding-v3', 'sk-****', 'Endless Yangtze River rolls on')::real[];

sk-**** ifadesini API anahtarınızla değiştirin.

4. Adım: Vektör benzerliğine göre sorgulama yapın

Satırları bir sorgu dizesine anlamsal benzerliğe göre sıralamak için <=> işlecini (kosinüs mesafesi) kullanın. 0 mesafe özdeş vektörler anlamına gelir; daha düşük değerler daha yüksek benzerliği gösterir.

SELECT
    info,
    vec <=> rds_embedding.get_embedding_by_model(
        'text-embedding-v3',
        'sk-****',
        'Endless Yangtze River rolls on'
    )::real[]::vector AS distance
FROM
    test
ORDER BY
    vec <=> rds_embedding.get_embedding_by_model(
        'text-embedding-v3',
        'sk-****',
        'Endless Yangtze River rolls on'
    )::real[]::vector;

sk-**** ifadesini API anahtarınızla değiştirin.

Beklenen çıktı:

info                                     |      distance
-----------------------------------------+--------------------
 Endless Yangtze River rolls on          |                  0
 Boundless falling leaves rustle down    | 0.42740682200152647
 Clear islet, white sand, birds fly back | 0.5161883811726116
 Windy high sky, apes cry sadly          | 0.5247695147991147
(4 rows)

Sorgu "Endless Yangtze River rolls on" ifadesini ilk sırada (mesafe 0, tam eşleşme) döndürür; bunu en yakın anlamsal komşu olarak "Boundless falling leaves rustle down" izler.

Referanslar

curl --location 'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding' \
--header 'Authorization: Bearer <API-KEY>' \
--header 'Content-Type: application/json' \
--data '{
    "model": "text-embedding-v3",
    "input": {
        "texts": [
            "Windy high sky, apes cry sadly",
            "Clear islet, white sand, birds fly back",
            "Boundless falling leaves rustle down",
            "Endless Yangtze River rolls on"
        ]
    },
    "parameters": {
        "text_type": "query"
    }
}'

\dx+ rds_embedding

             Objects in extension "rds_embedding"
                      Object description
---------------------------------------------------------------
 function rds_embedding.add_model(text,text,text,text,text)
 function rds_embedding.del_model(text)
 function rds_embedding.get_embedding_by_model(text,text,text)
 function rds_embedding.get_response_by_model(text,text,text)
 function rds_embedding.show_models()
 function rds_embedding.update_model(text,text,text,text,text)
 schema rds_embedding
 table rds_embedding.models
(8 rows)

rds_embedding.add_model(mname text, murl text, mauth_header_template text, mbody_template text, membedding_path text)

rds_embedding.get_embedding_by_model(mname text, api-key text, texts text)

rds_embedding.del_model(mname text)