Platform For AI:Bilgi tabanlarını yönetin

Çalışma mekanizması

Bir bilgi tabanı, OSS dosyalarını üç adımda LLM tarafından getirilebilir içeriğe dönüştürür:

1. Veri okuma ve parçalama: OSS'den kaynak dosyaları okur ve işlenebilir birimlere böler.

   • Yapılandırılmamış belgeler ayrıştırılır ve daha küçük, anlamsal bütünlüğe sahip metin bloklarına (parçalara) bölünür.

   • Yapılandırılmış veriler satır bazında parçalanır.

   • Görüntüler, parçalanmadan bütün olarak işlenir.

2. Vektörleştirme: Her bir parçayı veya görüntüyü anlamsal anlamını temsil eden sayısal bir vektöre dönüştürmek için bir embedding modeli çağırır.

3. Depolama ve dizinleme: Vektör verilerini bir vektör veritabanında depolar ve getirme işlemi için bir dizin oluşturur.

Başlarken

Belge türünde bir bilgi tabanı oluşturun ve bunu bir uygulama akışında kullanın:

1. Bilgi tabanı oluşturun. LangStudio adresine gidin ve bir çalışma alanı seçin. Knowledge Base sekmesinde, Create Knowledge Base öğesini tıklayın. Aşağıdaki parametreleri yapılandırın ve OK öğesini tıklayın.

   Parametre		Açıklama
   Basic Configuration	Name	Bilgi tabanı için özel bir ad girin, örneğin test_kg.
   	Data Source OSS Path	Kaynak dosyaların depolandığı konum. Örneğin: oss://examplebucket.oss-cn-hangzhou-internal.aliyuncs.com/test/original/.
   	Output OSS Path	Ara ayrıştırma sonuçlarını ve dizin verilerini depolar. Nihai çıktı, seçilen vektör veritabanı türüne bağlıdır. Örneğin: oss://examplebucket.oss-cn-hangzhou-internal.aliyuncs.com/test/output/. Önemli Çalışma zamanı için Instance RAM Role PAI varsayılan rolü ise, bu parametreyi geçerli çalışma alanı varsayılan depolama yolunun OSS paketindeki bir dizine ayarlayın.
   	Type	Document öğesini seçin.
   Embedding Model and Database	Embedding Type	Alibaba Cloud Model Studio Service öğesini seçin (önce bir bağlantı oluşturun, bkz. Bağlantı Yapılandırması), ardından bağlantıyı ve modeli seçin.
   	Vector Database Type	Hızlı test için FAISS öğesini seçin.

2. Dosya yükleyin.

   1. Knowledge Base sekmesinde, bilgi tabanını tıklayın. Overview sayfasında, Documents sekmesine geçin. Bu sekme, yapılandırılan OSS veri kaynağındaki belgeleri görüntüler.

   2. Upload düğmesini kullanarak dosyalar ekleyin veya güncelleyin ya da dosyaları doğrudan OSS veri kaynağına yükleyin. Örneğin, sayfa üzerinden rag_test_doc.txt dosyasını yükleyin. Desteklenen dosya biçimleri için bkz. Bilgi Tabanı Türleri.

      

3. Dizini güncelleyin. Dosyaları yükledikten sonra, sağ üst köşede bulunan Update Index öğesini tıklayın. İletişim kutusunda hesaplama kaynaklarını ve ağı yapılandırın. Görev başarılı olduğunda, dosya durumu Indexed olarak değişir. Parçalarını önizlemek için bir dosyayı tıklayın. Görüntü bilgi tabanları için sistem görüntü listelerini döndürür.

   Not

   Milvus'ta depolanan belge parçalarının durumunu tek tek Enabled veya Disabled olarak ayarlayın. Devre dışı bırakılan parçalar aramalar sırasında getirilmez.

   

4. Getirme testi çalıştırın. Dizini güncelledikten sonra, Recall Test sekmesine geçin. Performansı test etmek için bir sorgu girin ve getirme parametrelerini ayarlayın.

   

5. Uygulama akışında bilgi tabanını kullanın. Test ettikten sonra, bir uygulama akışından bilgi tabanındaki bilgileri getirin. Bilgi tabanı düğümünde, sorgu yeniden yazma ve sonuç yeniden sıralama özelliklerini etkinleştirin ve yürütme izinde yeniden yazılan sorguyu görüntüleyin.

   

   Sonuç bir List[Dict] şeklindedir. Her Dict içinde, getirilen parçayı ve sorguyla olan benzerlik puanını temsil eden content ve score anahtarları bulunur.

   [
     {
       "score": 0.8057173490524292,
       "content": "Due to the uncertainty caused by the pandemic, XX Bank proactively increased provisions for impairment losses on loans, advances, and non-credit assets based on economic trends and forecasts for China or the Chinese mainland. The bank also increased the write-off and disposal of non-performing assets to improve the provision coverage ratio. In 2020, the net profit reached 28.928 billion CNY, a year-on-year increase of 2.6%, and profitability gradually improved.\n(CNY in millions) 2020 2019 Change (%)\nOperating Results and Profitability\nOperating Income 153,542 137,958 11.3\nOperating Profit Before Impairment Losses 107,327 95,816 12.0\nNet Profit 28,928 28,195 2.6\nCost-to-Income Ratio(1)(%) 29.11 29.61 down 0.50 percentage points\nAverage Return on Total Assets (%) 0.69 0.77 down 0.08 percentage points\nWeighted Average Return on Equity (%) 9.58 11.30 down 1.72 percentage points\nNet Interest Margin(2)(%) 2.53 2.62 down 0.09 percentage points\nNote: (1) Cost-to-Income Ratio = Business and management fees / Operating income.",
       "id": "49f04c4cb1d48cbad130647bd0d75f***1cf07c4aeb7a5d9a1f3bda950a6b86e",
       "metadata": {
         "page_label": "40",
         "file_name": "2021-02-04_XX_Insurance_Group_Co_Ltd_XX_China_XX_2020_Annual_Report.pdf",
         "file_path": "oss://my-bucket-name/datasets/chatglm-fintech/2021-02-04__XX_Insurance_Group_Co_Ltd__601318__China_XX__2020_Annual_Report.pdf",
         "file_type": "application/pdf",
         "file_size": 7982999,
         "creation_date": "2024-10-10",
         "last_modified_date": "2024-10-10"
       }
     },
     {
       "score": 0.7708036303520203,
       "content": "7.2 billion CNY, a year-on-year increase of 5.2%.\n2020\n(CNY in millions) Life and Health Insurance Business, Property and Casualty Insurance Business, Banking Business, Trust Business, Securities Business, Other Asset Management Business, Technology Business, Other Business and Consolidation Elimination, Group Consolidated\nNet profit attributable to shareholders of the parent company 95,018 16,083 16,766 2,476 2,959 5,737 7,936 (3,876) 143,099\nMinority interest 1,054 76 12,162 3 143 974 1,567 281 16,260\nNet profit (A) 96,072 16,159 28,928 2,479 3,102 6,711 9,503 (3,595) 159,359\nItems excluded:\n Short-term investment fluctuation(1)(B) 10,308 – – – – – – – 10,308\n Impact of discount rate change (C) (7,902) – – – – – – – (7,902)\n One-time significant items and others excluded by management as not part of daily operating income and expenditure (D) – – – – – – 1,282 – 1,282\nOperating profit (E=A-B-C-D) 93,666 16,159 28,928 2,479 3,102 6,711 8,221 (3,595) 155,670\nOperating profit attributable to shareholders of the parent company 92,672 16,",
       "id": "8066c16048bd722d030a85ee8b1***36d5f31624b28f1c0c15943855c5ae5c9f",
       "metadata": {
         "page_label": "19",
         "file_name": "2021-02-04_XX_Insurance_Group_Co_Ltd_XXX_China_XX_2020_Annual_Report.pdf",
         "file_path": "oss://my-bucket-name/datasets/chatglm-fintech/2021-02-04__XX_Insurance_Group_Co_Ltd__601318__China_XX__2020_Annual_Report.pdf",
         "file_type": "application/pdf",
         "file_size": 7982999,
         "creation_date": "2024-10-10",
         "last_modified_date": "2024-10-10"
       }
     }
   ]

Özellikler

Getirme parametrelerini yapılandırın

• Top K: Getirilecek maksimum ilgili parça sayısı. Aralık: 1 ila 100.

• Puan eşiği: Benzerlik puanı eşiği (0 ila 1). Yalnızca bu değerin üzerinde puan alan parçalar döndürülür.

• Retrieval Pattern: Varsayılan Dense (vektör)'dür. Hibrit getirme (vektör + anahtar kelime) için Milvus 2.4.x+ veya Elasticsearch gerekir. Bir getirme modu seçin.

• Meta veri filtre koşulu: Meta verileri kullanarak arama kapsamını daraltır. Meta veri kullanma.

• Sorgu yeniden yazma: Belirsiz veya bağlama bağlı sorguları netleştirmek için bir LLM kullanarak getirme doğruluğunu artırır. Sorgu yeniden yazma.

• Sonuç Yeniden Sıralama: En ilgili sonuçları en üste yerleştirmek için sonuçları yeniden sıralayan bir yeniden sıralama modeli kullanır. Sonuç Yeniden Sıralama.

  Not

  Bir yeniden sıralama modeli gerektirir. Desteklenen bağlantı türleri: Model Studio, AI Search Open Platform Model Service ve General Reranker Model Service.

Getirme performansını optimize edin

SSS