Platform For AI:RAG and web search chatbot with LangStudio and DeepSeek

Arka Plan

Bu uygulama akışı, kesin yanıtlar sunmak için RAG ve canlı web aramasını birleştirir. Model, alana özgü bilgileri alır ve bunları gerçek zamanlı web verileriyle destekler; bu yaklaşım özellikle finans ve sağlık gibi yüksek hassasiyet gerektiren alanlarda etkilidir.

Ön Koşullar

• SerpApi web sitesine kaydolun ve api_key'inizi edinin.

• Milvus'u kullanmak için bir Milvus örneği oluşturun.

  Not

  Faiss test amaçlıdır ve ayrı bir veritabanı gerektirmez. Üretim ortamında büyük ölçekli veriler için Milvus kullanın.

• RAG bilgi tabanı külliyetini OSS'e yükleyin.

1. (İsteğe Bağlı) LLM ve yerleştirme modellerini dağıtın

Model Galerisi'nden gerekli model hizmetlerini dağıtın. Uygun model hizmetleriniz zaten varsa bu adımı atlayın.

Hızlı Başlangıç > Model Galerisi sayfasına gidin ve aşağıdaki iki senaryo için modelleri dağıtın. Model Dağıtımı ve Eğitimi.

• Senaryo için Large Language Models seçeneğini belirleyin. Bu örnekte DeepSeek-R1 kullanılmaktadır. DeepSeek-V3 ve DeepSeek-R1 modellerinin tek tıklamayla dağıtımı.

• Senaryo için Yerleştirme seçeneğini belirleyin. Bu örnekte bge-m3 genel amaçlı vektör modeli kullanılmaktadır.

2. Bağlantılar oluşturun

Bu kılavuzdaki LLM ve yerleştirme modeli hizmeti bağlantıları, QuickStart > Model Galerisi üzerinden dağıtılan EAS hizmetlerine dayanmaktadır. Diğer bağlantı türleri ve yapılandırmalar Bağlantı Yapılandırması bölümünde ele alınmıştır.

2,1 Bir LLM bağlantısı oluşturun

1. LangStudio sayfasına gidin ve bir bölge ile çalışma alanı seçin.

2. Connection > Model Service sekmesinde New Connection seçeneğine tıklayın ve aşağıdaki parametreleri belirtin:

   • Connection Type: General LLM Service seçeneğini belirleyin.

   • Service Provider: PAI-EAS Model Service seçeneğini belirleyin.

   • EAS Service: 1. Adım bölümünde dağıttığınız LLM hizmetini seçin.

     Hizmeti seçtikten sonra LangStudio, base_url ve api_key alanlarını dağıtılan LLM'nin VPC uç noktası ve belirteci ile otomatik olarak doldurur.

   • Model Name: OpenAI API isteğindeki model parametre değeri. Bunu Model Galerisi sayfasındaki model kartına tıklayarak model ayrıntıları sayfasında bulabilirsiniz.

   • Araç Çağrısı, Structured output, Deep Reasoning, Vision: Bu seçenekleri modelinizin yeteneklerine göre etkinleştirin.

2,2 Bir yerleştirme modeli bağlantısı oluşturun

Bölüm 2,1 ile aynı işlemi kullanarak bir yerleştirme modeli bağlantısı oluşturun.

New Connection sayfasında Connection Type değerini General Embedding Model Service olarak ve Service Provider değerini PAI-EAS Model Service olarak ayarlayın, ardından aşağıdaki parametreleri yapılandırın:

• EAS Service: Dağıtılan EAS hizmet örneğini seçin.

• Model Name: Model adını girin, örneğin, default.

• base_url: EAS hizmetinin uç noktasını girin.

• api_key: EAS hizmetinin API anahtarını girin.

2,3 Bir SerpApi bağlantısı oluşturun

Connection > Custom sekmesinde, bir SerpApi bağlantısı oluşturmak için New Connection seçeneğine tıklayın. Ön Koşullar bölümünde edindiğiniz api_key bilgisini yapılandırın.

Yeni Bağlantı sayfasında Ad değerini serp_api_conn olarak ayarlayın. Anahtar-Değer bölümünde bir satır ekleyin: Özel Anahtar değerini api_key olarak ayarlayın, Özel Değer alanına SerpApi API anahtarını girin ve Gizli onay kutusunu işaretleyin.

3. Bilgi tabanı dizini oluşturun

Külliyetinizi ayrıştırmak, parçalara bölmek ve vektör veritabanına vektörize etmek için bir bilgi tabanı dizini oluşturun. Temel parametreler aşağıda listelenmiştir. Bilgi Tabanı Yönetimi.

4. Uygulama akışını oluşturun ve çalıştırın

1. LangStudio sayfasına gidin, bir çalışma alanı seçin, Application Flows sekmesine şuraya gidin ve Web Aramalı ve RAG'lı Sohbet Asistanı akışı oluşturmak için New Application Flow seçeneğine tıklayın.

2. Sağ üst köşede Select Runtime seçeneğine tıklayın ve bir çalışma zamanı seçin. Python düğümlerini ayrıştırmak veya daha fazla aracı görüntülemek için çalışan bir çalışma zamanı gereklidir.

   Kullanılabilir çalışma zamanı yoksa LangStudio sayfasındaki Runtime sekmesine şuraya gidin ve bir tane oluşturmak için New Runtime seçeneğine tıklayın. Temel parametre:

   VPC Yapılandırması: 3. Adım bölümünde Milvus seçtiyseniz Milvus örneğiyle aynı VPC'yi veya birbirine bağlı olan bir VPC'yi kullanın. FAISS için VPC yapılandırması gerekmez.

3. Uygulama akışını geliştirin.

   

   Kalan ayarları varsayılan değerlerinde bırakın veya ihtiyaca göre ayarlayın. Temel düğüm yapılandırmaları:

   • Bilgi Tabanı Alımı: Bilgi tabanından ilgili metni alır.

     • Bilgi Tabanı Dizin Adı: 3. Adım bölümünde oluşturduğunuz bilgi tabanı dizinini seçin.

     • Top K: En iyi K eşleşen sonucu döndürür.

   • Serp Araması: SerpApi aracılığıyla web'de arama yapar ve sonuçları döndürür.

     • SerpApi Bağlantısı: Bölüm 2,3 bölümünde oluşturduğunuz SerpApi bağlantısını seçin.

     • Arama Motoru: Bing, Google, Baidu, Yahoo ve özel girişleri destekler. Desteklenen motorlar ve parametreler SerpApi web sitesinde belgelenmiştir.

   • Büyük Model Düğümü: Alınan belgeleri ve arama sonuçlarını bağlam olarak kullanıcının sorgusuyla birlikte yanıt üretimi için LLM'ye gönderir.

     • Model Ayarları: Bölüm 2,1 bölümünde oluşturduğunuz bağlantıyı seçin.

     • Konuşma Geçmişi: Konuşma geçmişini giriş değişkeni olarak etkinleştirir.

   Ön Ayarlı Bileşen Referansı.

4. Sağ üst köşede uygulama akışını çalıştırmak için Run seçeneğine tıklayın. Yaygın sorunları SSS bölümünde giderin.

5. Oluşturulan yanıtın altında izleme ayrıntılarını veya topoloji görünümünü görüntülemek için View Traces seçeneğine tıklayın.

5. Uygulama akışını dağıtın

Uygulama akışı geliştirme sayfasında, akışı bir EAS hizmeti olarak dağıtmak için sağ üst köşedeki Deploy seçeneğine tıklayın. Temel parametreler:

• Resource Information > Instances: Hizmet örneği sayısını yapılandırın. Test için 1 olarak ayarlayın. Üretim ortamında tek noktada arızayı önlemek için birden fazla örnek kullanın.

• VPC > VPC: SerpApi genel internet erişimi gerektirdiğinden, bu özelliğe sahip bir VPC yapılandırın — EAS hizmetlerinde bu özellik varsayılan olarak yoktur. EAS Hizmetlerinin Genel veya Dahili Kaynaklara Erişimini Etkinleştirme. 3. Adım bölümünde Milvus seçtiyseniz Milvus örneğiyle aynı VPC'yi kullanın veya VPC'lerin birbirine bağlı olduğundan emin olun.

Uygulama Akışlarını Dağıtma.

6. Hizmeti çağırın

Dağıtımdan sonra PAI-EAS konsoluna yönlendirilirsiniz. Debug sekmesinde bir istek gönderin. İstek gövdesi anahtarı, uygulama akışının Başlat düğümündeki Konuşma Girişi alanıyla eşleşmelidir. Varsayılan alan adı question şeklindedir.

API çağrıları dahil diğer çağırma yöntemleri Uygulama Akışlarını Dağıtma - Hizmeti Çağırma bölümünde ele alınmıştır.

İlgili belgeler

• SSS

• Çalışma zamanı yönetimi

• Bağlantı yapılandırması

• Bilgi tabanı dizin yönetimi

• Uygulama akışı geliştirme

• Uygulama akışlarını dağıtma