Platform For AI:Finans ve sağlık sektörleri için RAG soru-cevap uygulaması oluşturun

Arka Plan

RAG modelleri, bilgi erişimini üretken yapay zeka ile birleştirerek daha kesin ve bağlama uygun yanıtlar sunar. Doğru bilgilerin kritik kararları yönlendirdiği finans ve sağlık gibi alanlarda, geleneksel üretken modeller gerekli alana özgü bilgilere sahip olmayabilir. RAG, modelleri harici bilgi tabanlarına bağlayarak bu açığı kapatır. Bu kılavuz, Platform for AI (PAI) üzerinde oluşturulmuş finans ve sağlık alanına yönelik bir RAG çözümünü adım adım anlatır.

Ön Koşullar

• LangStudio, vektör veritabanı olarak Faiss ve Milvus'u destekler. Milvus kullanmak istiyorsanız öncelikle bir Milvus örneği oluşturmanız gerekir .

  Not

  Faiss test ortamları için uygundur ve ek veritabanı kurulumu gerektirmez. Üretim ortamında daha büyük ölçekli verileri destekleyen Milvus'u kullanın.

• RAG bilgi tabanınız için kullanılacak metin koleksiyonunun OSS'e yüklenmiş olması gerekir. Finans ve sağlık kullanım durumları için aşağıdaki örnek metin koleksiyonları sağlanmıştır:

  • Finans Haberleri: Genel haber sitelerinden alınan haber raporlarını içeren PDF formatındaki veriler.

  • Hastalık Tanımlamaları: Wikipedia'dan alınan hastalık bilgilerini içeren CSV formatındaki veriler.

1. (İsteğe Bağlı) LLM ve yerleştirme modellerini dağıtın

Bir RAG uygulama akışı hem bir LLM hizmetine hem de bir yerleştirme modeli hizmetine ihtiyaç duyar. Aşağıda açıklandığı gibi Model Galerisi'nden gerekli hizmetleri dağıtabilir veya OpenAI API uyumlu model hizmetleriniz zaten varsa bu adımı atlayabilirsiniz.

QuickStart > Model Gallery sayfasına gidin ve aşağıdaki iki senaryo için modelleri dağıtın. Ayrıntılar için bkz. Model dağıtımı ve eğitimi.

• Scenario için Large Language Models seçeneğini belirleyin ve DeepSeek-R1-Distill-Qwen-7B modelini dağıtın.

• Scenario için embedding seçeneğini belirleyin ve bge-m3 general vector model modelini dağıtın.

2. Bağlantıları oluşturun

Bu bölümdeki LLM ve yerleştirme modeli bağlantıları, QuickStart > Model Gallery üzerinden dağıtılan EAS hizmetlerini kullanır. Diğer bağlantı türleri için bkz. Bağlantıları yapılandırma.

2,1 LLM hizmeti bağlantısı oluşturun

LangStudio içinde bir çalışma alanı seçin, Configure Service Connection > Model Service sekmesine gidin ve genel bir LLM model hizmeti bağlantısı oluşturmak için New Connection öğesini tıklayın.

Temel parametreler:

2,2 Yerleştirme modeli hizmeti bağlantısı oluşturun

Adım 2,1 ile aynı yordamı izleyerek genel bir yerleştirme modeli hizmeti bağlantısı oluşturun.

New Connection sayfasında bağlantı türünü General Embedding Model Service olarak ayarlayın ve hizmet sağlayıcı olarak PAI-EAS Model Service sekmesini seçin. Ardından aşağıdaki parametre ayarlarını yapılandırın:

• EAS Service: Dağıtılan EAS yerleştirme modeli hizmeti örneğini seçin.

• Model name: default değerini girin.

• base_url: EAS hizmetinin uç noktası.

• api_key: EAS hizmetinin API anahtarı.

2,3 Vektör veritabanı bağlantısı oluşturun

Configure Service Connection > Database sekmesinde, bir Milvus veritabanı bağlantısı oluşturmak için New Connection öğesini tıklayın.

Temel parametreler:

3. Bilgi tabanı dizini oluşturun

Bir bilgi tabanı dizini oluşturun. LangStudio metin koleksiyonunu ayrıştırır, parçalara böler ve vektörleştirir; sonuçları vektör veritabanında depolar. Aşağıdaki tabloda temel parametreler açıklanmaktadır. Diğer yapılandırmalar için bkz. Bilgi tabanlarını yönetme.

4. RAG uygulama akışı oluşturun ve çalıştırın

1. LangStudio sayfasına gidin, bir çalışma alanı seçin ve ardından Application Flow sekmesinde bir RAG uygulama akışı oluşturmak için New Application Flow öğesini tıklayın.

2. Çalışma zamanını başlatın. Sağ üst köşede Create Runtime öğesini tıklayın ve parametreleri yapılandırın. Not: Python düğümlerini ayrıştırmak veya daha fazla araca erişmek için çalışma zamanının çalışıyor olması gerekir.

   Temel parametre:

   VPC Configuration: Ön Koşullar bölümünde Milvus örneğini oluştururken kullanılan VPC'yi seçin veya seçilen VPC'nin Milvus örneğinin VPC'si ile iletişim kurabildiğinden emin olun.

3. Uygulama akışını geliştirin.

   

   Diğer düğümler için varsayılan ayarları koruyun veya gerektiğinde ayarlayın. Temel düğümleri aşağıdaki gibi yapılandırın:

   • Knowledge Retrieval: Kullanıcının sorusuyla ilgili bilgi tabanından metin alır.

     • Knowledge base index name: Adım 3 te oluşturduğunuz bilgi tabanı dizinini seçin.

     • Top K: En iyi K eşleşen sonucu döndürür.

   • LLM node: Alınan belgeleri bağlam olarak kullanır, bunları kullanıcının sorusuyla birlikte büyük dil modeline gönderir ve bir yanıt oluşturur.

     • Model configuration: Adım 2,1 te oluşturduğunuz bağlantıyı seçin.

     • Chat history: Sohbet geçmişinin etkinleştirilip etkinleştirilmeyeceğini ve geçmiş konuşmaların giriş değişkenleri olarak kullanılıp kullanılmayacağını belirtir.

   Her bileşenle ilgili ayrıntılar için bkz. Önceden Hazırlanmış Bileşen Kitaplığı.

4. Akışı hata ayıklayın veya çalıştırın. Sağ üst köşede akışı yürütmek için Run öğesini tıklayın. Yaygın çalışma zamanı sorunları hakkında bilgi için bkz. SSS.

5. İzlemeleri görüntüleyin. Oluşturulan yanıtın altında izleme ayrıntılarını veya topolojiyi görüntülemek için View Traces öğesini tıklayın.

5. Uygulama akışını dağıtın

Uygulama akışı geliştirme sayfasında, uygulama akışını bir EAS hizmeti olarak dağıtmak için sağ üst köşedeki Deploy öğesini tıklayın. Diğer dağıtım ayarlarını varsayılan olarak bırakın veya gerektiğinde ayarlayın. Aşağıdaki temel parametreleri yapılandırın:

• Resource deployment > Instances: Hizmet örneklerinin sayısını yapılandırın. Bu dağıtım test amaçlıdır, bu nedenle örnek sayısını 1 olarak ayarlayın. Üretim ortamında tek nokta arızası (SPOF) riskini azaltmak için birden fazla hizmet örneği kullanmanızı öneririz.

• VPC > VPC: Milvus örneğinin bulunduğu VPC'yi seçin veya seçilen VPC'nin Milvus örneğinin bulunduğu VPC ile iletişim kurabildiğinden emin olun.

Dağıtımla ilgili daha fazla ayrıntı için bkz. Uygulama akışı dağıtma.

6. Hizmeti çağırın

Dağıtımdan sonra PAI-EAS konsoluna yönlendirilirsiniz. Debug sekmesinde bir isteği yapılandırıp gönderin. İstek gövdesindeki anahtar, uygulama akışının "Start" düğümündeki "Dialogue input" parametresiyle eşleşmelidir. Bu kılavuzda varsayılan alan question kullanılmıştır.

İstek yapılandırma alanında POST yöntemini seçin ve istek gövdesini ham JSON olarak girin, örneğin:

{"question": "What is the share price of NVIDIA"}

Send Request öğesini tıklayın. Sağ taraftaki Response alanı, bilgi tabanı dizini aracılığıyla alınan hisse senedi fiyatı bilgilerini içeren bir JSON yanıtıyla birlikte 200 durum kodunu döndürür.

API kullanma gibi hizmeti çağırmanın diğer yöntemleri için bkz. Hizmeti çağırma.

İlgili Belgeler

• SSS

• Çalışma zamanlarını yönetme

• Bağlantıları yapılandırma

• Bilgi tabanı dizinlerini yönetme

• Uygulama akışları geliştirme

• Uygulama akışları dağıtma