ApsaraDB RDS:rds_ai 拡張機能で提供される AI 機能を使用する

基本設定

1. rds_ai を使用して大規模言語モデル (LLM) を呼び出す前に、API キーを構成します。

   -- 指定されたモデルの API キーを構成します。
   SELECT rds_ai.update_model('qwen-plus', 'token', 'sk-****'); 
   
   -- rds_ai.model_list で指定されたすべてのモデルの API キーを構成します。
   SELECT rds_ai.update_model(model_name,'token','sk-****') FROM rds_ai.model_list;

2. 次の文を実行して、デフォルトモデルの URL を構成します。

   --qwen-plus モデル
   SELECT rds_ai.update_model('qwen-plus', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation'); 
   
   --qwen-max モデル
   SELECT rds_ai.update_model('qwen-max', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation'); 
   
   --qwen-turbo モデル
   SELECT rds_ai.update_model('qwen-turbo', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/aigc/text-generation/generation'); 
   
   --text-embedding-v3 モデル
   SELECT rds_ai.update_model('text-embedding-v3', 'uri', 'https://dashscope-intl.aliyuncs.com/api/v1/services/embeddings/text-embedding/text-embedding'); 

3. rds_ai 拡張機能は pgsql-http 拡張機能を使用してモデルをリモートで呼び出します。 次の文を実行してタイムアウト設定を構成し、長時間実行されている呼び出しを中断します。

   説明

   次のタイムアウト設定は、現在のセッションでのみ使用できます。 新しい接続を確立するときは、再度構成する必要があります。

   -- リクエストのタイムアウト期間をミリ秒単位で構成します。
   SET http.timeout_msec TO 200000;
   
   SELECT http.http_set_curlopt('CURLOPT_TIMEOUT', '200000');
   
   -- 接続のタイムアウト期間を構成します。
   SELECT http.http_set_curlopt('CURLOPT_CONNECTTIMEOUT_MS', '200000');

LLM ベースの Q&A

デフォルトでは、rds_ai 拡張機能はQwen が提供するテキスト生成モデルを使用して、LLM ベースの Q&A を実装します。

1. (オプション) LLM ベースの Q&A の実装に使用するデフォルトモデルを構成します。 デフォルトでは、Qwen-Plus モデルが使用されます。

   説明

   拡張機能のデフォルトモデルを変更するには、shared_preload_libraries パラメーターの[実行値]に rds_ai を追加します。 インスタンスパラメーターの構成方法の詳細については、「ApsaraDB for PostgreSQL インスタンスのパラメーターを変更する」をご参照ください。

   たとえば、shared_preload_libraries パラメーターの[実行値]を 'pg_stat_statements,auto_explain,rds_ai' に設定できます。

   SET rds_ai.default_prompt_model TO "qwen-max" ;

2. rds_ai.prompt 関数を使用して、Q&A サービスのデフォルトモデルを呼び出します。

   コマンドの例:

   SELECT rds_ai.prompt('ジャガイモ、ナス、大根を使った料理のレシピを教えてください。');

   完全なコマンド:

   SELECT rds_ai.prompt(
     model_name=>'qwen-plus', -- Q&A サービスに使用する LLM を指定します。
     content=>'ジャガイモ、ナス、大根を使った料理のレシピを教えてください。',  -- 質問を指定します。
     args=>'{"top_p": 0.7}'::jsonb -- モデルの呼び出しに必要なパラメーターを指定します。
   );

テキストからベクトルへの変換

デフォルトでは、rds_ai 拡張機能は text-embedding-v3 モデルを使用して、テキストをベクトルに変換します。

1. 入力テキストをベクトルに変換します。

   • パラメーターを指定せずに rds_ai.embed 関数を呼び出して、入力テキストをベクターに変換できます。 デフォルトでは、テキストは密ベクターに変換されます。

     SELECT rds_ai.embed(
         'The quality of the clothes is excellent, very beautiful, worth the wait, I like it and will buy here again' -- 変換するテキストを指定します。
     );

   • 入力テキストをスパース ベクターに変換するためのパラメーターを指定することもできます。

     -- デフォルトで 250,002 次元のスパース ベクターに入力テキストを変換します。
     SELECT rds_ai.embed(
         content=>'The quality of the clothes is excellent, very beautiful, worth the wait, I like it and will buy here again',
         args=>'{"output_type": "sparse"}'::jsonb -- 変換のためのパラメーターを指定します。
     );

2. 指定されたテーブルにベクトルを保存します。

   1. ベクトルを保存するテーブルを作成します。この例では、test_embed という名前のテーブルを作成します。

      CREATE TABLE test_embed(a text, b vector(1024), c sparsevec(250002));

   2. 変換するテキストをテーブルに挿入します。

      INSERT INTO test_embed (a) values ('hello world');

   3. rds_ai.embed 関数を使用して、text-embedding-v3 モデルを呼び出し、テキストをベクトルに変換します。次に、ベクトルを test_embed テーブルに書き込みます。

      • 密ベクトルをテーブルに書き込みます。

        UPDATE test_embed 
        SET b = rds_ai.embed(a, '{"output_type": "dense"}'::jsonb)::vector;

      • 疎ベクトルをテーブルに書き込みます。

        UPDATE test_embed 
        SET c = rds_ai.embed(a, '{"output_type": "sparse"}'::jsonb)::sparsevec;

上位 N 件の類似ベクター取得

デフォルトでは、rds_ai 拡張機能は text-embedding-v3 モデルを使用して類似ベクターを取得します。

1. テストテーブルを作成します。

   -- test_rag という名前のテストテーブルを作成します。
   CREATE TABLE test_rag (
       id SERIAL PRIMARY KEY,
       chunk TEXT
   );
   
   -- テキストチャンクから変換されたベクターを格納するための埋め込み列を追加します。
   ALTER TABLE test_rag ADD COLUMN embedding VECTOR(1024);
   
   UPDATE test_rag SET embedding=rds_ai.embed(chunk)::vector;

2. 埋め込みのためのベクターインデックスを作成します。

   説明

   作成するベクターインデックスに vector_cosine_ops クラスを指定する必要があります。

   -- HNSW アルゴリズムに基づいてベクターインデックスを作成します。
   CREATE INDEX ON test_rag USING hnsw (embedding vector_cosine_ops);
   -- IVFFlat アルゴリズムに基づいてベクターインデックスを作成します。
   CREATE INDEX ON test_rag USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

3. rds_ai.retrieve 関数を使用して text-embedding-v3 モデルを呼び出し、テストテーブル内のベクターを取得します。

   サンプルコマンド：

   SELECT * FROM rds_ai.retrieve
   ('Why is PostgreSQL the most advanced open source database',
   'public', 'test_rag', 'chunk', 'embedding');

   完全なコマンド:

   SELECT * FROM rds_ai.retrieve
   (
     embed_model=>'text-embedding-v3', -- ベクター取得に使用するモデルを指定します。
     question=>'Why is PostgreSQL the most advanced open source database',
     source_schema=>'public', -- 取得するベクターを格納するテーブルのスキーマを指定します。
     source_table=>'test_rag', -- 取得するベクターを格納するテーブルを指定します。
     chunk_col=>'chunk', -- チャンクテキストを格納する列を指定します。
     vector_col=>'embedding', -- ベクターを格納する列を指定します。
     -- 以下のデフォルトパラメータを指定します。
     topn=>10, -- ベクター取得の上位 N 値を指定します。
     embed_args=>'{}'::jsonb, -- モデルに必要なパラメータを指定します。
     distance_type=>'cosine' -- ベクター間の距離を計算するために使用されるアルゴリズムを指定します。有効な値：L1、L2、cosine、および negative。
   );

RAG ベースの Q&A

デフォルトでは、rds_ai 拡張機能は text-embedding-v3 モデルと Qwen が提供するテキスト生成モデル を使用して、RAG ベースの Q&A サービスを実装します。

サンプルコマンド:

-- rds_ai は、ベクター関連の操作に text-embedding-v3 モデルを使用します。 rds_ai で使用されるテキスト生成モデルは、rds_ai.default_prompt_model パラメーターによって指定されます。
SELECT * FROM rds_ai.rag
('Why is PostgreSQL the most advanced open source database', 
'public', 'test_rag', 'chunk', 'embedding');

完全なコマンド:

SELECT * FROM rds_ai.rag
(
  embed_model=>'text-embedding-v3', -- RAG ベースの Q&A サービスに使用されるベクターモデルを指定します。
  prompt_model=>'qwen-plus', -- RAG ベースの Q&A に使用されるプロンプトモデルを指定します。
  question=>'Why is PostgreSQL the most advanced open source database',
  source_schema=>'public', -- 取得するベクターを格納するテーブルのスキーマを指定します。
  source_table=>'test_rag', -- 取得するベクターを格納するテーブルを指定します。
  chunk_col=>'chunk', -- チャンクテキストを格納する列を指定します。
  vector_col=>'embedding', -- ベクターを格納する列を指定します。
  -- 以下のデフォルトパラメーターを指定します。
  topn=>10,
  embed_args=>'{}'::jsonb,  -- RAG ベースの Q&A に使用されるベクターモデルに必要なパラメーターを指定します。
  prompt_args=>'{}'::jsonb, -- RAG ベースの Q&A に使用されるプロンプトモデルに必要なパラメーターを指定します。
  distance_type=>'L2' -- ベクター間の距離を計算するために使用されるアルゴリズムを指定します。 有効な値: L1、L2、cosine、および内積。
);

基本操作

• カスタムモデルを追加する

  SELECT rds_ai.add_model(
      'test-model',                   -- モデル名
      'POST',                         -- HTTP リクエストメソッド
      ARRAY[('Authorization', 'Bearer %s')]::http.http_header[], -- http_header
      'https://****.com',           -- リクエストで指定されたモデル URL
      'application/json',            -- リクエストのコンテンツタイプ
      '{"key":"%s"}',               -- リクエストボディのテンプレート
      'SELECT %L'          -- レスポンスを解決するために使用される SQL 文
  );

• カスタムモデルを使用する

  • 次のコマンドは、rds_ai.raw_invoke_model 関数を使用して、メタデータテーブルの設定に基づいて Qwen-Plus を呼び出す方法を示しています。リクエストでは、テンプレートを満たすために配列が指定されています。完全なレスポンスが返されます。

    SELECT * FROM
    rds_ai.raw_invoke_model('qwen-plus', ARRAY['who are you']);

  • 次のコマンドは、rds_ai.invoke_model 関数を使用して、メタデータテーブルの設定に基づいて Qwen-Plus を呼び出す方法を示しています。Qwen-Plus に指定された json_path フィールドに基づいて、レスポンスから特定のフィールドが解決され、返されます。

    SELECT * FROM
    rds_ai.invoke_model('qwen-plus', ARRAY['who are you']);

• カスタムモデルを削除する

  SELECT rds_ai.del_model('test-model');

RAG ベースの PAI モデルを追加する

RAG ベースの PAI モデルを追加するには、RDS for PostgreSQL インスタンスと Platform for AI（PAI）の Elastic Algorithm Service（EAS）モジュールを同じ VPC にデプロイし、rds_ai の設定で PAI の VPC エンドポイントを設定することをお勧めします。また、RDS for PostgreSQL インスタンスの VPC エンドポイントを使用して、PAI の EAS モジュールに接続する必要があります。このようにして、異なるサービスは VPC 内でのみ通信し、データセキュリティを確保します。

1. PAI の EAS モジュールに RAG ベースのサービスをデプロイします。詳細については、「PAI の EAS モジュールと ApsaraDB RDS for PostgreSQL を使用して RAG ベースの LLM チャットボットをデプロイする」をご参照ください。

2. RAG ベースのサービスの呼び出し情報を取得します。

   1. RAG ベースのサービスの名前をクリックして、[サービスの詳細] ページに移動します。

   2. [基本情報] セクションで、[エンドポイント情報を表示] をクリックします。

   3. [呼び出し方法] ダイアログボックスで、サービスのエンドポイントとトークンを取得します。

3. RAG ベースの PAI モデルを追加します。

   SELECT rds_ai.add_model(
       'pai-rag',      -- モデル名
       'POST',         -- HTTP リクエストメソッド
       ARRAY[('Authorization','%s')]::http.http_header[],  -- リクエストヘッダー
       'http://rds-pai-rag-demo.****.cn-hangzhou.pai-eas.aliyuncs.com/service/query',  -- リクエストで指定されたモデル URL
       'application/json',  -- リクエストのコンテンツタイプ
       '{
           "question": "%s"
       }',  -- リクエストボディのテンプレート
       'SELECT (%L::jsonb->''answer'')::text'  -- レスポンスを解決するために使用される SQL 文
   );

   説明

   • 上記の例の URL を、/service/query が追加された実際のモデル URL に置き換えます。

   • RAG ベースの PAI モデルの呼び出し方法の詳細については、「API 操作を呼び出してモデル推論を実行する」をご参照ください。

4. RAG ベースの PAI モデルのトークンを設定します。

   SELECT rds_ai.update_model('pai-rag', 'token','MTFkYjMwZjgzYzA1YmE2N2YyNWMxM2NkNDVjMjEzNjYxMDAzMzE5****');

5. (オプション) RAG ベースの PAI モデルをテストします。

   サンプルコマンド

   SELECT rds_ai.invoke_model('pai-rag', ARRAY['どのパラメーターが WAL ログの蓄積につながる可能性がありますか']);

RAG ベースの Function Compute モデルを追加する

1. Function Compute に AgentCraft アプリケーションをデプロイします。

2. エージェントを作成し、エージェントの[クライアントアクセス情報] を設定します。

3. RAG ベースの Function Compute モデルを追加します。

   SELECT rds_ai.add_model(
       'fc-rag',      -- モデル名
       'POST',         -- HTTP リクエストメソッド
       ARRAY[('Authorization','Bearer %s')]::http.http_header[],  -- リクエストヘッダー
       'https://agentcrckend-de-obnhjsknam.cn-hangzhou.fcapp.run/v1/chat/completions',  -- リクエストで指定されたモデル URL
       'application/json',  -- リクエストのコンテンツタイプ
       '{ 
           "messages":[ { "role": "user", "content": "%s" } ], 
           "stream": false, 
           "max_tokens": 1024 
        }', 
       'SELECT (%L::jsonb->''choices''->0->''message''->>''content'')::text'  -- レスポンスを解決するために使用される SQL 文
   );

   説明

   上記の例の URL を、/completions が追加された実際のモデル URL に置き換えます。

4. RAG ベースの Function Compute モデルのトークンを設定します。

   SELECT rds_ai.update_model('fc-rag', 'token','8UiGAziWgYGPxM3qR5sAChBfDJRt****');

5. (オプション) RAG ベースの Function Compute モデルをテストします。

   サンプルコマンド：

   SELECT rds_ai.invoke_model('fc-rag', ARRAY['どのパラメーターが WAL ログの蓄積につながる可能性がありますか']);