AnalyticDB：在LiteLLM中接入AnalyticDB Supabase記錄LLM調用

步驟一：建立日誌表

登入Supabase Dashboard，在側邊欄單擊 SQL Editor ，執行以下DDL。您也可以選擇使用MCP Server或CLI完成DDL操作。

• 列名需與下表一致（LiteLLM依賴固定欄位寫入）。

• 若使用非預設表名，需在應用側配置自訂表格名。

CREATE TABLE
  public.request_logs (
    id BIGINT GENERATED BY DEFAULT AS IDENTITY,
    created_at TIMESTAMP WITH TIME ZONE NULL DEFAULT now(),
    model TEXT NULL DEFAULT ''::TEXT,
    messages JSON NULL DEFAULT '{}'::JSON,
    response JSON NULL DEFAULT '{}'::JSON,
    end_user TEXT NULL DEFAULT ''::TEXT,
    status TEXT NULL DEFAULT ''::TEXT,
    error JSON NULL DEFAULT '{}'::JSON,
    response_time REAL NULL DEFAULT '0'::REAL,
    total_cost REAL NULL,
    additional_details JSON NULL DEFAULT '{}'::JSON,
    litellm_call_id TEXT UNIQUE,
    PRIMARY KEY (id)
  ) TABLESPACE pg_default;

可選最佳化（按業務量）

• 對created_at、model、end_user建立索引，加速按時間範圍、模型、使用者查詢。

• 資料量較大時，可結合分區、歸檔策略控製表規模與查詢效能。

步驟二：擷取Project URL與API Key

若是VPC內使用，請登入雲原生資料倉儲AnalyticDB PostgreSQL版控制台，在左側導覽列單擊Supabase，然後單擊目標Supabase Project進入詳情頁，在网络信息地區擷取内网连接地址。

步驟三：配置IP白名單

AnalyticDB Supabase對API訪問通常配合IP白名單使用。若LiteLLM無法寫入或HTTPS請求逾時，應優先核對白名單。

1. 登入雲原生資料倉儲AnalyticDB PostgreSQL版控制台，在左側導覽列單擊Supabase。

2. 在目標專案所在行操作列，單擊修改白名单，將LiteLLM運行環境的IP加入白名單。

   多副本、多可用性區域或動態出口情境，需為每個實際出站地址配置白名單，或使用固定NAT或統一出口，避免遺漏。

步驟四：啟用LiteLLM回調

1. 設定環境變數。

   export SUPABASE_URL="https://您的 Project URL"
   export SUPABASE_KEY="您的 service_role 密鑰"
   export OPENAI_API_KEY="sk-..."   # 或實際使用的模型廠商 Key

2. 配置回調。

   建議同時啟用success與failure回調，以便失敗請求也落庫，支撐錯誤分析與SLA統計。

   方式一：Python SDK（服務端應用內直連模型）

   在調用litellm.completion（或acompletion等）的同一進程、第一次請求之前設定：

   import litellm
   from litellm import completion
   
   litellm.success_callback = ["supabase"]
   litellm.failure_callback = ["supabase"]
   
   response = completion(
       model="gpt-3.5-turbo",
       messages=[{"role": "user", "content": "Hi"}],
       user="業務側使用者標識",  # 寫入表欄位 end_user
   )

   方式二：LiteLLM Proxy（litellm --config config.yaml）

   回調寫在config.yaml的litellm_settings中，與官方樣本proxy_server_config.yaml中success_callback/failure_callback的位置一致。

   litellm_settings:
     success_callback: ["supabase"]
     failure_callback: ["supabase"]

   樣本（在現有model_list基礎上增加litellm_settings）

   litellm_settings:
     success_callback: ["supabase"]
     failure_callback: ["supabase"]
   
   model_list:
     - model_name: gpt-3.5-turbo
       litellm_params:
         model: gpt-3.5-turbo
         api_key: os.environ/OPENAI_API_KEY

   啟動

   litellm --config config.yaml --port 8000

步驟五：驗證資料寫入

在Supabase Dashboard側邊欄，單擊 SQL Editor ，執行以下語句：

SELECT id, created_at, model, end_user, status, total_cost, response_time
FROM public.request_logs
ORDER BY id DESC
LIMIT 20;

若能查詢到新產生的記錄，說明LiteLLM → AnalyticDB Supabase REST API → Postgres鏈路正常。

自訂表格名

預設寫入表request_logs。若使用其它表名，在Python SDK中於調用前執行：

litellm.modify_integration("supabase", {"table_name": "您的表名"})

使用Proxy時，若YAML未提供等價項，需查閱您所用LiteLLM版本是否支援Supabase表名配置，或通過自訂回調或啟動指令碼注入。無把握時建議先用預設表名request_logs。

終端使用者標識（寫入end_user）