AgentLoop:Integre aplicações LangChain e LangGraph

Visão geral dos frameworks

LangChain é um framework para desenvolver aplicações impulsionadas por modelos grandes de linguagem (LLMs). Ele oferece recursos como invocação de modelos, gerenciamento de prompts, integração de ferramentas, geração aumentada por recuperação (RAG) e construção de agentes, ajudando desenvolvedores a criar rapidamente aplicações complexas com LLMs.

LangGraph é um framework de orquestração de agentes dentro do ecossistema LangChain. Ele utiliza uma estrutura de grafo para construir aplicações LLM que suportam raciocínio em múltiplas etapas e colaboração entre vários agentes, permitindo funcionalidades como fluxo de controle cíclico, gerenciamento de estado e chamadas de ferramentas.

Após a integração, os seguintes recursos são monitorados automaticamente:

• Rastros de execução para cadeias e agentes do LangChain

• Chamadas de LLM (nome do modelo, uso de tokens e conteúdo de entrada/saída)

• Chamadas de ferramentas (nome da ferramenta, parâmetros e resultados retornados)

• Rastros relacionados a recuperadores e geração aumentada por recuperação (RAG)

• Execução e transições de estado dos nós do LangGraph

Métodos de integração

pip3 install aliyun-bootstrap

# Method 1: Add environment variables for all processes in the current shell.
export ARMS_APP_NAME=xxx   # The application name.
export ARMS_REGION_ID=xxx   # The region ID of your Alibaba Cloud account.
export ARMS_LICENSE_KEY=xxx   # Your Alibaba Cloud license key.

# Method 2: Set environment variables for a single process
ARMS_APP_NAME=xxx ARMS_REGION_ID=xxx ARMS_LICENSE_KEY=xxx aliyun-instrument xxx.py

# Add environment variables
ENV ARMS_APP_NAME={AppName}
ENV ARMS_REGION_ID={regionId}
ENV ARMS_LICENSE_KEY={licenseKey}
## Original environment

aliyun-instrument python app.py

Código de exemplo

import os
from langchain_openai import ChatOpenAI
from langgraph.prebuilt import create_react_agent
from langchain_core.tools import tool
@tool
def get_weather(city: str) -> str:
    """Get weather information for a specified city"""
    weather_data = {"Beijing": "Sunny 25°C", "Shanghai": "Cloudy 22°C", "Hangzhou": "Light rain 20°C"}
    return weather_data.get(city, f"{city}: No weather data available")
@tool
def search_product(keyword: str) -> str:
    """Search product information by keyword"""
    products = {
        "ECS": "Elastic Compute Service, providing secure and reliable cloud servers",
        "RDS": "Relational Database Service, supports MySQL/PostgreSQL/SQL Server",
        "OSS": "Object Storage Service, massive, secure, and highly reliable cloud storage",
    }
    return products.get(keyword, f"No product found for '{keyword}'")
llm = ChatOpenAI(
    model="qwen-plus",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    api_key=os.environ.get("DASHSCOPE_API_KEY"),
    streaming=True,
    stream_usage=True,  # When enabled, streamed responses include token usage
)
agent = create_react_agent(llm, tools=[get_weather, search_product])
result = agent.invoke({"messages": [{"role": "user", "content": "What's the weather like in Beijing today? Also look up what ECS is as a product"}]})
for msg in result["messages"]:
    if msg.content:
        print(msg.content)
                    

Visualize detalhes de monitoramento

1. No console do ARMS, acesse a página LLM Application Insights > App List e clique em no nome da aplicação de IA desejada para visualizar os dados detalhados de monitoramento.

Referências

Coletar uso de tokens em cenários de streaming

Para coletar informações de uso de tokens nas chamadas de streaming do ChatOpenAI, ative o parâmetro stream_usage:

llm = ChatOpenAI(
    model="qwen-plus",
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
    api_key=os.environ.get("DASHSCOPE_API_KEY"),
    streaming=True,
    stream_usage=True,  # When enabled, streamed responses include token usage.
)

Passar session_id e user_id

Ao chamar agent.invoke, passe session_id e user_id nos metadados do objeto config para habilitar análises baseadas em sessão e usuário:

result = agent.invoke(
    {"messages": [{"role": "user", "content": "Hello"}]},
    config={
        "metadata": {
            "session_id": "sess_abc123",
            "user_id": "user_456",
        },
    },
)

• session_id: Identificador de sessão usado para correlacionar chamadas de múltiplas rodadas dentro da mesma sessão.

• user_id: Identificador de usuário utilizado para agregação e filtragem por usuário individual.

Solucionar problemas comuns

Common issues for the Python agent