ChatLLM-WebUI release notes - Platform For AI: Central de Documentação do Alibaba Cloud

O ChatLLM-WebUI é uma imagem de serviço de inferência de LLM do EAS. Este documento lista os endereços das imagens, as versões das bibliotecas integradas e as atualizações de cada lançamento.

Principais lançamentos

Date	Image version	Built-in library version	Updates
21 de junho de 2024	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4 Tag: chat-llm-webui:3.0 eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4-flash-attn eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4-vllm Tag: chat-llm-webui:3.0-vllm eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4-vllm-flash-attn eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4-blade Tag: chat-llm-webui:3.0-blade	Torch: 2.3.0 Torchvision: 0.18.0 Transformers: 4.41.2 vLLM: 0.5.0.post1 vllm-flash-attn: 2.5.9 Blade: 0.7.0	Suporte adicionado para implantação de modelos Rerank. Implantação de modelos Embedding, Rerank e LLM agora é suportada, individualmente ou em combinação. O backend Transformers agora oferece suporte a Deepseek-V2, Yi 1,5 e Qwen2. Tipo de modelo atualizado para Qwen1.5 como qwen1.5. Compatibilidade com Qwen2 incluída no backend vLLM. O backend BladeLLM passou a suportar Llama3 e Qwen2. Entrada em lote (batch input) ativada no backend HuggingFace. OpenAI Chat agora é compatível com o backend BladeLLM. Correção aplicada ao acesso às métricas do BladeLLM. Implantação de modelos FP8 suportada pelo backend Transformers. Múltiplas ferramentas de quantização (AWQ, HQQ e Quanto) integradas ao backend Transformers. Suporte a FP8 adicionado ao backend vLLM. Parâmetros de inferência para vLLM e Blade agora aceitam stop words. Backend Transformers compatível com GPUs da série H.
30 de abril de 2024	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.3 eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.3-flash-attn eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.3-vllm eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.3-vllm-flash-attn eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.3-blade	Torch: 2.3.0 Torchvision: 0.18.0 Transformers: 4.40.2 vllm: 0.4.2 Blade: 0.5.1	Implementação de modelos Embedding agora suportada. Backend vLLM passa a retornar o uso de tokens. Inclusão de suporte para implantação de modelos Sentence-Transformers. Novos modelos suportados no backend Transformers: yi-9B, qwen2-moe, llama3, qwencode, qwen1.5-32G/110B, phi-3 e gemma-1,1-2/7B. Backend vLLM expandido para yi-9B, qwen2-moe, SeaLLM, llama3 e phi-3. Modelos qwen1.5 e SeaLLM adicionados ao backend Blade. Implantação multimodelo de LLM e Embedding ativada. Imagem flash-attn lançada para o backend Transformers. Disponibilizada imagem flash-attn para o backend vLLM.
28 de março de 2024	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.2 eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.2-vllm eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.2-blade	Torch: 2.1.2 Torchvision: 0.16.2 Transformers: 4.38.2 Vllm: 0.3.3 Blade: 0.4.8	Introdução do backend de inferência Blade, com suporte a configurações multi-GPU em máquina única e quantização. Inferência no backend Transformers baseada no template de chat do tokenizer. Backend HF ativado para inferência Multi-LoRA. Blade passa a aceitar implantação de modelos quantizados. Fragmentação automática de modelos implementada no Blade. Deepseek e Gemma adicionados ao backend Transformers. Suporte a Deepseek e Gemma incluído no backend vLLM. Backend Blade compatível com modelos qwen1.5 e yi. Acesso ao endpoint /metrics liberado para imagens vLLM e Blade. Respostas em streaming no backend Transformers incluem estatísticas de tokens.
22 de fevereiro de 2024	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.1 eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.1-vllm	Torch: 2.1.2 Torchvision: 0.16.0 Transformers: 4.37.2 vLLM: 0.3.0	Configurações estendidas de parâmetros para vLLM, permitindo modificação de todos os parâmetros de inferência em tempo de execução. Multi-LoRA suportado no vLLM. Implantação de modelos quantizados ativada no vLLM. Dependência da demonstração LangChain removida da imagem vLLM. Backend de inferência Transformers compatível com modelos qwen1.5 e qwen2. Backend de inferência vLLM expandido para modelos qwen1.5 e qwen2.
23 de janeiro de 2024	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0 eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0-vllm	Torch: 2.1.2 Torchvision: 0.16.2 Transformers: 4.37.2 vLLM: 0.2.6	Desacoplamento das imagens de backend para compilação e lançamento independentes. Novo backend BladeLLM introduzido. API padrão OpenAI suportada. Métricas de desempenho adicionadas para Baichuan e outros modelos. Inclusão de modelos como yi-6b-chat, yi-34b-chat e secgpt. Endpoint openai/v1/chat/completions adaptado para o formato de histórico chatglm3. Streaming assíncrono otimizado. Lista de modelos suportados pelo vLLM sincronizada com o HuggingFace. Interfaces de chamada do backend aprimoradas. Logs de erro melhorados.
6 de dezembro de 2023	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:2.1 Tag: chat-llm-webui:2.1	Torch: 2.0.1 Torchvision: 0.15.2 Transformers: 4.33.3 vLLM: 0.2.0	Backend HuggingFace expandido para modelos mistral, zephyr, yi-6b, yi-34b, qwen-72b, qwen-1,8b, qwen7b-int4, qwen14b-int4, qwen7b-int8, qwen14b-int8, qwen-72b-int4, qwen-72b-int8, qwen-1,8b-int4 e qwen-1,8b-int8. Modelos Qwen e ChatGLM1/2/3 suportados no backend vLLM. Flash attention ativado no backend de inferência HuggingFace. Métricas de desempenho incluídas para a série ChatGLM. Argumento de linha de comando --history-format adicionado para definições de função (role). Demonstração LangChain compatível com o modelo Qwen. Interface de streaming FastAPI otimizada.
13 de setembro de 2023	eas-registry.cn-hangzhou.cr.aliyuncs.com/pai-eas/chat-llm-webui:2.0 Tag: chat-llm-webui:2.0	Torch: 2.0.1+cu117 Torchvision: 0.15.2+cu117 Transformers: 4.33.3 vLLM: 0.2.0	Suporte a múltiplos backends: vLLM e HuggingFace. Demonstração LangChain incluída para modelos ChatLLM e Llama2. Compatibilidade estendida para Baichuan, Baichuan2, Qwen, Falcon, Llama2, ChatGLM, ChatGLM2, ChatGLM3 e yi. Streaming conversacional via HTTP e WebSocket implementado. Contagem de tokens gerados incluída em respostas sem streaming. Conversas multiviradas ativadas para todos os modelos. Exportação de histórico de conversas suportada. Definições de System Prompt e concatenação de prompts sem template permitidas. Parâmetros de inferência tornados configuráveis. Modo de depuração de logs adicionado para exibir tempos de inferência. Backend vLLM adota Tensor Parallelism (TP) como padrão para implantações multi-GPU em máquina única. Implantação de modelos em diversas precisões (Float32, Float16, Int8 e Int4) suportada.

Documentação relacionada

O EAS oferece um método simplificado de implantação para o ChatLLM, permitindo implantar serviços de LLM open-source com configuração mínima. Para instruções de implantação e invocação, consulte Implantar modelos de linguagem grande (LLMs).