如何使用Tokenless

更新時間:
Copy as MD

Tokenless 是 ANOLISA 的 Token 最佳化組件,旨在不侵入商務邏輯的前提下,通過自動壓縮公用程式定義與模型響應內容,顯著降低 LLM 推理成本,並支援 cosh 與 OpenClaw 等主流 Agent 情境。本文介紹如何安裝配置使用Tokenless組件。

如何使用Tokenless

產品簡介

Tokenless 是 ANOLISA 的 Token 最佳化組件,在不侵入商務邏輯的前提下,自動壓縮公用程式定義和模型響應內容,有效降低 LLM Token 消耗。

核心能力

Tokenless 主要包含以下能力:

能力

說明

上下文壓縮

精簡 Function Calling工具定義、過濾 CLI 命令響應中的幹擾資訊、緊湊編碼壓縮結構化資料

統計追蹤

自動記錄壓縮前後對比,按類型匯總節省量

透明整合

通過外掛程式和 Hook 自動介入,對 Agent 架構零侵入


使用範圍

本工具適用於 cosh(Copilot Shell) 以及 OpenClaw。

安裝方式

支援 RPM 包安裝(推薦用於 Alinux 4)與源碼一鍵安裝兩種方式。

RPM 包安裝(推薦)

# 使用 yum 安裝(自動解決依賴)
sudo yum install tokenless

源碼一鍵安裝

git clone --recursive https://github.com/alibaba/anolisa.git
cd src/tokenless
make setup

配置與整合

Copilot Shell 整合

Tokenless 通過 Hook 機制整合到 cosh(Copilot Shell)中,通過install.sh指令碼自動完成配置使能:

/usr/share/tokenless/scripts/install.sh --cosh

OpenClaw 整合

通過install.sh指令碼自動完成openclaw外掛程式整合:

/usr/share/tokenless/scripts/install.sh --openclaw

壓縮效果

stats命令查詢

可通過 tokenless stats 命令查看tokenless壓縮統計效果:

tokenless stats list

AgentSight 整合

AgentSight 已經接入 Tokenless 壓縮統計資料庫,可通過 AgentSight 的 Dashboard 查看壓縮效果,詳情可參看《如何使用AgentSight》。