Tokenless, içerik LLM bağlam penceresine girmeden önce fazlalığı azaltmak için beş tamamlayıcı strateji kullanır:
Şema sıkıştırma (~%57): Function Calling araç tanımını sadeleştirir, açıklamadaki markdown sözdizimini kaldırır, examples ve title alanlarını siler, çok uzun olan işlev ve parametre açıklamalarını kısaltır. Etki, çok sayıda araç tanımı içeren (onlarca Function Calling şeması) Agent senaryolarında en belirgindir.
Yanıt sıkıştırma (%26–78): API dönüşlerine ve araç yürütme sonuçlarına 7 kural uygular - debug/trace/stack/logs gibi düşük değerli alanları kaldırır (R3), null ve boş değerleri kaldırır (R4/R5), 4096 karakteri aşan çok uzun dizeleri kısaltır (R1), 32 öğeyi aşan dizileri kısaltır (R2), 8 düzeyi aşan iç içe geçme derinliklerini kısaltır (R6). Optimizasyon sonuçlarının en iyi olduğu giriş türleri: Çok fazla hata ayıklama bilgisi içeren API yanıtları (Kubernetes API, cloud kaynak sorgu sonuçları gibi), yedekli alanlar içeren web_fetch sonuçları (ölçüldüğü üzere ~%78) ve derin iç içe geçmiş JSON yapılarıdır.
TOON kodlama (%15–40): JSON'ı token odaklı kompakt bir biçime kayıpsız olarak kodlar, tırnak işaretleri, virgüller ve küme parantezleri gibi JSON sözdizimi ek yükünü ortadan kaldırır. Düzenli yapıya ve uzun alan adlarına sahip veriler (örneğin description, resource_id gibi eşit uzunlukta anahtarlara sahip nesneler) için optimizasyon etkisi en iyidir.
Komut yeniden yazma (%60–90): Entegre RTK motoru, 70'ten fazla CLI komutunun çıktısını akıllıca filtreleyerek ilerleme çubukları, ANSI kaçış kodları ve yedekli günlükler gibi parazit bilgileri ortadan kaldırır. Optimizasyonun en iyi olduğu giriş türleri: derleme aracı çıktıları (cargo/npm/go/pytest), paket yöneticisi çıktıları (dnf/yum/apt) ve dosya listeleme komutlarının uzun sonuçları (ls -la, find).
Araç hazırlık kontrolü: Aracı çağırmadan önce ikili dosyaları, yapılandırmaları, izinleri ve ağ bağımlılıklarını doğrular, eksik öğeleri otomatik olarak düzeltir ve ortam sınıfı hatalarını "Yeniden denemeyi atla" olarak işaretler; böylece LLM'nin mutlaka başarısız olacak komutları tekrar tekrar deneyerek Token boşa harcamasını önler.
Genel olarak, Tokenless aşağıdaki giriş ve çıkışlarda en büyük optimizasyon etkisine sahiptir: Kapsamlı araç tanımları içeren Agent yapılandırması (Şema sıkıştırma), hata ayıklama/yedekli alanlar içeren API yanıtı (yanıt sıkıştırma), Yapılandırılmış JSON verileri (TOON kodlama), CI/CD derleme ve paket yönetimi komut çıktısı (RTK yeniden yazma).