Tokenless utilise cinq stratégies complémentaires pour réduire la redondance avant que le contenu n'entre dans la fenêtre de contexte du LLM :
Compression des schémas (~57 %) : simplifie la définition des outils Function Calling, supprime la syntaxe markdown dans la description, retire les champs examples et title, et tronque les descriptions de fonctions et de paramètres trop longues. L'effet est particulièrement significatif dans les scénarios d'agent contenant de nombreuses définitions d'outils (des dizaines de schémas Function Calling).
Compression des réponses (26–78 %) : applique sept règles aux retours d'API et aux résultats d'exécution d'outils : suppression des champs à faible valeur ajoutée tels que debug/trace/stack/logs (R3), élimination des valeurs nulles et vides (R4/R5), troncature des chaînes très longues dépassant 4 096 caractères (R1), troncature des tableaux dépassant 32 éléments (R2), troncature des profondeurs d'imbrication dépassant huit niveaux (R6). Les types d'entrée offrant les meilleurs résultats d'optimisation sont : les réponses d'API contenant beaucoup d'informations de débogage (comme l'API Kubernetes, les résultats de requête de ressources cloud), les résultats web_fetch contenant des champs redondants (mesuré à ~78 %) et les structures JSON profondément imbriquées.
Encodage TOON (15–40 %) : encode sans perte le JSON dans un format compact orienté token, éliminant la surcharge syntaxique JSON telle que les guillemets, les virgules et les accolades. L'optimisation est la plus efficace pour les données ayant une structure régulière et des noms de champs longs (par exemple, contenant description, resource_id ou des objets dont les clés ont une longueur égale).
Réécriture des commandes (60–90 %) : le moteur RTK intégré filtre intelligemment la sortie de plus de 70 commandes CLI pour éliminer les informations parasites telles que les barres de progression, les codes d'échappement ANSI et les journaux redondants. Les types d'entrée optimisés avec le plus d'efficacité sont : la sortie des outils de build (cargo/npm/go/pytest), la sortie des gestionnaires de paquets (dnf/yum/apt) et les résultats volumineux des commandes de listage de fichiers (ls -la, find).
Vérification de la disponibilité des outils : vérifie les binaires, configurations, autorisations et dépendances réseau avant d'appeler l'outil, corrige automatiquement les éléments manquants et marque les échecs liés à l'environnement comme « Skip retry » pour empêcher le LLM de gaspiller des tokens en réessayant répétitivement des commandes vouées à l'échec.
Dans l'ensemble, Tokenless optimise le plus efficacement les entrées et sorties suivantes : configurations d'agent avec de nombreuses définitions d'outils (compression des schémas), réponses d'API contenant des champs de débogage/redondants (compression des réponses), données JSON structurées (encodage TOON), sorties de commandes de build CI/CD et de gestion de paquets (réécriture RTK).