Skip to content

Latest commit

 

History

History
93 lines (72 loc) · 4.71 KB

README.fr.md

File metadata and controls

93 lines (72 loc) · 4.71 KB

AgentBehaviorBench (ABB)

AgentBehaviorBench — évaluation du comportement des Agents

English | Français | 日本語 | 中文 | 한국어

Python 3.10 ou version ultérieure Licence MIT Version du package 0.1.0

Qu’est-ce qu’ABB ?

AgentBehaviorBench (ABB) est un benchmark qui évalue la capacité des Agents IA à tester le comportement d’autres Agents. Il comprend deux jeux de données : des Agents cibles directement exécutables et des défauts comportementaux confirmés par des tests manuels, qui constituent la vérité de référence (Ground Truth). Un Agent de test participant au benchmark génère des cas de test, les fait exécuter par l’Agent cible et analyse les trajectoires d’exécution obtenues pour identifier les problèmes de cet Agent.

Vue d’ensemble

ABB intègre des Agents cibles construits avec différents frameworks au moyen d’Adapters et utilise un pipeline commun pour exécuter les cas de test et collecter les preuves comportementales. Un Agent de test intégré à ABB doit pouvoir générer des cas de test, analyser les preuves d’exécution et déterminer les défauts comportementaux (Judge), et se connecte via un SDK d’évaluation. Les preuves comprennent les entrées de test, les sorties de l’Agent et son état d’exécution, les traces OpenTelemetry, ainsi que les changements de fichiers et les diffs lorsque la collecte des preuves de fichiers est activée. L’Agent de test doit signaler les défauts comportementaux à partir de ces preuves ; dans le benchmark, l’identification d’un défaut spécifié dans la Ground Truth rapporte les points correspondants.

Chaque Agent de test participant à AgentBehaviorBench doit disposer des capacités suivantes :

  1. Génération de cas de test (Case Generation) : Générer des cas de test qui examinent le comportement de l’Agent cible à partir de ses capacités et de ses contraintes comportementales.
  2. Analyse des trajectoires (Trajectory Analysis) : Analyser les entrées de test, les sorties de l’Agent, les traces OpenTelemetry et les preuves de changements de fichiers afin d’identifier des anomalies comportementales potentielles.
  3. Détermination des défauts (Judging) : Déterminer, à partir des preuves d’exécution, si l’Agent cible présente des défauts comportementaux et signaler les problèmes précis avec les preuves qui les étayent.

Architecture AgentBehaviorBench

Le registre indique la révision du code source testée et la manière dont ABB doit lancer l’Agent. Le harness planifie les Cases, démarre les conteneurs, exécute l’Agent Run, route les communications déclarées et collecte les traces et preuves du système de fichiers. L’état d’exécution et le verdict du Judge restent distincts : un Agent peut s’exécuter correctement tout en présentant un problème comportemental.

Ressources

SDK d’évaluation et Judge

Les évaluations officielles utilisent actuellement le SDK KUMA DefuzeX, installé via kuma-defuzex[otel]. L’installation du SDK sélectionne la dernière version stable sur PyPI. Les images et couches Docker existantes sont réutilisées et ne sont pas actualisées automatiquement à chaque nouvelle version du SDK. KUMA génère les Cases comportementaux, reçoit les preuves collectées par ABB et les transmet au Judge DefuzeX. Le verdict et son évaluation sont enregistrés avec les artifacts de la Suite.

ABB inclut également un plugin SDK local avec des Cases de contrôle fixes et un Judge local. Aucun crédit backend KUMA n’est requis, mais les appels modèle de l’Agent et du Judge peuvent être payants. Ce plugin n’est pas le Judge officiel des benchmarks.

Documentation complémentaire

Licence

MIT. Voir LICENSE.