AgentWatch : un cadre ouvert pour auditer le comportement des agents-navigateurs

De quoi s’agit-il ?

AgentWatch est un cadre d’évaluation open source pour les agents de navigation IA, réalisé comme projet de fin d’études (capstone) du Master of Information and Cybersecurity (MICS) de la UC Berkeley School of Information, et mis à jour pour la dernière fois le 7 juin 2026. L’équipe — Boaz Kaufman, Marisa Hall, Anya Svan, Cynthia Austin, Rutika Kushe et Anagha Late — a audité cinq agents de navigation de premier plan et publié à la fois sa méthodologie de notation et sa bibliothèque de scénarios. Le projet a reçu le Chang Award de sa promotion, et il a été repris dans le panorama de sécurité agentique de juillet 2026 d’Adversa AI, qui le classe parmi les ressources défensives marquantes du mois.

Le postulat est simple et, une fois énoncé, difficile à ignorer : les agents de navigation peuvent lire votre écran, remplir vos formulaires et agir en votre nom sur le web ouvert, alors que les utilisateurs n’ont quasiment aucun moyen de savoir avec quel niveau de sûreté un agent donné le fait. AgentWatch cherche à transformer cet angle mort en quelque chose de mesurable.

Comment ça marche

Contrairement à un chatbot classique, un agent de navigation effectue des actions autonomes sur des pages qu’il n’a pas écrites et auxquelles il ne peut pas se fier pleinement. Cela ouvre une surface de risque que les filtres de sûreté appliqués message par message n’ont jamais été conçus pour couvrir. AgentWatch note les agents selon cinq dimensions : divulgation involontaire de données, mauvaise interprétation d’instructions, hallucination, injection de prompt et isolation du bac à sable (sandbox) du navigateur. Ensemble, elles couvrent les voies par lesquelles un agent laisse fuir des informations qu’il ne devrait pas, suit des instructions qu’il ne devrait pas, ou agit hors de la frontière dans laquelle il était censé rester.

La contribution méthodologique tient à la notation elle-même. Le comportement d’un agent est stochastique — relancez le même scénario deux fois et vous pouvez obtenir deux résultats différents — de sorte qu’un seul passage n’apprend presque rien. Le cadre d’AgentWatch est explicitement conçu pour tenir compte de cette variance plutôt que de traiter une exécution chanceuse (ou malchanceuse) comme une vérité absolue, ce qui rend les scores comparables d’un agent à l’autre. L’infrastructure d’évaluation et la bibliothèque de scénarios sont toutes deux open source et pensées pour grandir, afin d’y intégrer de nouveaux scénarios d’attaque et de nouveaux agents au fil de l’évolution du domaine. L’équipe fournit une plateforme publique et un dépôt de projet pour que d’autres puissent reproduire les exécutions et contribuer des cas de test, plutôt que de prendre les chiffres pour argent comptant.

Pourquoi c’est important

Les agents de navigation sont intégrés aux produits du quotidien plus vite que quiconque ne s’est accordé sur la façon d’en mesurer la sûreté. Les acheteurs en sont réduits à comparer des arguments marketing, faute d’étalon commun pour la question « comment cet agent se comporte-t-il lorsqu’une page tente de le manipuler ». Un cadre ouvert, reproductible et tolérant à la variance des exécutions est précisément la référence commune qui manquait — plus proche d’un banc d’essai de sécurité pour le consommateur que d’un compte-rendu de red team isolé.

Les cinq dimensions recoupent aussi nettement les modes de défaillance qui reviennent dans les incidents d’agents de navigation : exfiltration de données par les propres actions de l’agent, instructions injectées dissimulées dans le contenu d’une page, et actions qui s’échappent du bac à sable prévu. Cadrer l’évaluation autour de ces catégories, et rendre les scénarios partageables, permet aux défenseurs de discuter de comportements précis et testables plutôt que d’assurances vagues.

Défenses

Demandez aux fournisseurs des comportements, pas des adjectifs. Traitez « comment se comporte-t-il sur la divulgation de données, l’injection de prompt et l’isolation du bac à sable » comme une question d’achat, et exigez des preuves reproductibles plutôt qu’un label de sûreté.

Testez sous variance, pas une seule fois. Le comportement des agents étant stochastique, une seule exécution réussie ne prouve pas grand-chose. Évaluez le même scénario de nombreuses fois et regardez la distribution — l’idée centrale autour de laquelle la notation d’AgentWatch est bâtie.

Couvrez toute la surface. L’injection de prompt n’est qu’une des cinq dimensions ici. La divulgation involontaire de données, la mauvaise interprétation, l’hallucination et l’isolation du bac à sable exigent chacune leurs propres scénarios ; un garde qui n’inspecte que la dernière instruction en manque la plupart.

Contribuez et réutilisez des scénarios ouverts. Des bibliothèques de scénarios partagées et extensibles valent mieux que des tests privés et ponctuels. Adopter et étendre un cadre ouvert, c’est faire croître sa couverture avec celle de la communauté plutôt que de la laisser vieillir en vase clos.

Réduisez le rayon d’action de l’agent. Indépendamment de la notation, limitez ce qu’un agent de navigation peut lire, où il peut envoyer des données et ce qu’il peut exécuter — afin qu’une défaillance sur l’une des dimensions reste contenue.

Statut

Élément	Référence	Notes
Projet	AgentWatch	Capstone MICS, UC Berkeley School of Information (Cyber 295, printemps 2026)
Équipe	Même page	Kaufman, Hall, Svan, Austin, Kushe, Late ; lauréat du Chang Award
Périmètre	Même page	Cinq agents de navigation ; cinq dimensions dont injection de prompt et isolation du bac à sable
Méthode	Même page	Notation sur mesure tenant compte du caractère stochastique des agents
Artefacts	Dépôt / plateforme du projet	Infrastructure d’évaluation et bibliothèque de scénarios open source
Mention externe	Panorama Adversa AI, 2 juillet 2026	Cité parmi les ressources de sécurité agentique de juillet 2026

L’enseignement durable n’est pas un classement mais une méthode : la sûreté des agents de navigation est mesurable, elle doit l’être selon plusieurs dimensions distinctes, et — parce que ces systèmes sont stochastiques — elle doit l’être de façon répétée, avec une notation qui tient compte de la variance au lieu de se fier à une exécution unique.