Sur VAKRA, un benchmark conçu pour tester des agents IA face à des tâches complexes, les modèles les plus avancés montrent une limite nette, ils savent utiliser des outils, mais ratent encore souvent l’essentiel du raisonnement. Le signal clé, c’est que la performance chute dès qu’il faut planifier plusieurs étapes ou choisir la bonne action au bon moment.
Des agents brillants, mais pas toujours malins
Dans son billet publié sur Hugging Face, IBM Research s’intéresse à un sujet très concret, la différence entre un modèle qui répond bien et un agent qui agit vraiment bien. VAKRA a justement été pensé pour ça. Le benchmark évalue des agents sur des scénarios où ils doivent raisonner, sélectionner un outil, l’utiliser correctement, puis enchaîner vers la bonne décision. En clair, on ne teste plus juste la capacité à écrire une réponse propre, mais la capacité à gérer une mini mission de bout en bout.
Ce que montre IBM, c’est que beaucoup d’agents paraissent solides tant que la tâche reste simple. Dès qu’il faut combiner mémoire, planification et usage d’outils, les erreurs s’accumulent. Un agent peut choisir le mauvais outil, lancer une action inutile, ou se perdre après une étape pourtant réussie. C’est un peu le syndrome de l’élève qui connaît sa leçon, mais panique dès que l’exercice change légèrement.
Le vrai bug, c’est souvent la stratégie
L’analyse insiste sur un point important, les échecs ne viennent pas seulement d’un manque de connaissances. Souvent, le problème est plus haut dans la chaîne. L’agent comprend partiellement la demande, mais construit une mauvaise stratégie. Il peut aussi surutiliser les outils, comme s’il voulait compenser son incertitude par plus d’actions. Résultat, plus d’étapes ne veut pas dire plus d’intelligence. Parfois, cela fabrique juste plus d’occasions de se tromper.
IBM met aussi en lumière les différents types de panne, erreurs de raisonnement, mauvais appel d’outil, incapacité à corriger une trajectoire ratée, ou difficulté à rester cohérent sur plusieurs tours. C’est précieux, parce que ça évite de juger les agents avec une seule note globale. Deux modèles peuvent obtenir un score proche, tout en échouant pour des raisons totalement différentes.
Pourquoi ça compte déjà pour les usages réels
Ce genre de benchmark intéresse bien au-delà de la recherche. Aujourd’hui, les agents IA sont vendus comme assistants capables d’automatiser des tâches pro, du support client à l’analyse de données. Mais si leur faiblesse principale est la coordination des étapes, alors le risque est clair, ils peuvent sembler autonomes tout en prenant de mauvaises décisions sans alerte immédiate. C’est exactement le type de faille qui compte en entreprise.
Le message d’IBM n’est pas que les agents sont nuls, mais qu’il faut arrêter de confondre démonstration spectaculaire et fiabilité réelle. Plus les IA auront accès à des outils puissants, plus la question centrale sera simple, savent-elles vraiment quand agir, ou imitent-elles seulement une bonne méthode ?