L’intégration de l’intelligence artificielle au sein des entreprises soulève de nombreuses questions quant à ses capacités et ses limites. Un récent projet mené par des chercheurs de l’université Carnegie Mellon a révélé que lorsque des agents d’IA sont chargés de gérer une entreprise, les résultats peuvent s’avérer décevants. Les agents, représentant des technologies diverses comme Claude d’Anthropic et Gemini de Google, ont échoué à réaliser la plupart des tâches qui leur étaient assignées. Cet article examine ce fiasco et ce que cela signifie pour l’avenir de l’IA dans le monde professionnel.
Les objectifs de l’expérimentation
Le projet réalisé par ces chercheurs avait pour but de simuler une entreprise en attribuant des rôles spécifiques aux agents d’intelligence artificielle, tels qu’analyste financier ou chef de projet. En parallèle, le groupe a utilisé une plateforme distincte pour simuler des collègues humains avec lesquels ces agents devaient interagir. L’objectif était clair : évaluer l’autonomie et la capacité de ces IA à gérer des tâches complexes équivalentes à celles d’une équipe humaine.
Les résultats décevants des agents d’IA
Les résultats de cette expérience ont été révélateurs. Les agents IAs ont échoué à plus de trois quarts des tâches qui leur ont été confiées. Malgré des spécifications relativement simples, telles que l’analyse de bases de données ou l’organisation de visites pour de nouveaux locaux, les performances ont été alarmantes. Par exemple, Claude 3.5 Sonnet, l’un des meilleurs agents, n’a réussi à compléter que 24 % des tâches, avec un score agrégé de 34,4 % en tenant compte des tâches partiellement achevées.
Les défis rencontrés lors de l’utilisation de l’IA
Les difficultés rencontrées par ces agents soulignent les limitations actuelles de l’intelligence artificielle. Les chercheurs ont noté que bien souvent, ces systèmes ne comprenaient pas les instructions implicites. Par exemple, lorsqu’ils étaient chargés d’enregistrer les résultats dans un fichier au format « .docx », ils ne comprenaient pas qu’il s’agissait d’un format Microsoft Word. De plus, la navigation sur le Web représentait un défi majeur, en particulier lorsqu’il s’agissait de contourner des pop-ups ou des redirections.
Les insuffisantes compétences sociales des agents
En plus des difficultés techniques, l’absence de compétences sociales des IA a également été identifiée comme un problème majeur. Lorsqu’un agent se retrouvait en difficulté, il tentait souvent de contourner des étapes complexes au lieu de résoudre les problèmes de manière proactive, ce qui entraîne des erreurs dans l’exécution des tâches.
La question du coût de fonctionnement
Un autre aspect intéressant de cette expérience fut l’analyse des coûts de fonctionnement des différents agents. Claude 3.5 Sonnet, bien que plus performant, coûtait 6,34 dollars par tâche, tandis que Gemini 2.0 Flash représentait une option plus économique à 0,79 dollar. Cependant, ces chiffres soulèvent un autre questionnement : à quoi bon investir dans une AI coûteuse si ses performances demeurent largement insuffisantes ?
Les implications pour l’avenir des entreprises
Le fiasco observé dans cette expérimentation suscite des interrogations majeures sur l’intégration de l’intelligence artificielle dans la gestion des entreprises. Bien que certaines entreprises, comme Meta de Mark Zuckerberg, aspirent à voir l’IA jouer un rôle clé dans la direction des opérations, la réalité de cette simulation rappelle que l’IA est encore loin de pouvoir fonctionner de manière autonome et efficace. Ces résultats démontrent qu’il est crucial de rester vigilant quant à l’exploitation de ces technologies pour éviter des situations où la confiance excessive dans les capacités de l’IA pourrait conduire à des échecs significatifs.
