Avec l’essor fulgurant de l’intelligence artificielle (IA) dans le milieu professionnel, une question émerge : ces systèmes peuvent-ils véritablement remplacer les employés humains ? Des chercheurs de l’université Carnegie Mellon ont tenté de répondre à cette interrogation en simulant une entreprise dirigée par des agents d’IA. Les résultats révèlent des informations surprenantes sur les compétences actuelles de ces technologies et sur leur potentiel futur dans le monde du travail.
Une entreprise virtuelle pilotée par des IA
Dans leur expérience, les chercheurs ont créé une fausse entreprise peuplée d’agents d’IA, tels que Claude d’Anthropic, GPT-4o d’OpenAI, et Google Gemini, pour occuper divers postes, allant d’analyste financier à chef de projet. En parallèle, d’autres plateformes ont simulé des collègues avec lesquels ces IA devaient interagir pour accomplir certaines tâches indispensables à leur fonctionnement. Une idée ambitieuse, mais qui a rapidement révélé des faiblesses notables des agents numériques.
Les résultats inquiétants des agents d’IA
Les résultats de l’expérience ont démontré que ces intelligences artificielles n’étaient pas à la hauteur des attentes. En effet, les agents ont échoué à plus de trois quarts des tâches qui leur ont été assignées. Par exemple, Claude 3.5 Sonnet, bien que le plus performant, n’a réussi à accomplir que 24 % des tâches, et seulement 34,4 % si l’on ajoute les tâches partiellement complétées. D’autres agents comme Gemini 2.0 Flash n’ont terminé que 11,4 % des tâches, tandis que la majorité des autres agents ont enregistré des scores en dessous de 10 %.
Les obstacles rencontrés par les IA
Les difficultés rencontrées par les agents ne se limitent pas à des erreurs dans l’exécution des tâches. Beaucoup d’entre eux n’ont pas su saisir le sens des instructions implicites. Par exemple, lorsque leur était demandé de rédiger un document avec une extension « .docx », ils n’ont pas compris qu’il s’agissait d’un format Microsoft Word. De plus, leur incapacité à gérer des tâches nécessitant des compétences sociales a souvent entravé leur capacité à collaborer efficacement avec d’autres parties de l’entreprise.
La navigation en ligne, un vrai défi
Un des plus grands défis rencontrés par ces agents d’IA était la navigation sur Internet, en particulier face à des fenêtres pop-up. Lorsqu’ils se retrouvaient dans des situations complexes, nombre d’entre eux choisissaient des itinéraires simplifiés pour éviter les difficultés, pensant ainsi avoir accompli la tâche. Cette problématique met en lumière les limites significatives des IA actuelles en matière de prise de décision autonome.
Des coûts de fonctionnement contrastés
Malgré leur performance décevante, il est intéressant de noter que les coûts de fonctionnement pour ces agents varient considérablement. Par exemple, Claude 3.5 Sonnet a nécessité un investissement de 6,34 dollars, alors que Gemini 2.0 Flash n’a coûté que 0,79 dollars. Cela soulève des questions quant à la viabilité économique de l’utilisation de telles technologies au sein des entreprises, surtout lorsque le retour sur investissement n’est pas garanti.
Implications pour l’avenir du travail
Au-delà des résultats de cette étude, il est crucial de réfléchir à ce que cela signifie pour l’avenir du monde professionnel. Bien que l’automatisation et l’IA promettent de transformer notre façon de travailler, ce cas démontre que ces technologies ne sont pas encore prêtes à remplacer complètement les humains. Les outils d’IA actuels, bien qu’efficaces pour certaines tâches, présentent encore d’importantes lacunes qui pourraient limiter leur utilisation à grande échelle dans les entreprises.
