La integración de la inteligencia artificial dentro de las empresas plantea muchas preguntas sobre sus capacidades y limitaciones. Un reciente proyecto llevado a cabo por investigadores de la universidad Carnegie Mellon reveló que cuando se asigna a agentes de IA la gestión de una empresa, los resultados pueden ser decepcionantes. Los agentes, que representan diversas tecnologías como Claude de Anthropic y Gemini de Google, no lograron completar la mayoría de las tareas que se les asignaron. Este artículo examina este fiasco y lo que significa para el futuro de la IA en el mundo profesional.
Los objetivos de la experimentación
El proyecto realizado por estos investigadores tenía como objetivo simular una empresa asignando roles específicos a los agentes de inteligencia artificial, como analista financiero o jefe de proyecto. Al mismo tiempo, el grupo utilizó una plataforma distinta para simular colegas humanos con los que estos agentes debían interactuar. El objetivo era claro: evaluar la autonomía y la capacidad de estas IA para manejar tareas complejas equivalentes a las de un equipo humano.
Los resultados decepcionantes de los agentes de IA
Los resultados de esta experiencia fueron reveladores. Los agentes de IA fallaron en más del tres cuartos de las tareas que se les asignaron. A pesar de especificaciones relativamente simples, como el análisis de bases de datos o la organización de visitas para nuevos locales, el rendimiento fue alarmante. Por ejemplo, Claude 3.5 Sonnet, uno de los mejores agentes, solo logró completar 24 % de las tareas, con una puntuación agregada del 34,4 % teniendo en cuenta las tareas parcialmente completadas.
Los desafíos encontrados al utilizar la IA
Las dificultades encontradas por estos agentes destacan las limitaciones actuales de la inteligencia artificial. Los investigadores notaron que, a menudo, estos sistemas no comprendían las instrucciones implícitas. Por ejemplo, cuando se les pidió registrar los resultados en un archivo en formato “.docx”, no entendían que se trataba de un formato Microsoft Word. Además, la navegación por la web representaba un gran desafío, especialmente cuando se trataba de sortear ventanas emergentes o redirecciones.
Las deficientes habilidades sociales de los agentes
Además de las dificultades técnicas, la falta de habilidades sociales de las IA también se identificó como un problema importante. Cuando un agente se encontraba en apuros, a menudo intentaba omitir pasos complejos en lugar de resolver proactivamente los problemas, lo que llevaba a errores en la ejecución de las tareas.
La cuestión del costo de funcionamiento
Otro aspecto interesante de esta experiencia fue el análisis de los costos de funcionamiento de los diferentes agentes. Claude 3.5 Sonnet, aunque más eficiente, costaba 6,34 dólares por tarea, mientras que Gemini 2.0 Flash representaba una opción más económica a 0,79 dólar. Sin embargo, estas cifras plantean otra pregunta: ¿para qué invertir en una IA costosa si su rendimiento sigue siendo ampliamente insuficiente?
Las implicaciones para el futuro de las empresas
El fiasco observado en esta experimentación suscita importantes interrogantes sobre la integración de la inteligencia artificial en la gestión de empresas. Aunque algunas compañías, como Meta de Mark Zuckerberg, aspiran a ver a la IA desempeñar un papel clave en la dirección de las operaciones, la realidad de esta simulación recuerda que la IA aún está lejos de poder operar de manera autónoma y eficiente. Estos resultados demuestran que es crucial mantener la vigilancia sobre la explotación de estas tecnologías para evitar situaciones donde la confianza excesiva en las capacidades de la IA podría conducir a fracasos significativos.
