Die Integration von Künstlicher Intelligenz in Unternehmen wirft viele Fragen hinsichtlich ihrer Fähigkeiten und Grenzen auf. Ein aktuelles Projekt, das von Forschern der Carnegie Mellon Universität geleitet wurde, hat gezeigt, dass die Ergebnisse enttäuschend sein können, wenn KI-Agenten mit der Leitung eines Unternehmens betraut werden. Die Agenten, die verschiedene Technologien wie Claude von Anthropic und Gemini von Google repräsentieren, scheiterten bei den meisten ihnen zugewiesenen Aufgaben. Dieser Artikel untersucht dieses Debakel und was es für die Zukunft der KI in der Berufswelt bedeutet.
Die Ziele des Experiments
Das Projekt, das von diesen Forschern durchgeführt wurde, hatte das Ziel, ein Unternehmen zu simulieren, indem spezifische Rollen an die Künstlichen Intelligenzen vergeben wurden, wie Finanzanalyst oder Projektleiter. Parallel dazu nutzte die Gruppe eine separate Plattform, um menschliche Kollegen zu simulieren, mit denen diese Agenten interagieren sollten. Das Ziel war klar: die Autonomie und die Fähigkeit dieser KIs zu bewerten, komplexe Aufgaben zu bewältigen, die denen eines menschlichen Teams entsprechen.
Die enttäuschenden Ergebnisse der KI-Agenten
Die Ergebnisse dieses Experiments waren aufschlussreich. Die KI-Agenten scheiterten bei mehr als drei Vierteln der Aufgaben, die ihnen übertragen wurden. Trotz relativ einfacher Spezifikationen, wie der Analyse von Datenbanken oder der Organisation von Besichtigungen für neue Räumlichkeiten, waren die Leistungen alarmierend. Zum Beispiel konnte Claude 3.5 Sonnet, einer der besten Agenten, nur 24 % der Aufgaben abschließen, mit einem aggregierten Punktestand von 34,4 %, wenn man die teilweise abgeschlossenen Aufgaben berücksichtigt.
Die Herausforderungen bei der Nutzung von KI
Die Schwierigkeiten, mit denen diese Agenten konfrontiert waren, heben die aktuellen Einschränkungen der Künstlichen Intelligenz hervor. Die Forscher stellten fest, dass diese Systeme oft die impliziten Anweisungen nicht verstanden. Wenn sie zum Beispiel aufgefordert wurden, die Ergebnisse in einer Datei im „.docx“-Format zu speichern, begriffen sie nicht, dass es sich um ein Microsoft Word-Format handelte. Zudem stellte die Webnavigation eine große Herausforderung dar, insbesondere wenn es darum ging, Pop-ups oder Weiterleitungen zu umgehen.
Die unzureichenden sozialen Kompetenzen der Agenten
Neben den technischen Schwierigkeiten wurde das Fehlen von sozialen Kompetenzen bei den KIs ebenfalls als großes Problem identifiziert. Wenn ein Agent in Schwierigkeiten geriet, versuchte er oft, komplexe Schritte zu umgehen, anstatt proaktiv die Probleme zu lösen, was zu Fehlern bei der Ausführung der Aufgaben führte.
Die Frage der Betriebskosten
Ein weiterer interessanter Aspekt dieses Experiments war die Analyse der Betriebskosten der verschiedenen Agenten. Claude 3.5 Sonnet, obwohl leistungsfähiger, kostete 6,34 US-Dollar pro Aufgabe, während Gemini 2.0 Flash eine wirtschaftlichere Option zu 0,79 Dollar darstellte. Diese Zahlen werfen jedoch eine weitere Frage auf: Wozu in eine teure KI investieren, wenn ihre Leistungen weitgehend unzureichend bleiben?
Die Auswirkungen auf die Zukunft der Unternehmen
Das Debakel, das in diesem Experiment beobachtet wurde, wirft grundlegende Fragen zur Integration von Künstlicher Intelligenz in das Management von Unternehmen auf. Obwohl einige Unternehmen, wie Meta von Mark Zuckerberg, darauf abzielen, die KI eine Schlüsselrolle bei der Leitung von Operationen zu übernehmen, erinnert die Realität dieser Simulation daran, dass die KI noch weit davon entfernt ist, autonom und effektiv zu funktionieren. Diese Ergebnisse zeigen, dass es entscheidend ist, wachsam zu bleiben, wenn es darum geht, diese Technologien zu nutzen, um Situationen zu vermeiden, in denen übermäßiges Vertrauen in die Fähigkeiten der KI zu erheblichen Misserfolgen führen könnte.
