Ein Forscher, der sich auf die Interpretierbarkeit von Modellen künstlicher Intelligenz spezialisiert hat, gibt an, eine Erklärung dafür gefunden zu haben, warum bestimmte künstliche Neuronen bei Konzepten aktiviert werden, die scheinbar nichts miteinander zu tun haben. Laut Nick Cammarata könnten diese Neuronen abstraktere gemeinsame Merkmale erkennen als bisher angenommen. Dieser Ansatz, der als „rekursive Generalisierung“ bezeichnet wird, eröffnet Perspektiven für ein besseres Verständnis großer Sprachmodelle, ist jedoch weiterhin umstritten und muss noch von der wissenschaftlichen Gemeinschaft bewertet werden.
Modelle der generativen künstlichen Intelligenz werden oft als „Black Boxes“ dargestellt. Sie erhalten eine Anfrage und erzeugen eine Antwort, doch die genauen Mechanismen, die diese beiden Schritte miteinander verbinden, lassen sich nur schwer nachvollziehen. Seit Jahren versuchen Forscher daher zu verstehen, was im Inneren dieser Systeme geschieht und wie ihre verschiedenen Komponenten zu den Ergebnissen beitragen.
Ein Teil dieser Arbeit besteht darin, die künstlichen Neuronen zu untersuchen, aus denen die Netzwerke bestehen. In einem rund 26.000 Wörter langen Artikel beschreibt Nick Cammarata, Forscher bei Goodfire AI und ehemaliger Mitarbeiter von OpenAI, eine Methode zur Analyse dieser mathematischen Einheiten. Sein Ziel: die Rolle von Neuronen zu beleuchten, deren Aktivierung manchmal schwer zu interpretieren ist.
Warum sind künstliche Neuronen schwer zu interpretieren?
KI-Systeme basieren auf verschiedenen Architekturen, etwa generativen adversarialen Netzwerken, rekurrenten neuronalen Netzen, Transformern oder Faltungsnetzwerken. Trotz ihrer Unterschiede verwenden diese Architekturen mathematische Operationen, die zu Netzwerken angeordnet sind. Künstliche Neuronen sind also keine physischen Zellen, sondern Rechenelemente, deren Aktivierungen zur Informationsverarbeitung beitragen.
Die Aktivierung eines Neurons zu beobachten, reicht jedoch nicht immer aus, um zu verstehen, wofür es steht. Dasselbe Neuron kann auf mehrere Elemente reagieren, die sehr unterschiedlich erscheinen. Diese Eigenschaft erschwert es, das Netzwerk zu verstehen: Reagiert eine Einheit auf verschiedene Konzepte, lässt sich ihr nur schwer eine einfache und eindeutige Funktion zuordnen.
Eine bislang häufig angeführte Erklärung beruht auf der Überlagerung. Dieser Hypothese zufolge könnte ein Modell dasselbe Neuron verwenden, um mehrere Konzepte zu kodieren, weil ihm nur eine begrenzte Anzahl von Einheiten zur Verfügung steht. Die Repräsentationen wären im mathematischen Raum ausreichend voneinander getrennt, um nebeneinander bestehen zu können, ohne sich zu stark gegenseitig zu beeinträchtigen. Das Neuron hätte dann mehrere Bedeutungen und wäre somit „polysem“.
Ein Beispiel, das eine Katze mit einem Auto verbindet
Um diese Schwierigkeit zu veranschaulichen, beschreibt Cammarata ein Neuron, das sowohl bei einer Katze als auch bei einem Auto aktiviert werden könnte. Auf den ersten Blick haben diese beiden Kategorien keine offensichtliche Verbindung. Im Rahmen der Überlagerung ließe sich diese gemeinsame Aktivierung dadurch erklären, dass sich zwei Konzepte ohne direkten Zusammenhang dieselbe Einheit teilen.
Der Forscher schlägt jedoch eine andere Interpretation vor. Seiner Ansicht nach würde das Neuron nicht unbedingt die Katze oder das Auto als solche erkennen, sondern eine Form, die in bestimmten Bildern beider Kategorien vorkommt: eine V-förmige Kontur. Das Gesicht einer Katze kann eine solche Form aufweisen, ebenso wie die Front bestimmter Autos.
Diese Hypothese stützt sich auch auf Beispiele, die nicht dieselbe Reaktion auslösen würden. Runde Objekte wie ein Ball oder eine Schnecke weisen das gesuchte visuelle Merkmal nicht auf und würden das Neuron daher nicht auf dieselbe Weise aktivieren. Dieses könnte somit eher auf eine gemeinsame visuelle Eigenschaft als auf zwei unabhängige Kategorien reagieren.
„Rekursive Generalisierung“ als alternativer Erklärungsansatz
Cammarata bezeichnet diesen Mechanismus als rekursive Generalisierung. Bei diesem Ansatz kann ein Neuron auf unterschiedliche Beispiele reagieren, weil sie eine gemeinsame Struktur aufweisen, die manchmal abstrakter ist als die Objekte selbst. Die Einheit würde also nicht unbedingt mehrere getrennte Konzepte speichern, sondern könnte ein wiederkehrendes Merkmal erkennen, das in unterschiedlichen Zusammenhängen vorkommt.
Diese Unterscheidung ist für die Interpretierbarkeit wichtig. Wenn ein Neuron auf mehrere Bilder reagiert, lässt sich anhand der bloßen Beobachtung nicht sofort feststellen, ob es unterschiedliche Konzepte zusammenfasst oder eine gemeinsame Eigenschaft erkennt. Die Beispiele, die visuellen Details und die Bedingungen der Aktivierung zu untersuchen, könnte helfen, diese Möglichkeiten voneinander zu unterscheiden.
Die rekursive Generalisierung beweist nicht, dass es keine Überlagerung gibt. Beide Phänomene könnten im selben Modell nebeneinander auftreten oder je nach Neuron und Aufgabe unterschiedlich zu seiner Funktionsweise beitragen. Cammaratas Vorschlag bietet vielmehr eine zusätzliche Erklärung, die sich überprüfen lässt, wenn eine Einheit scheinbar auf sehr unterschiedliche Inhalte reagiert.
Neuronen besser verstehen, um ganze Modelle zu untersuchen
Die Analyse von Neuronen ist Teil eines Forschungsgebiets, das als mechanistische Interpretierbarkeit bezeichnet wird. Es versucht, die internen Mechanismen eines Modells zu identifizieren, statt sich darauf zu beschränken, die Eingaben mit den ausgegebenen Antworten zu vergleichen. Die Untersuchung einzelner Aktivierungen könnte dadurch bestimmte Schritte der Informationsverarbeitung sichtbar machen und Hinweise darauf liefern, warum ein bestimmtes Verhalten auftritt.
Dieser Ansatz ist auch für Akteure von Interesse, die Werkzeuge rund um KI entwickeln. Neue Anwendungen verändern die Berufswelt bereits, und es entstehen innovative Berufe im Zusammenhang mit künstlicher Intelligenz. Die Mechanismen der Modelle zu verstehen, wird damit zu einer wissenschaftlichen und praktischen Herausforderung, insbesondere wenn es darum geht, ihre Fähigkeiten und Grenzen besser einzuschätzen.
Nick Cammarata hält die Untersuchung von Neuronen auch bei sehr großen Modellen mit bis zu mehreren Billionen Parametern für nützlich. Sollte sich diese Einschätzung bestätigen, würde dies darauf hindeuten, dass die interne Analyse komplexer Systeme zugänglicher ist als bisher angenommen. Es bedeutet jedoch nicht, dass sich bereits jede Entscheidung eines Modells vollständig und mit Sicherheit erklären lässt.
Welcher Zusammenhang besteht mit der Sicherheit und Ausrichtung von KI?
Zu verstehen, warum ein Modell auf eine bestimmte Weise antwortet, könnte dabei helfen, unerwartete Verhaltensweisen zu erkennen. Forscher könnten versuchen herauszufinden, welche internen Repräsentationen zu einer Antwort beitragen, und anschließend untersuchen, unter welchen Umständen sie auftreten. Langfristig könnten diese Erkenntnisse in die Forschung zur Ausrichtung einfließen, also dazu, wie sich das Verhalten einer KI an den Zielen und Vorgaben ihrer Entwickler ausrichten lässt.
Diese Frage gewinnt zunehmend an Bedeutung, je besser Systeme planen und mehrere Arbeitsschritte miteinander verknüpfen können. Bei autonomen Agenten reicht es nicht aus, eine einzelne Antwort zu beobachten: Man muss auch die Schritte untersuchen können, die zur Ausführung einer Aufgabe unternommen wurden. Die Untersuchung interner Mechanismen könnte Methoden zur Überwachung und Kontrolle ergänzen, ohne jedoch für sich allein zu garantieren, dass ein System immer wie vorgesehen handelt.
Zur Sicherheit von Systemen gehört auch der Schutz der Informationen, die durch sie fließen. Technologien wie Blockchain werden daraufhin untersucht, die Rückverfolgbarkeit und den Schutz von Daten zu verbessern – ein Thema, das in diesem Artikel über die Rückverfolgbarkeit von Daten mithilfe der Blockchain behandelt wird. Die Interpretierbarkeit von Modellen und der Schutz von Daten betreffen unterschiedliche Herausforderungen, können aber beide zu einer umfassenderen Auseinandersetzung mit dem Vertrauen in digitale Werkzeuge beitragen.
Begeisterte Reaktionen, aber auch Vorbehalte
Cammaratas Veröffentlichung hat unter Fachleuten unterschiedliche Reaktionen ausgelöst. Sam Altman, der an der Spitze von OpenAI steht, lobte die Arbeit, während Tarun Gogineni, ebenfalls Mitarbeiter des Unternehmens, sie als wichtigen Schritt für die Wissenschaft bezeichnete. Andere Forscher begrüßten den Ansatz mit Interesse, waren jedoch der Ansicht, dass er die grundlegenden Schlussfolgerungen des Forschungsgebiets nicht unbedingt verändert.
Neel Nanda von Google DeepMind äußerte insbesondere Vorbehalte gegenüber der Tragweite dieses Vorschlags. Selbst wenn es gelänge, jedes Neuron einzeln zu verstehen, wäre es weiterhin sehr schwierig, das Verhalten des Netzwerks als Ganzes vorherzusagen. Als Analogie wird das Wetter herangezogen: Die Eigenschaften der mikroskopischen Bestandteile zu kennen, reicht nicht aus, um die Entwicklung eines komplexen Systems einfach vorherzusagen.
Ein weiterer Vorbehalt betrifft das mögliche Zusammenspiel der Erklärungen. Die Entdeckung, dass ein Neuron ein gemeinsames Merkmal erkennt, erlaubt es nicht, die Überlagerung automatisch auszuschließen. Manche Aktivierungen können mit gemeinsamen Eigenschaften zusammenhängen, während andere daraus entstehen können, dass eine Einheit für mehrere Repräsentationen wiederverwendet wird. Die Forscher müssen daher herausfinden, in welchen Fällen welcher Mechanismus zum Tragen kommt.
Eine Hypothese, die noch untersucht werden muss
Die vorgestellten Ergebnisse wurden noch nicht durch eine umfassende unabhängige Begutachtung bestätigt. Fachleute müssen die verwendeten Methoden prüfen, die Beobachtungen reproduzieren und testen, ob die rekursive Generalisierung auch auf andere Neuronen, andere Modelle und verschiedene Datentypen zutrifft. Insbesondere muss überprüft werden, ob tatsächlich ein gemeinsames Merkmal vorliegt oder ob es sich um einen Zufall bei den Aktivierungen handelt.
Diese Vorsicht ist umso wichtiger, als die Interpretierbarkeit konkrete Sicherheitsfragen berührt. KI-Modelle beanspruchen erhebliche Rechenressourcen, und ihre Entwicklung findet in einem Umfeld mit energetischen Einschränkungen statt. Die Debatten über die Verfügbarkeit und Sicherung von Energie, wie sie etwa im Zusammenhang mit dem Engagement der G7 angesichts der Spannungen auf dem Energiemarkt geführt werden, zeigen, dass der Aufstieg dieser Technologien auch von materiellen und geopolitischen Bedingungen abhängt.
Vorerst ist Cammaratas Vorschlag also ein Forschungsansatz und keine endgültige Erklärung der Funktionsweise künstlicher Neuronen. Er hebt die Möglichkeit hervor, dass manche scheinbar widersprüchlichen Aktivierungen auf gemeinsamen und erkennbaren Mustern beruhen. Weitere Analysen müssen die tatsächliche Tragweite dieser Idee ermitteln und klären, was sie zur Erklärung großer Sprachmodelle beitragen kann.
