// SCINEXX — SPAZIO & SCIENZA
ChatGPT, Claude & Co.: Rätsel um das Lernen der KI-Sprachmodelle gelöst
Je größer ein KI-Modell ist, desto mehr Details könnte es aus seinen Trainingsdaten auswendig lernen, doch manche sehr große Netze bewältigen auch neue Aufgaben erstaunlich gut. Physiker zeigen nun an vereinfachten mathematischen Lernmodellen, wie statistische Schwankungen die Wirkung einer eingebauten Begrenzung verändern und ungewöhnliche Lernkurven erklären können. Ob derselbe Mechanismus auch große Sprachmodelle bestimmt, bleibt offen.
Cambridge (U.S.A.). Beim maschinellen Lernen reicht es nicht aus, Aufgaben aus bekannten Beispielen korrekt zu lösen, denn ein Modell muss Regeln erfassen, die auch für bisher unbekannte Daten gelten. Gerade bei großen neuronalen Netzen ist das bemerkenswert, weil sie mit ihren zahlreichen veränderbaren Parametern auch zufällige Eigenheiten der Trainingsdaten nachbilden können.
Wenn sich ein Lernverfahren zu stark an solche Eigenheiten anpasst, sprechen Fachleute von Überanpassung oder Overfitting. Seine Fehler bei bekannten Beispielen sind dann klein, während seine Vorhersagen für neue Fälle unzuverlässig werden. Größere Modelle schneiden aber nicht zwangsläufig schlechter ab, sondern verbessern unter geeigneten Bedingungen ihre Ergebnisse sogar mit zunehmender Modellgröße oder wachsender Datenmenge.
Forscher der Harvard University um Prof. Cengiz Pehlevan haben nun untersucht, wie sich solche Lernphänomene mit der statistischen Physik beschreiben lassen. Anstelle von ChatGPT oder einem anderen umfangreichen Sprachmodell analysierten sie mathematisch einfachere Verfahren, insbesondere die Ridge-Regression, bei der ein zusätzlicher Strafterm allzu große Modellgewichte begrenzt und so einer Überanpassung entgegenwirken soll.
Anders als ein von Hand festgelegtes Regelwerk verändern lernende Systeme ihre Parameter anhand von Beispieldaten, weshalb sich ihr Verhalten nicht allein aus der Beschreibung der einzelnen Rechenschritte ablesen lässt. Für Alexander Atanasov, einen der Studienautoren, macht das die Analyse komplexer neuronaler Netze besonders schwierig.
„Es ähnelt eher einem im Labor gezüchteten Organismus“, erklärt Alexander Atanasov von der Harvard University.
Die Forscher betrachteten deshalb mathematisch kontrollierbare Modelle mit sehr vielen Variablen. Sie untersuchten, wie die Zahl der Trainingsbeispiele, die Zahl der Modellparameter und die statistische Struktur der Daten zusammenwirken. Daraus leiteten sie Formeln für Fehler beim Training und bei der Vorhersage unbekannter Daten ab.
Ein entscheidender Ansatzpunkt sind zufällige Schwankungen in der statistischen Beschreibung der Trainingsdaten. Mithilfe der Theorie großer Zufallsmatrizen zeigen die Wissenschaftler, dass sich deren Einfluss unter bestimmten Voraussetzungen mathematisch so darstellen lässt, als ändere sich die Stärke des Strafterms der Ridge-Regression. Diese Umrechnung entspricht einer sogenannten Renormierung, einem Verfahren, mit dem die Physik komplexe Einflüsse in wirksamen Größen zusammenfasst.
Die Formeln machen sichtbar, wie sich Überanpassung und Vorhersagefehler aus verschiedenen Beiträgen zusammensetzen. Die Schwankungen können dabei in bestimmten Bereichen eine regulierende Wirkung entfalten. Allerdings ergeben sich je nach Struktur der Daten und des Modells unterschiedliche Verläufe, darunter auch Fälle, in denen mehr Modellparameter die Vorhersagen zunächst verschlechtern.
„Das verstehen wir anhand einfacherer linearer Modelle“, erklärt Prof. Cengiz Pehlevan.