Die Evolution der KI-Sprachmodelle: Eine Studie über das Verhalten von GPT-4 und GPT-3.5 | 21.07.2023
Die fortschreitende Entwicklung der Künstlichen Intelligenz (KI) wird nicht nur durch die Produktion immer leistungsfähigerer Modelle erkennbar, sondern auch durch die dynamische Veränderung des Verhaltens bestehender Modelle im Laufe der Zeit. Eine kürzlich durchgeführte Studie untersuchte die Drifts, d.h. Veränderungen im Verhalten, von zwei Schlüssel-KI-Sprachmodellen von OpenAI, GPT-4 und GPT-3.5, über einen Zeitraum von einigen Monaten. Dieser Blog-Beitrag fasst die wichtigsten Ergebnisse dieser Untersuchung zusammen, die du hier finden kannst und über welche Golem auch berichtete.
Die Studie zeigte eine signifikante Veränderung in der Genauigkeit und Verbosität beider Modelle im Verlauf von März bis Juni. Die Forscher schlugen vor, dass diese Unterschiede auf die Drifts der sogenannten "Denkketten-Effekte" zurückzuführen sein könnten. Im März konnte GPT-4 eine Aufgabe, wie die Prüfung, ob eine Zahl eine Primzahl ist, erfolgreich in mehrere Schritte zerlegen und das korrekte Ergebnis liefern. Bis Juni jedoch schien die Kette der Denkprozesse nicht mehr zu funktionieren, und das Modell produzierte eine einfache, falsche Antwort.
Ähnlich verhielt es sich mit GPT-3.5, das ursprünglich dazu neigte, zuerst eine falsche Antwort zu generieren und dann die korrekten Denkschritte durchzuführen. Mit der Juni-Version schien dieses Problem behoben zu sein, da das Modell zuerst die Denkschritte durchlief und dann die korrekte Antwort generierte.
Ein weiterer wichtiger Aspekt, den die Studie untersuchte, war die Reaktion der KI-Modelle auf sensible Fragen. Dabei stellten die Forscher fest, dass GPT-4 im Juni weniger sensible Fragen beantwortete als im März, während GPT-3.5 mehr sensible Fragen beantwortete. Dies deutet darauf hin, dass GPT-4 möglicherweise eine stärkere Sicherheitsschicht im Juni-Update erhielt, während GPT-3.5 weniger konservativ wurde.
Die Fähigkeit der Modelle, ausführbaren Code zu generieren, war ein weiterer Bereich, der untersucht wurde. Hier zeigte sich ein signifikanter Rückgang in der Anzahl der direkt ausführbaren Code-Generationen von März bis Juni für beide Modelle.
Zum Schluss wurde auch die Fähigkeit zur visuellen Argumentation untersucht, wobei nur marginale Verbesserungen für beide Modelle festgestellt wurden.
Die Studie zeigte deutlich, dass das Verhalten von GPT-3.5 und GPT-4 im Laufe der Zeit erheblich variiert hat. Das unterstreicht die Notwendigkeit, das Verhalten von KI-Modellen in Produktionsanwendungen kontinuierlich zu bewerten und zu beurteilen.
Für Nutzer oder Unternehmen, die auf KI-Sprachmodelle in ihrem Arbeitsablauf angewiesen sind, empfehlen die Forscher daher, ähnliche Überwachungsanalysen durchzuführen, um sicherzustellen, dass die KI-Dienste nach wie vor zuverlässig und sicher sind.
Das Bewusstsein für diese sogenannte "KI-Drift" und das Verständnis ihrer Implikationen sind entscheidend, um die Sicherheit und Effektivität von KI-Modellen in der Praxis zu gewährleisten. Es zeigt auch, dass die Entwicklung der KI nicht nur in der Produktion neuer Modelle, sondern auch in der kontinuierlichen Anpassung und Verbesserung bestehender Modelle zu sehen ist.