Chat GPT-3 spuckt eindrucksvolle Antworten aus. Forscher des Max-Planck-Instituts für biologische Kybernetik haben es auch auf allgemeine Intelligenz hin untersucht.

Wissenschaftler des Max-Planck-Instituts unterzogen GPT-3 einer Reihe psychologischer Tests. Die Forscher wollten mit Blick auf eine allgemeine Intelligenz testen, wie gut GPT-3 entscheiden, Informationen suchen, kausal schlussfolgern und eigene intuitive Ersteinschätzungen in Frage stellen kann. „Ein solcher klassischer Test der kognitiven Psychologie, den wir GPT-3 gestellt haben, ist zum Beispiel das sogenannte Linda-Problem“, erläutert Marcel Binz, Hauptautor der Studie.

Den Versuchspersonen wird hierbei eine fiktive junge Frau namens Linda beschrieben, die unter anderem an sozialer Gerechtigkeit interessiert und Atomkraftgegnerin ist. Auf Basis dieser Informationen soll entschieden werden, was wahrscheinlicher ist: Ist Linda eine Bankangestellte oder ist sie Bankangestellte und gleichzeitig aktive Feministin? Die meisten Menschen wählen hier intuitiv die zweite Alternative, obwohl die zusätzliche Bedingung einer aktiven Feministin diese Option rechnerisch unwahrscheinlicher macht. So wählt auch GPT-3: Das Sprachmodell entscheidet also nicht nach logischen Gesichtspunkten, sondern reproduziert den menschlichen Denkfehler.

„Möglicherweise spielt hier eine Rolle, dass GPT-3 genau diese Aufgabe bereits kennen könnte und weiß, welche Antwort Menschen darauf meist geben“, sagt Binz. Wie jedes neuronale Netz musste GPT-3 nämlich erst einmal auf seine Aufgaben trainiert werden. Um sicherzugehen, dass GPT-3 nicht nur eine Lösung für ein konkretes Problem „auswendig weiß“, erfanden die Forscher ähnlich gestaltete Aufgaben. Das Ergebnis war heterogen: Wenn es darum ging, rationale Entscheidungen zu treffen, schnitt GPT-3 annähernd so gut wie Menschen ab. Bei gezielter Informationssuche oder kausalem Schlussfolgern hingegen war die künstliche Intelligenz aber deutlich abgeschlagen.