Let’s challenge ChatGPT in German

Let’s challenge #ChatGPT in German 🔥🔥🔥

Fazit: es ist viel besser, als ich dachte!

Als ich gestern meinen Eltern die neue Revolution am ChatBot-Markt vorführen wollte, waren wir mit den erst einfachen Fragen so begeistert ob ihrer Qualität, so dass ich richtig Lust bekam, ChatGPT in eine Situation zu manövrieren, die mehr als ein paar einfache Datenbank-Abfragen erfordert.

1️⃣ LEVEL 1 — Einstiegsfrage:

“Welche Rolle spielte Japan im Zweiten Weltkrieg?”

Die Antwort kam prompt, war absolut indiskutabel richtig und deckt so alles ab, was man dazu in einschlägiger Geschichtsliteratur als Summary finden würde. Das war somit viel zu einfach und einem ChatGPT unwürdig.

Japan war ein Mitglied der Achsenmächte und hat im Zweiten Weltkrieg eine wichtige Rolle gespielt. Die japanische Armee und Marine waren an zahlreichen Kriegshandlungen im Pazifik und in Ostasien beteiligt, darunter der Angriff auf Pearl Harbor, der zum Eintritt der USA in den Krieg führte. Japan hat auch Kriegsverbrechen während des Krieges begangen, darunter die Deportation und Ermordung von Zivilisten in besetzten Gebieten. Am Ende des Krieges wurde Japan von den Alliierten besetzt und unterwarf sich einer umfassenden Demokratisierung und Wirtschaftsreform unter der Aufsicht der USA

Die Antworten sind bei jeder erneuten Fragestellung unterschiedlich, mal länger, mal kürzer. Die aller erste Antwort auf meine Frage war am ausführlichsten und ist unten als Screenshot angehängt.

Let’s Level Up.

2️⃣ LEVEL 2 — machen wir es schwieriger:

“Welche Rolle spielte Albanien im Zweiten Weltkrieg?”

Hier dauerte es fast eine Minute, bis ein Ergebnis kam. ChatGPT “googelte” lange, fand wohl nichts und brauchte eine andere Herangehensweise. Denn Albanien war im Krieg selbst nicht involviert.

Die Antwort: äußerst brilliant! ChatGPT schrieb, dass das Land damals noch von Italien besetzt war, selbst in einen Unabhängigkeitskampf verwickelt war und holte einmal groß aus.

Als ich die Frage heute ein zweites Mal stellte, bekam ich eine neue Antwort mit weiteren Details. ChatGPT scheint die einmal gestellten Fragen weiter auszuloten:

Albanien war während des Zweiten Weltkriegs ein unabhängiger Staat, der jedoch von den Achsenmächten besetzt wurde. Zunächst wurde das Land von Italien besetzt, später im Krieg von Deutschland. Albanien war ein wichtiger Standort für die deutsche Wehrmacht im Balkan und wurde von den Alliierten bombardiert. Nachdem die Kommunisten unter Führung von Enver Hoxha an die Macht gekommen waren, trat Albanien dem Warschauer Pakt bei und wurde ein treues Mitglied der Sowjetunion.

Okay, jetzt machen wir es richtig schwierig:

3️⃣ LEVEL 3: Geschichts-Experten-Modus

“Welche Rolle spielte Pakistan im Zweiten Weltkrieg?”

Wieder tauchte ChatGPT erstmal ab und brauchte eine Minute. Denn der Staat Pakistan existierte zu diesem Zeitpunkt noch gar. Die Antwort enthält also genau dieses Detail, geht in die Gründungsgeschichte von Pakistan ein und verweist darauf, dass viele Pakistanis an Seiten von Großbritanien im Zweiten Weltkrieg kämpften.

Die Antwort von heute nach Wiederholung der Frage:

Pakistan war zum Zeitpunkt des Zweiten Weltkriegs noch nicht als unabhängiger Staat existent. Das Gebiet, das heute Pakistan darstellt, war Teil des Britischen Indien und wurde während des Krieges von britischen Truppen verteidigt. Viele Pakistani haben im Krieg in der britischen Armee gekämpft, insbesondere in Nordafrika und im Nahen Osten. Nach dem Krieg wurde Pakistan 1947 als unabhängiger Staat gegründet.

Das besondere an meiner Frage aus Sicht des ChatBots ist ja der folgende notwendige “Ablaufplan” (für diesen Begriff möchten mich AI-Experten bestimmt ohrfeigen):

1. Es gibt keinen Bezug von Pakistan zum Zweiten Weltkrieg, weil der Staat nicht existierte. Demnach gibt es dort auch keine Ergebnisse innerhalb dieses konkreten Kontextes
2. Feststellen, dass Pakistan erst nach dem Zweiten Weltkrieg als Staat gegründet wurde und dies in den Kontext einbringen
3. Die Gründungsgeschichte Pakistans herleiten, diese aber für die Antwort in den sprachlichen Kontext einarbeiten und in Bezug zum Zweiten Weltkrieg stellen

Das ist grandios! Und das ist nur eine Beta. Ich freue mich auf das nächste Release.

Erstaunlich finde ich, dass die Antworten bei der heutigen Fragen-Wiederholung kürzer ausfielen. Als würde im Hintergrund eine Art “Summary”-Algorithmus laufen, die die ursprünglich gesammelten Beiträge noch einmal zusammen fasst, um aus 3 Absätzen nur einen zu machen. Die ursprüngliche Herleitung fand ich dafür viel treffender. Aber das mag Geschmackssache sein.