ChatGPT – die Probe aufs Exempel

Die Aufregung war gross, die Medienberichte zahlreich, als Ende November letzten Jahres ChatGPT der Öffentlichkeit vorgestellt wurde. Textgenerierung, Übersetzungen und auch Korrekturen meistert der Chat-Bot, mit dem sich sehr natürlich in einem Chat-Fenster kommunizieren lässt, souverän. Doch wie zuverlässig ist das System? Dieser Frage – und einigen anderen – gehen wir in diesem Blog nach.

Illustration Mensch und Maschine

Zahlen und Fakten

Über 1 Million Userinnen und User haben sich bei ChatGPT innerhalb der ersten 5 Tage nach dem Launch im November 2022 registriert.

  • Das System kann Texte in rund 100 Sprachen schreiben, übersetzen, korrigieren, zusammenfassen; ebenso kann es Programm-Codes erstellen oder auch Excel-Formeln generieren.
  • Mehr als 8 Millionen Dokumente mit über 10 Milliarden Wörtern wurden als Datengrundlage in das System eingelesen.
  • Die Datenbank ist nicht mit dem Internet verbunden. Heisst: Antworten zu ganz aktuellen Themen, die nach 2021 herauskamen, können nicht geliefert werden.
  • Am 23.01.2023 wurde bekannt, dass Microsoft plant, über 10 Milliarden in die Tech-Firma OpenAI zu investieren

Kürzlich besuchte ich einen alten Schulfreund, der als Programmierer arbeitet. Er erstellt komplexe Websites mit integrierten Applikationen, beispielsweise, um beim Kauf einer Luxus-Uhr deren Konfiguration vorzunehmen. «Jetzt arbeite ich mit ChatGPT, um Teile des Programmier-Codes zu generieren und ja, es funktioniert». Das hat mich echt beeindruckt. Doch wie sieht es bei den Hauptanwendungen aus, das heisst beim Texten und Übersetzen?

Kann man KI-Texte identifizieren?

Grundsätzlich muss ich zugeben: Dieser Technologiefortschritt hat ganz klar disruptives Potenzial. So etwas kostenlos der ganzen Welt zur Verfügung zu stellen, stellt unter anderem Lehrpersonen, Professorinnen und Professoren und allgemein Bildungsinstitutionen vor gröbere Probleme – wie kann man erkennen, dass der absolut natürlich klingende Text, zum Beispiel bei Abschlussarbeiten, nicht von der KI, geschrieben wurde? Bemühungen gibt es zwar, solche Texte zu erkennen – ob dies dann wirklich zu 100 % funktioniert, bleibt meines Erachtens fraglich.

Ein Wissenstest

Machen wir die Probe aufs Exempel: Mich nimmt Wunder, welches der höchste Berg im Kanton Zürich ist. Also gebe ich im Chat-Fenster ein: «Welches ist der höchste Berg im Kanton Zürich?». Einfacher könnte die Bedienung effektiv nicht sein. Tödi lautet die Antwort. Doch dieser Berg liegt im Grenzgebiet zwischen Glarus und Graubünden, die Zürcher Kantonsgrenze befindet sich über 50 Kilometer von seiner Bergspitze entfernt. An der Antwort von ChatGPT ist ein Teil korrekt: «der grössere Teil liegt im Kanton Graubünden» – doch der kleinere eben nicht im Kanton Zürich.

Das Beispiel macht klar: Man kann nicht auf wahrheitsgetreue Aussagen von ChatGPT zählen. Die Entwickler machen daraus keinen Hehl: Unter den «Limitations» steht ganz klar, dass Missinformationen entstehen können. Das sogenannte Post-Editing – die Bearbeitung von Texten, die die KI geschrieben hat – wird somit auch in Zukunft nötig sein.

Einsatz für Gebiete, von denen man eine Ahnung hat

Wann also ist der Gebrauch der Software effizient und angebracht? Meiner Meinung nach vor allem dort, wo man mindestens grobe Kenntnisse eines Gebiets hat. Der Chat-Bot übernimmt so das (zeitaufwendige) Texten, Formulieren und Faktensammeln – wobei im Rahmen einer Publikation diese Fakten unbedingt geprüft werden sollten.

Der Übersetzungstest

Auch bei Übersetzungen macht das künstliche Hirn eine gute Falle, doch auch hier ist Vorsicht geboten, wie mein Testlauf mit einer Übersetzung eines deutschen Satzes auf Französisch zeigt:

Mein Input ist ein Abschnitt aus einer Abschlussarbeit einer Pflegefachfrau. Dieser enthält unter anderem folgenden Satz: Ich konnte anhand der Kurzzeit- und Langzeitgedächtnis-Aufgaben feststellen, wie ihre Leistungsfähigkeit im Gedächtnis aussieht.

Die resultierende Übersetzung: J'ai pu évaluer leur capacité de mémoire en fonction des tâches de mémoire à court terme et à long terme.

Die Übersetzung ist zwar sprachlich richtig, doch es geht dabei um eine ältere Frau. Dies hätte der Chat-Bot aufgrund der ebenfalls eingespeisten Sätze im Vorfeld realisieren müssen. Die Mehrzahl «leur» ist also falsch, müsste es doch «sa capacité» heissen. Mit anderen Worten: Auch eine generierte Übersetzung muss von einem Menschen geprüft werden.

apoWRITER

Gut zu wissen: Auch Apostroph bietet ein KI-Tool an. Seit letztem Sommer haben unsere Software-Entwickler zusammen mit Kundinnen und Kunden diese KI-Tools intensiv getestet. Daraus ist der apoWRITER mit kundenspezifischen Funktionalitäten entstanden, der Kommunikationsabteilungen und Redaktionsteams bei folgenden Arbeiten unterstützen kann:

  • Blog-Ideen sammeln
  • Blog-Artikel schreiben
  • Social-Media-Posts redigieren
  • Metatexte verfassen
  • automatische Textverarbeitung wie Zusammenfassungen oder Keyword-Extrahierung

Wir begleiten unsere Kundinnen und Kunden bei ihren ersten Schritten mit dem KI-Texter und zeigen auf, wo dieser am sinnvollsten eingesetzt werden kann und wo der menschliche Feinschliff unabdingbar ist. Unsere Texterinnen und Texter sollen also keinesfalls ersetzt werden. Gerade im Hinblick auf die Korrektheit des Inhalts ist eine Nachbearbeitung von zentraler Bedeutung. Und wenn es darum geht, Emotionen zu wecken und mit einer Botschaft ins Schwarze zu treffen, werden unsere Kreativ-Texterinnen und -Texter noch lange die Nase vorne haben.

Fandet ihr diesen Artikel interessant? Möchtet ihr eure Erfahrungen mit ChatGPT mit uns teilen? Schreibt uns auf freelance@apostrophgroup.ch.

Gemeinsam Ziele erreichen

  • Eine verlässliche Partnerin

    Über unser Portal myFREELANCE wickelt ihr Jobs ganz einfach ab, und die monatliche und pünktliche Zahlung lässt euch gut schlafen.
  • Euer Draht zu Apostroph

    Bei uns habt ihr persönlichen Kontakt zu unseren Mitarbeitenden im Projektmanagement. Sie beantworten eure Fragen und unterstützen euch bei der Abwicklung der Aufträge.
  • Die Apostroph Community

    Der rege Austausch, spannende und unterhaltsame Beiträge in der Language Lounge und das Weiterbildungsangebot machen unsere Community aus.