ChatGPT: Wissenschaftler warnen Programmierer vor Fehlern

Um den Workflow zu beschleunigen, verlassen sich mittlerweile viele Programmierer auf die Unterstützung von ChatGPT. Doch eine jüngst veröffentlichte Untersuchung von Forschern zeigt nun, dass das wohl keine gute Idee ist. Die Ergebnisse der KI sollen zum Teil nämlich gravierende Fehler beinhalten.

Warnung vor ChatGPT in der IT

In der IT hat sich ChatGPT für Viele als ein echter Segen erwiesen. Schließlich verwenden Programmierer den Chatbot gerne, um ihre Quellcodes nicht nur überprüfen zu lassen. Manch einer lässt sogar ganze Codes von der KI schreiben. Nun hat ein Team von Wissenschaftlern im Rahmen der CHI 2024 eine Studie präsentiert, die  deutlich macht, dass der Einsatz wohl keine allzu gute Idee ist. Im Rahmen der Untersuchung haben die Forscher gleich mehrere Chatbots unter die Lupe genommen.

Doch die Ergebnisse der KI-gestützten Helferlein ähnelten sich stark. So ging aus der Studie hervor, dass die Antworten von ChatGPT und Co. diverse Fehler aufweisen. Satte 50% der von der KI erarbeiteten Ergebnisse waren gespickt von Fehlern. In ihrer Untersuchung griffen die Wissenschaftler auf einen Fragenpool der Plattform Stack Overflow zurück. Die dort gestellten Fragen wurden zielsicher von ChatGPT beantwortet.

Beim genauen Hinsehen fiel den Forschern dann aber auf, dass die von der KI herausgegebenen Codes diverse Fehler aufwiesen. Aus einem Artikel der Kollegen von Golem.de geht hervor, dass die KI offenbar Probleme hat, Kontext zu erfassen. Wenig verwunderlich ist, dass die Probleme vor allem bei Fragen bestanden, die recht selten gefragt bzw. beantwortet wurden. Schließlich nutzt der Chatbot gerne solche Foren als Trainingsdaten.

Fehlerhaft, aber freundlich

Trotz der Fehler sind viele Programmierer bei ihrer Arbeit mit der Unterstützung von ChatGPT und Co. begeistert. Das liegt offenbar daran, dass die Antworten der KI nicht nur ausführlich formuliert wurden. Obendrein sind die Tools darauf bedacht, einen möglichst freundlichen Umgangston zu verwenden. In Foren, die der Problemlösung dienen, ist das meist nicht die Regel.

Dennoch sehen die Forscher nun einen Anlass zur Reaktion in der IT-Branche. So sollten die Nutzer nicht blindlings die Unterstützung von ChatGPT und Co. suchen. Vielmehr sei es wichtig, die Ergebnisse der KI noch einmal eingehend zu kontrollieren. Andernfalls könnten schwere Softwarefehler die Folge sein, was sicherlich nicht im Interesse der Programmierer sein dürfte.