Chat GPT kapituliert bei Stack Overflow Fragen

Chat GPT kapituliert bei Stack Overflow Fragen

• Fast jede 2. Antwort falsch #Purdue #University sieht viele Probleme beim Programmieren

West Lafayette, PTE, 11. August 2023

Der generative KI Chatbot Chat GPT von Open AI ist laut #Forschern der Purdue University nur bedingt als Antwortgeber für Programmierfragen geeignet. Bei der Erstellung von Code Fragmenten für Software Vorhaben lieferte das Tool in Tests nur bedingt hilfreiche Ergebnisse insbesondere bei #Stack #Overflow.

Ernüchternde Testergebnisse

Die Ergebnisse der Testreihe sind ernüchterd, denn der #Chatbot hat mit 48 Prozent noch nicht einmal die Hälfte der gestellten Fragen korrekt beantwortet. Zudem fielen 78 Prozent der Antworten im Vergleich zu menschlichen Antworten auf verschiedenen Ebenen inkonsistent aus dennoch formaler, analytischer und in weniger negativer #Tonalität.

Bedingt dadurch konnten 39 Prozent der #Fragesteller dadurch überzeugt werden. Allerdingt gibt es nur bei 22 Prozent Übereinstimmungen zu den von Menschen gegebenen Antworten. Einen Pluspunkt kassiert Chat GPT allerdings in Sachen #Verständlichkeit, wie es heißt. Der #Bot sei zu 65 Prozent verständlich und die Antworten gut lesbar. Ein Problem bleibt nach wie vor die Fülle an gelieferten irrelevanten Infos.