Quelle: Weiterbildungsblog Autor: jrobes
Die Anmerkungen von Joshua Weidlich beziehen sich auf einen Artikel, auf den ich vor einigen Tagen auch verlinkt habe („Does ChatGPT enhance student learning? A systematic review and meta-analysis of experimental studies“). Dabei habe ich, noch sehr vorsichtig, auf die „Komplexität“ dieser Metaanalyse hingewiesen und bin dabei weitgehend den methodischen Einschränkungen gefolgt, die die Autor:innen selbst eingestanden haben. Joshua Weidlich geht in diesem LinkedIn-Beitrag noch einen Schritt weiter. Er zweifelt generell die Wissenschaftlichkeit sowohl der Metaanalyse selbst als auch der in ihrem Rahmen untersuchten Studien an. Er hinterfragt zum einen das Design der Metaanalyse: „On a conceptual level, there is the question of what these experiments are comparing exactly?“ Und er zweifelt daran, dass hier überhaupt „Lernerfolge“ erhoben wurden: „Second, I had a quick look at the *first* primary study in the corpus (Ahmed Moneus & Al-Wasy, 2024) and it took me 2 minutes to realize that the outcome did not measure anything related to learning.“
Sein Fazit: „Sorry, I have no positive lesson or uplifting outlook to draw from this. But I can’t help but think that this stems from a culture of jumping on the newest hot topic, rushing research, trying to be the first to publish. Given the timeline, it should be obvious that this work is premature at best. At worst, and more likely, it synthesizes almost exclusively early and low quality research. Slow down, people.“
Joshua Weidlich, LinkedIn, Januar 2025