Egy AI kvíz generátor használata elsőre szinte túl jónak tűnik.
Feltöltesz egy PDF-et, vársz néhány másodpercet, és már ott is van húsz kérdés. Négy válaszlehetőség, pontszám, helyes válasz, talán még rövid magyarázat is.
A kérdés az, hogy ettől lett-e húsz jó tanulási feladatod.
Nem feltétlenül.
Egy kvíz ugyanis nem attól hasznos, hogy kérdőjel van a mondat végén. Lehet nyelvtanilag hibátlan, lehet egyetlen egyértelmű helyes válasza, és még így is mérheti azt, amire a vizsgán semmi szükséged nem lesz. Kérdezhet jelentéktelen részleteket. Súghat a megfogalmazásával. Kérhet olyat, amit még nem tanultál meg. Vagy minden kérdésnél ugyanazt a felszínes felismerést gyakoroltathatja.
Ezért amikor AI-val kvízt készítünk, szerintünk nem az a legérdekesebb kérdés, hogy hány kérdést tud legenerálni.
Hanem az, hogy:
mit akar megtanítani vagy ellenőrizni az adott kérdés?
Ha erre nincs jó válasz, a kvíz könnyen csak látványos kattintgatás lesz.
A kvíz nem csak vizsga
A „teszt” szóról sokan rögtön értékelésre gondolnak.
Megírod.
Kapsz 72%-ot.
Kiderül, átmentél-e.
Tanulás közben viszont a kvíznek teljesen más szerepe is lehet: maga a kérdésre adott válasz is gyakorlás.
A retrieval practice-ről szóló kutatások hosszú ideje azt mutatják, hogy amikor a tanuló megpróbálja emlékezetből előhívni a korábban tanult információt, az javíthatja a későbbi hozzáférést ehhez a tudáshoz. Kathleen McDermott 2021-es áttekintése szerint ez a hatás sokféle tananyagnál, korosztálynál és tesztformánál megjelenik.
McDermott (2021) – Practicing Retrieval Facilitates Learning
Ezért egy jól elkészített gyakorlókvíznek két feladata van egyszerre.
Megmutatja, hol tartasz.
És közben gyakoroltatja is azt, hogy elő tudd hívni a tudást.
Ez nagyon más cél, mint egyszerűen minél több kérdést készíteni egy feltöltött anyagból.
Először azt kell eldönteni, mit szeretnél tudni
Tegyük fel, hogy egy közgazdaságtan-jegyzetben szerepel az infláció.
Egy AI pillanatok alatt tud ilyen kérdést készíteni:
Melyik fogalom jelenti az általános árszínvonal tartós emelkedését?
A) Defláció
B) Infláció
C) Recesszió
D) Likviditás
Ez nem feltétlenül rossz kérdés.
Csak nagyon keveset kér.
A tanulónak fel kell ismernie egy definíciót négy lehetőség közül.
Ha viszont a tanulási cél az, hogy megértsd az infláció működését, más kérdésekre is szükség lehet:
Miért nem tekintünk minden egyedi áremelkedést inflációnak?
Vagy:
Egy gazdaságban az élelmiszerek ára emelkedik, miközben a legtöbb más termék ára változatlan. Mit kellene még tudnod ahhoz, hogy megállapítsd, inflációról van-e szó?
Vagy:
Hogyan változhat a pénz vásárlóereje tartós infláció mellett?
Ugyanaz a tananyag.
Teljesen más gondolkodási munka.
A jó kvíz tehát nem a szövegből indul ki úgy, hogy „keressünk mondatokat, amelyeket kérdéssé lehet alakítani”.
Először azt kell tisztázni, milyen tudást kell majd a hallgatónak önállóan használnia.
Egy jó kérdésnek van célja
A gyakorlatban egy kérdés többféle szerepet tölthet be.
Lehet egyszerű ellenőrzés:
Emlékszel a definícióra?
Lehet megértési próba:
El tudod magyarázni a kapcsolatot két fogalom között?
Lehet alkalmazás:
Felismered, mikor kell ezt a szabályt használni?
Lehet diagnosztika:
Megvan az az előzetes tudás, amely nélkül a következő téma nem fog összeállni?
És lehet ismétlés:
Egy héttel később is elő tudod hívni?
Ezeket nem érdemes összemosni.
Ha valaki először találkozik egy témával, nem biztos, hogy értelmes rögtön egy nehéz, vizsgaszintű alkalmazási kérdést adni neki. Ha viszont már harmadszor ismétli ugyanazt, kevés értéke van annak, hogy újra felismerjen egy definíciót négy válasz közül.
Ezért egy jó kvíznek nemcsak témája van.
Pedagógiai szerepe is.
A feleletválasztós kérdés nem rossz – csak tudni kell, mit mér
A multiple choice formátumot könnyű lenézni.
„Csak rá lehet kattintani.”
„Ki lehet tippelni.”
„Nem kell tényleg tudni.”
Van ebben igazság, de önmagában a feleletválasztós forma nem értéktelen.
Egy 2019-es áttekintés szerint a retrieval practice előnye nyitott és feleletválasztós kérdéseknél is megjelenhet. A szerzők ugyanakkor azt hangsúlyozzák, hogy a tartós tanulás szempontjából maga az előhívás a fontos, nem pusztán az, hogy a hallgató passzívan elolvassa a kérdést és a helyes választ.
Roediger & Butler / review – Using Testing as a Learning Tool
Egy jó feleletválasztós kérdésnél a rossz válaszok sem véletlenszerűek.
Például:
Melyik állítás írja le legjobban a reálkamatot?
A) A bank által kiírt kamatláb.
B) A nominális kamat inflációval korrigált értelmezése.
C) A jegybanki alapkamat másik neve.
D) A hitel teljes visszafizetendő összege.
Itt a rossz válaszok gyakori keveréseket képviselhetnek.
Ha a tanuló C-t választ, az többet mond, mint az, hogy „rossz”.
Megmutat egy konkrét fogalmi zavart.
Ez az a pont, ahol egy jó kvíz kezd hasonlítani egy tanár kérdezésére, nem pedig egy szerencsekerékre.
A rossz válaszlehetőség is része a kérdésnek
AI által generált kvízeknél ez különösen kritikus.
A modellnek viszonylag könnyű előállítani egy helyes választ.
A valóban hihető, de mégis egyértelműen hibás alternatívák megírása sokkal nehezebb.
Ha a kérdés így néz ki:
Mi a nettó jelenérték?
A) Egy befektetés jövőbeli bevételeinek és kiadásainak jelenértékre diszkontált különbsége.
B) Az alkalmazottak átlagos életkora.
C) Egy cég logójának értéke.
D) A hét napjainak száma.
akkor a tanuló anélkül is tudhatja a helyes választ, hogy értené a nettó jelenértéket.
Nem a tudását mérted.
Azt mérted, felismeri-e a három nyilvánvalóan értelmetlen választ.
Ezért az AI kvíz generátor minősége nem ítélhető meg pusztán abból, hogy minden kérdéshez képes négy opciót írni.
A distraktoroknak – a hibás válaszlehetőségeknek – hihetőnek kell lenniük azok számára, akiknél tényleg fennáll az adott félreértés, miközben egy jól felkészült hallgató számára továbbra is egyértelműnek kell maradnia a helyes válasznak.
Az AI által generált kérdés lehet szép, és közben rossz
Ez nem csak elméleti probléma.
Egy 2024-ben megjelent felsőoktatási kutatás azt vizsgálta, hogyan lehet nagy nyelvi modellekkel automatikusan kérdés-válasz párokat készíteni. A szerzők arra hívták fel a figyelmet, hogy a technikai kérdésgenerálási módszereket sokszor nem valódi oktatási környezetben és nem pedagógiai szempontok alapján értékelték. Attól, hogy egy modell képes nyelvileg elfogadható kérdést generálni, még nem következik, hogy az oktatási célra is megfelelő.
Automatic question-answer pairs generation using pre-trained large language models in higher education (2024)
Más kutatások kifejezetten óvatosságra intenek az automatikusan készített kérdésekkel kapcsolatban.
Egy patológiai oktatási vizsgálatban ChatGPT 3.5-tel generáltak 60 feleletválasztós gyakorlókérdést. A kutatók értékelése szerint csak 19 kérdés – 32% – volt teljesen megfelelő kérdéssel, válasszal és magyarázatokkal, további kérdéseknél pedig hibás vagy félrevezető válaszokat találtak. Ez egyetlen szakterület, egy adott modellverzió és konkrét prompt eredménye, tehát nem általános bizonyíték arra, hogy „az AI rosszul ír kvízt”. Jól mutatja viszont, hogy a generált kérdést nem szabad automatikusan helyesnek tekinteni csak azért, mert professzionálisan hangzik.
Artsi et al. (2024) – ChatGPT 3.5 fails to write appropriate multiple choice practice exam questions
Ez tanulói oldalról különösen fontos.
Ha egy hibás kvízkérdés alapján gondolod azt, hogy rosszul tudtál valamit, akkor már nemcsak az AI tévedett.
A rendszer félre is taníthatott.
Egy kvíz ne kérjen számon olyat, amit még nem tanultál
Ez triviálisnak hangzik.
Mégis az egyik legegyszerűbb hiba automatikus kérdésgenerálásnál.
Tegyük fel, hogy feltöltesz egy 60 oldalas jegyzetet.
Ebből ma csak az első 15 oldalt tanultad meg.
Egy egyszerű AI kvíz generátor viszont látja az egész dokumentumot, és véletlenszerűen összeállít tíz kérdést.
Hat az első részből.
Négy a későbbi fejezetekből.
Az eredményed 60%.
Mit jelent ez?
Nem feltétlenül azt, hogy a megtanult anyag 60%-át tudod.
Lehet, hogy az első 15 oldalból mindent tudtál, a maradék négy kérdés pedig olyan tudást kért, amellyel még nem találkoztál.
A százalék matematikailag korrekt.
Pedagógiailag szinte értelmezhetetlen.
Ezért fontos különbséget tenni a diagnosztikus kérdés és a megtanult anyagot ellenőrző kérdés között.
Diagnosztikában teljesen rendben lehet rákérdezni valamire, amit még nem tanultál. Pont azt szeretnénk megtudni, hogy már tudod-e.
De ha egy rendszer azt állítja, hogy a tanulásod eredményét méri, nem lenne szabad ismeretlen anyagból levonnia következtetést a teljesítményedről.
Ez a gondolat a Studoid tanulási rendszerének tervezésében is fontos: nem elég tudni, mi van a tananyagban; azt is tudni kell, miből történt már tényleges tanulás és mi a kérdés célja.
A kvíz után történő rész legalább olyan fontos, mint maga a kérdés
Képzeld el ezt:
Helytelen válasz.
Ennyi.
Tanulási szempontból ez kevés.
Most tudod, hogy hibáztál.
De nem feltétlenül tudod:
- miért hibáztál;
- mi lett volna helyes;
- mit értettél félre;
- melyik gondolkodási lépés ment rossz irányba.
A kutatások alapján a feedback sok esetben tovább erősítheti a retrieval practice előnyeit. Egy áttekintés például azt emeli ki, hogy a visszahívást igénylő tesztelés, időben elosztva és visszajelzéssel kiegészítve különösen hasznos kombináció lehet.
Binks (2018) – Testing enhances learning: A review of the literature
Ezért egy jó gyakorlókvíz nem áll meg ott, hogy piros vagy zöld lett a válasz.
Például:
Nem egészen. A nominális kamatot választottad, de a kérdés arra kérdezett rá, hogy az infláció figyelembevételével hogyan értelmezzük a hozamot. Próbáld újra: melyik fogalom korrigálja a nominális kamatot az árszínvonal változásával?
Itt a visszajelzés nem egyszerűen kiírja a helyes választ.
Segít lokalizálni a hibát, majd visszaadja a gondolkodási feladatot a tanulónak.
De a feedback sem legyen automatikusan egy mini tankönyv
A másik véglet, amikor egy hibás válasz után az AI kiír három bekezdést.
A kérdés egyszerű volt.
A feedback hosszabb, mint az eredeti tananyag.
Ez sem feltétlenül jobb.
A visszajelzésnek arra kell reagálnia, ami a válaszban történt.
Ha csak apró számolási hibád volt, nem szükséges újratanítani az egész témát.
Ha egy fogalmat keversz össze egy másikkal, érdemes a különbséget tisztázni.
Ha teljesen hiányzik az alap, akkor valóban kellhet új magyarázat.
Egy jó tutor nem minden hibára ugyanazzal a sablonnal reagál.
Egy jó AI-alapú kvíznek sem kellene.
Ugyanaz a kérdés másodszor már nem feltétlenül ugyanazt méri
Ez különösen fontos akkor, amikor az AI a hibás válasz után megmutatta a megoldást.
Ha öt másodperccel később felteszi pontosan ugyanazt a kérdést, és most helyesen válaszolsz, mit bizonyítottál?
Lehet, hogy megértetted.
De az is lehet, hogy egyszerűen emlékszel az előbb látott válaszra.
Ezért a valódi újraellenőrzéshez jobb lehet egy új, de ugyanazt a tudást igénylő kérdés.
Például először:
Ha a nominális kamat 8%, az infláció pedig 5%, körülbelül mekkora a reálkamat egyszerű közelítéssel?
A feedback után ne ugyanazt kérdezd újra.
Hanem:
Egy megtakarítás évi 6%-ot hoz, miközben az infláció 2%. Mit mondanál a megtakarítás reálhozamáról?
Az alapelv ugyanaz.
A felszíni forma megváltozott.
Ez már több információt ad arról, hogy tényleg érted-e.
Butler 2010-es kutatása szerint a retrieval practice bizonyos körülmények között nemcsak ugyanazon információ későbbi felidézését segítheti, hanem a tudás új következtetésekre történő átvitelét is.
Butler (2010) – Repeated testing produces superior transfer of learning relative to repeated studying
A jó kvíz ezért nemcsak ismétel.
Variál is.
Nem minden kérdés legyen feleletválasztós
Ha valamit valóban elő kell majd állítanod a vizsgán, érdemes ezt gyakorolni.
Ha a vizsgán definíciót kell elmondanod, időnként legyen nyitott kérdés.
Ha számolnod kell, legyen számolási feladat.
Ha érvelned kell, legyen olyan kérdés, ahol nem négy kész állítás közül választasz.
Ha programoznod kell, írj kódot.
Ha idegen nyelven kell beszélned, alkoss mondatot.
A feleletválasztós forma gyors és kényelmes.
De egy AI kvíz generátor egyik legnagyobb előnye pont az lehetne, hogy nem kell minden tudást ugyanabba a négygombos felületbe kényszeríteni.
A kérdés formájának abból kell következnie, milyen teljesítményt akarsz később önállóan végrehajtani.
A nehézség nem attól függ, hogy mennyire bonyolult a mondat
Egy AI nagyon könnyen tud „nehezebb” kérdést készíteni úgy, hogy ritkább szavakat használ vagy hosszabb mondatot ír.
Ez nem valódi pedagógiai nehezítés.
Egy kérdés azért lehet nehezebb, mert:
- több fogalmat kell összekapcsolni;
- nincs előtte erős segítség;
- új példára kell alkalmazni a szabályt;
- több lépésből áll a megoldás;
- releváns és irreleváns információt kell szétválasztani;
- indokolni kell a választ;
- korábbi tudást is elő kell hívni.
Például:
Könnyebb: Mi a diverzifikáció?
Közepes: Miért csökkentheti a diverzifikáció a portfólió egyedi kockázatát?
Nehezebb: Két portfólió azonos várható hozammal rendelkezik. Az egyik öt erősen együtt mozgó részvényből, a másik több, eltérően viselkedő eszközből áll. Milyen kockázati különbséget várnál, és miért?
Itt nem egyszerűen hosszabb lett a kérdés.
Más gondolkodási szintet kér.
A pontszámnál érdekesebb lehet a hibaminta
Tegyük fel, hogy két hallgató egyaránt 7/10-et ér el.
Az első három kérdést azért rontotta el, mert ugyanazt a két fogalmat folyamatosan összekeveri.
A második három teljesen különböző kérdésnél hibázott apró figyelmetlenségből.
Ugyanaz a pontszám.
Teljesen más következő lépés.
Az első hallgatónál célzott fogalmi tisztázás kell.
A másodiknál lehet, hogy nincs szükség újratanításra.
Ezért egy intelligensebb kvízrendszernek nemcsak azt érdemes figyelnie, hány válasz volt helyes, hanem azt is, hogy milyen típusú hibák jelentek meg.
Ettől kezdve lehet igazán személyre szabni a következő gyakorlást.
Mit jelent akkor az, hogy „AI kvíz generátor”?
A legegyszerűbb változat:
PDF be → tíz kérdés ki.
Ez hasznos lehet.
Gyors.
Jobb, mint ha egyáltalán nem kérdeznéd ki magad.
De szerintünk az érdekesebb rendszer ennél tovább megy.
Tudja:
- milyen témát tanulsz;
- melyik részével találkoztál már;
- mi a kérdés célja;
- milyen formátum illik ehhez a tudáshoz;
- mit válaszoltál;
- milyen hibát követtél el;
- kaptál-e segítséget;
- szükség van-e új magyarázatra;
- mikor érdemes újra elővenni.
Ekkor a kvíz már nem külön funkció.
A tanulási folyamat része.
Ez az a gondolkodás, amely a Studoidnál is fontos számunkra. Nem az a cél, hogy feltöltesz egy jegyzetet, majd kapsz egy véletlenszerű kérdéscsomagot. A kérdésnek kapcsolódnia kell ahhoz, amit tanulsz, és a válaszodnak hatással kell lennie arra, mi történik utána.
Hogyan használd ma az AI-t jobb gyakorlókvíz készítésére?
Már egy általános AI-chatben is sokat javíthatsz az eredményen, ha nem csak ezt írod:
„Készíts ebből 20 kvízkérdést.”
Adj neki világosabb feladatot.
Például:
„Az alábbi anyagból készíts 8 gyakorlókérdést. Először csak a kérdéseket add meg, a megoldást ne. Legyen 3 alapfogalmi, 3 alkalmazási és 2 olyan kérdés, ahol két könnyen összekeverhető fogalmat kell megkülönböztetnem. Csak az anyagban szereplő tudást kérd számon.”
Ezután ne kérd el rögtön az összes választ.
Oldd meg.
Majd:
„Itt vannak a válaszaim. Ellenőrizd őket az eredeti anyag alapján. Minden hibánál röviden írd le, mit értettem félre, de ne adj új témáról információt.”
Végül:
„A két leggyengébb pontomhoz adj két új kérdést más példával.”
Ez már sokkal közelebb áll a valódi tanulási folyamathoz.
Egy jó kvíz után mást kell tudnod, mint előtte
Ez a legegyszerűbb mérce.
Ha végigkattintottál húsz kérdést, kaptál egy 85%-os eredményt, majd bezártad az oldalt, lehet, hogy történt tanulás.
De lehet, hogy csak megtudtad a pontszámodat.
Egy igazán hasznos kvíz után viszont tudnod kell legalább az egyik dolgot:
- melyik témát tudod stabilan;
- melyik fogalmat keverted össze;
- melyik részt kell újratanulni;
- melyik tudást kell új példán alkalmazni;
- mi az, amit néhány nap múlva érdemes újra előhívni.
A kvíz tehát nem végállomás.
Egy döntési pont.
Megmutat valamit arról, mi legyen a következő tanulási lépésed.
És ezért az AI kvíz generátor legfontosabb tulajdonsága sem az, hogy másodpercenként hány kérdést tud előállítani.
Hanem az, hogy a kérdései után jobb tanulási döntést tudsz-e hozni.
Ha igen, akkor a kvíz valóban segített.
Ha nem, csak kaptál még húsz dolgot, amire rá lehet kattintani.
Felhasznált kutatások
- McDermott, K. B. (2021): Practicing Retrieval Facilitates Learning
- Binks, S. (2018): Testing enhances learning: A review of the literature
- Butler, A. C. (2010): Repeated testing produces superior transfer of learning relative to repeated studying
- Automatic question-answer pairs generation using pre-trained large language models in higher education (2024)
- Artsi, Y. et al. (2024): ChatGPT 3.5 fails to write appropriate multiple choice practice exam questions
- Using Testing as a Learning Tool (2019)