Milyen eredményeket mutat az AI a magyar iskolai kompetenciamérésen?
A PeakX, a Peak csoport mesterséges intelligencia üzletágának csapata átfogó kutatást végzett a jelenleg legismertebb modellek teljesítményéről. Arra voltak kíváncsiak, hogy különböző AI chatbotok valós környezetben milyen eredményeket érnek el szövegértési, matematikai és egyéb tudományterületeken. Az eredmények szemléletesek.
A kutatás során a nagy nyelvi modelleknek a magyarországi kompetenciamérések során a 6. 8. és 10. osztályos diákok által kitöltött teszteket kellett megoldaniuk. A felméréshez 70 szövegértési és 70 matematikai feladatot használtak az AI modellek tesztelésére. Kiegészítve történelem, természettudomány és digitális kultúra kérdésekkel. Az AI modellek által adott válaszokat objektív pontozási rendszerrel értékelték.
A vizsgálat során a következő szempontokat is számításba vették:
Az elemzés folyamán a PeakX csapata felfedezte, hogy a megvizsgált mesterséges intelligencia modellek között markáns különbségek figyelhetők meg a szövegértési és matematikai kihívások teljesítése során.
Erősségek és gyengeségek: Minden ember egyedi, és ez alól a képességeink sem kivételek. Az erősségek olyan tulajdonságok, amelyek segítenek minket a céljaink elérésében, legyen szó kitartásról, kreativitásról vagy éppen a problémamegoldó képességről. Ezek a pozitív aspektusok hozzájárulnak a fejlődésünkhöz és a sikerünkhöz. Ugyanakkor a gyengeségek is részei vagyunk, és fontos, hogy felismerjük őket. Ezek lehetnek olyan területek, ahol még fejlődhetünk, vagy olyan kihívások, amelyekkel szembesülünk. A tudatosság a gyengeségeink felett segít abban, hogy tudatosan dolgozzunk rajtuk, és ezáltal még erősebbé váljunk. Az erősségeink és gyengeségeink megértése lehetővé teszi számunkra, hogy egyensúlyt találjunk, és a legjobbat hozzuk ki magunkból.
Összességében elmondható, hogy míg a érvelő (reasoning) modellek lassabbak és drágábbak, de minden kategóriában jobb eredményt értek el, mint a többi modell. Az eredmények azt mutatják, hogy a nagy nyelvi modellek a problémamegoldó és analitikus készségeket igénylő területeken még nem képesek egyértelműen helyettesíteni az embereket. Különösen a komplex matematikai készségeket igénylő feladatoknál mutatkozik meg lemaradásuk.
A magyarországi kompetenciamérés célja, hogy felmérje a 6., 8. és 10. évfolyamos tanulók tudását két alapvető területen:
A feladatlapokon zárt végű kérdések találhatóak, amelyek segítségével évfolyamtól függetlenül mérhetjük a tanulók teljesítményét. Ez a megközelítés nemcsak a jelenlegi tudásszintjük értékelését teszi lehetővé, hanem a fejlődésük nyomon követését és összehasonlítását is.
