Co přinesl týden 25. 5. – 31. 5. 2020
Krátce:
Výrok týdne: „Spravedlivý přístup vyžaduje více než jen individuální hodnocení pro všechny žáky. Vyžaduje existenci třídní komunity, do níž jsou zapojeni všichni žáci, i ti znevýhodnění, v níž se diskutuje, a úkoly se propojují s mimoškolním prostředím žáků. Žádný počítač nedokáže být vzorem pro dítě hledající příklady chování dospělých pro to, čím by se chtělo stát,” popisuje Bořivoj Brdička důležitost role učitele pro vytváření spravedlivého vzdělávacího prostředí při zavádění technologiemi podporované personifikace. (Spomocnik.cz)
V souvislostech:
Měření dovedností není triviální problém, a to platí i pro maturitní test z matematiky. Podívali jsme se s pomocí dat, která Cermat uvolnil na základě zákona o svobodném přístupu k informacím, jak se s ním vypořádal loňský maturitní test z matematiky.
Teorie odpovědi na položku (IRT, Item Response Theory) je soubor moderních statistických metod, které umožňují kvantifikovat schopnost žáka vyřešit zadaný testy na základě toho, jak maturant odpovídal na jednotlivé otázky. První pokus o přepočet odpovědí žáků na tuto schopnost ukázal velkou skupinu studentů, kteří měli podobný předpoklad v loňském testu z matematiky uspět, jen části z nich se to ale podařilo.
Jak velký je tento překryv, ukazuje graf. Na vertikální ose je zaznamenána vypočítaná schopnost maturantů. Čím širší jsou “housle”, tím více žáků schopnost dané úrovně prokázalo. Zeleně je označeno rozpětí mezi nejvyšší dovedností dosaženou neúspěšnými maturanty a nejnižší dovedností dosaženou maturanty, kteří v testu uspěli. Naznačuje, jak velký je počet žáků, o jejichž osudu rozhodlo bodování úloh v testu nebo rovnou náhoda.
Jak velký vliv bude mít na konečný výsledek náhoda a způsob bodování záleží na řadě okolností. Vliv na to má například náročnost úloh, z nichž se test skládá. Dokonalý test by mohl být sestaven z perfektních úloh, u nichž by se dalo dopředu říci, že je například všichni žáci s úrovní schopnosti 2 vyřeší správně, zatímco žádný žák s úrovní dovednosti 1 ji nevyřeší. Tak to ale v reálném světě nefunguje. U jednoduché úlohy se možná dá předpokládat, že na ni skoro všichni dobří žáci odpovědí správně, s klesající dovedností bude stoupat podíl těch, kdo ji nevyřeší, až bude pravděpodobnost úspěchu podobně náhodná, jako by si žák hodil mincí. Až u nejhorších žáků bude zase očekávatelné, že úlohu skoro žádný z nich nevyřeší. Takové nahodilosti se samozřejmě žádný test nevyhne a může být informativní, ale pouze za předpokladu, že se s ní dobře statisticky pracuje.
Různě velkou roli hraje náhoda také při řešení různých typů úloh. Známým příkladem jsou uzavřené úlohy s nabídkou čtyř možných odpovědí. Ty dávají i žákovi, který nezná správnou odpověď, 25 % šanci. U takové úlohy může mít žák s nižší schopností větší šanci, než kdyby řešil stejně náročnou otevřenou úlohu. Jsou-li uzavřené úlohy ohodnoceny dvěma body a úlohy otevřené bodem jedním, může neurčitost v testu hrát větší roli, i pokud jsou uzavřené úlohy adekvátně obtížnější.
Ještě komplikovanější je to s úlohami, které umožňují získat body za částečný úspěch. Žák má například nalézt bod X a poté kolem něj sestrojit kružnici procházející body Y a Z. Jeden bod může získat za nalezení bodu X, druhý za sestrojení kružnice. Pokud měl u hledání bodu smůlu, platí za ni nakonec dvakrát a zůstane bez bodu.
Největší oříšek lze ale nalézt v jedné z úloh v testu z matematiky z roku 2019. Jedná se o úlohu, v níž má maturant ke každé ze čtyř rovnic o jedné neznámé přiřadit správnou odpověď ze šesti možností s tím, že počet bodů se řídí počtem správně přiřazených odpovědí. Představme si dva maturanty, každý z nich udělá v první odpovědi chybu – první vybere možnost, která nepatří k žádné z dalších rovnic. Druhý vybere výsledek, který ve skutečnosti patří k druhé rovnici. Pokud druhý maturant své rozhodnutí ještě nepřehodnotí, jeho chyba se u druhé rovnice zdvojí, protože správnou odpověď již “vyplýtval”. První maturant je oproti němu ve výhodě, protože udělal “správnou” chybu. Jak u takových úloh zdůvodnit, proč žák dostane za dvě správné odpovědi jeden bod a za tři správné odpovědi body dva?
Pro testologa, který by chtěl rozlišit dovednost žáka od náhody a do hodnocení zahrnout i obtížnost jednotlivých podúloh, je to malé modelovací peklo. Statistické nástroje pro práci s ním sice existují, ale jsou velice vzdálené metodám dosud reportovaným CZVV (Cermat) a rozhodně neobnášejí fixní obodování úloh bez dalšího odůvodnění. Je otázka, proč jsou takové typy úloh do maturitních testů zařazovány, případně proč nejsou hodnoceny adekvátní statistickou metodou. Odpověď na ni zatím nikdo neposkytl. Bez ní ovšem nelze vyloučit, že stavba maturitních testů je problematická a výpočet schopnosti žáka není dostatečně sofistikovaný.
Jiří Münich, datový analytik EDUin
Výběr z Edukalendáře: