Dopady nenápadných změn v hodnocení testu z češtiny

Publikujeme analýzu Oldřicha Botlíka, který upozornil na změnu pravidel v hodnocení dvou typů úloh v letošních testech z českého jazyka. Jaký dopad má taková změna na úspěšnost maturantů? Tiskovou zprávu EDUin najdete ZDE, další texty věnované analýze maturitních dat najdete ZDE.

Cermat nenápadně změnil pravidla hodnocení nejméně dvou typů úloh letošního maturitního testu z češtiny. Změny se týkaly úloh 4, 10, 13, 19 typu A/N a přiřazovací úlohy 20. Mám jasnou představu, proč k tomu došlo, v tomto textu se však chci věnovat jen vysvětlení, v čem změny spočívaly a jak rozsáhlé dopady mohly mít.

Skvěle se k tomu hodí anonymizovaná prvotní data z maturitního testu ČJL na jaře 2016, neboť ten rovněž obsahoval čtyři úlohy typu A/N a jednu přiřazovací úlohu. V datovém souboru jsou podrobné údaje o tom, jak tyto úlohy řešilo 61 745 maturantů. To znamená, že známe nejen jejich bodové zisky, ale u každého víme, jak odpovídal – tedy například ANNN, případně AANA atd. Můžeme tedy zjistit, kolik bodů by maturant v těchto úlohách získal podle pravidel roku 2016 a kolik podle pravidel roku 2017.

Další velkou výhodou je, že letošní test psalo přibližně stejně maturantů jako loni: 61 978. Kdybychom měli anonymizovaná prvotní data z letošního testu, mohli bychom na ně „vypustit“ pravidla z roku 2016, abychom viděli, k jakým změnám došlo. Zatím je nemáme, takže to uděláme opačně: „vypustíme“ na data z roku 2016 letošní pravidla. Není to samozřejmě úplně totéž, neboť letošní test byl výrazně obtížnější a neznáme úspěšnost oněch pěti letošních úloh, ale určitý obrázek nám to poskytne.

Jak změny v pravidlech vypadaly?
Základem pro přidělení bodů byl počet správně posouzených položek (A/N) či položek správně vybraných. Mohl se pohybovat od 0 do 4 (tučný červený sloupec vlevo). Z rozdílů přiřazených bodů v roce 2016 a v roce 2017 vidíme, že maturanti mohli v roce 2017 celkem pětkrát dostat víc bodů,

než by za totéž dostali v roce 2016. Podle nových pravidel by tedy byli úspěšnější, a to výrazně.

Čím se změny v pravidlech projevily?

Podle starých pravidel byl průměrný výsledek v testu 32,98 bodu (z 50 možných), podle nových pravidel stoupl na 34,90 bodu. Při vyjádření úspěšnosti v procentech to znamená nárůst o téměř 4 procentní body, což je opravdu hodně. Podle starých pravidel propadlo v tomto souboru celkem 5 169 maturantů, podle nových pravidel by jich propadlo jen 2 893, tedy o 2 276 méně. Nejméně maturantů získalo v důsledku změny pravidel 5 bodů navíc – bylo jich jen 589. Naopak nejvíce maturantů získalo 2 body navíc – bylo jich 21 814. Úplný přehled o těchto změnách poskytuje následující sloupcový diagram.

Jak závisel počet přidaných bodů na úspěšnosti žáků v testu?

Odpověď na tuto otázku dává následující diagram. Na jeho svislé ose je úspěšnost v testu (hodnoty 0–50 bodů). Vodorovně je vyneseno procento žáků, kteří dosáhli příslušné úspěšnosti. Součet délek všech sloupců tedy odpovídá hodnotě 100 %. Každý sloupec je rozdělen na několik barevných částí. Jejich délka vyjadřuje procento žáků a barvy odpovídají počtu bodů, které by příslušní žáci získali navíc při bodování podle pravidel z roku 2017 (viz legenda vpravo). Například 5 bodů (světle modrá barva) by nezískali žádní žáci s úspěšností 39 bodů a víc.

Co provedla změna pravidel s rozložením úspěšnosti?

Oba diagramy znázorňují, kolik procent žáků (0 % až 5 % – viz vodorovná osa) získalo v testu počet bodů uvedený na svislé ose (0–50 bodů). Červeně jsou znázorněny sloupce odpovídající hraničnímu výsledku: 21 bodů znamenalo „neprospěl“, 22 bodů znamenalo „prospěl“. Tytéž diagramy jsme potom doplnili STEJNOU dvojicí okrových čar (>) symetrických podle vodorovné osy (––). V pravém diagramu je patrný posun, k němuž by došlo v důsledku aplikace pravidel z roku 2017.

Všechny diagramy jsou k dispozici v lepší kvalitě jako PDF na stránce data-mat.cz v sekci Ke stažení.