Co říkají maturitní data (4. díl): Kolik žáků zachránili hodnotitelé na školách před propadnutím ve slohu?

Čtvrtý díl seriálu o tom, co lze vyčíst z maturitních dat, hledá odůvodnění pro rozhodnutí, podle něhož slohy z češtiny opravují namísto učitelů na školách externí hodnotitelé. Ministerstvo školství navrhlo tuto změnu na základě informací Cermatu, že učitelé na školách nadržovali při opravování slohů některým svým žákům, a zachránili je tak před propadnutím. Zkoumali jsme v dostupných datech, jak velká byla míra tohoto nadržování, a zajímalo nás, zda tedy měla organizačně složitá změna v hodnocení slohů vůbec smysl. I externí hodnocení slohů přináší mnohá rizika a učitelé ho vnímají jako projev nedůvěry. První tři díly seriálu o maturitních datech čtěte ZDE, ZDE a ZDE.

Co jsme sledovali: Pro znovuzavedení externího hodnocení byl použit argument postavený na přehodnocení vzorku písemných prací z maturity roku 2014. Tehdy prý u více než osmi procent prací ve vzorku učitelé nadržovali žákům, kteří podle Cermatu měli propadnout. Propadají žáci, jejichž práce získá méně než 12 bodů. Zjednodušeně, v diagramu úspěšnosti u slohů by měl být „schod“: příliš mnoho prací hodnocených 12 body, velmi málo prací hodnocených 11 body. Proto jsme zjišťovali, jestli data z maturit za rok 2016, která jsme získali podle zákona o svobodném přístupu k informacím, tento argument potvrzují. Pro srovnání jsme podobný diagram udělali také pro test. I v něm je vyznačena hranice úspěšnosti propadl/nepropadl. Ta se u testů pohybovala na úrovni 21/22 bodů.

Co jsme se dozvěděli: Diagram ukazuje, že schod v hodnocení slohů opravdu existuje. Hodnocení 12 bodů (nepropadl) získala 4 procenta prací, hodnocení 11 bodů (propadl) se vyskytlo na úrovni jedné desetiny procenta prací. Hodnocení testů žádný takový „schod“ neobsahuje, je hladké. Data z loňského roku ovšem rozhodně nevykazují tak masivní výskyt tohoto jevu, jakým argumentoval Cermat. Oproti roku 2014 se týká méně než polovičního podílu prací. Hodnotitelé na školách možná zachránili před propadnutím jen každého pětadvacátého maturanta – vzhledem k neurčitosti hodnotících kritérií však nelze prokázat ani to.

K čemu to může být užitečné: Tato informace je důležitá pro posouzení, zda byla změna v hodnocení slohů nutná a zda přinesla pozitivní změnu. I kdybychom přijali argumentaci Cermatu, naznačují data z roku 2016, že se kvalita hodnocení na školách zlepšila. V takové situaci možná nebylo rozumné zavádět externí hodnocení slohů, které je organizačně velmi složité, závisí na spolehlivosti technických prostředků a přináší zase jiná rizika. Externí hodnotitelé totiž musí v krátké době opravit mnohem více prací, jsou tedy pod větším tlakem a vystaveni většímu riziku, že udělají chybu. Bude proto zajímavé stejným způsobem posoudit data z letošních maturit a srovnat je s těmi loňskými.

Poznámka: Za pozornost stojí argumentace v důvodové zprávě k novele zákona, jež vrátila hodnocení slohů do centra. Argumentace se opírá o výsledky přehodnocení vzorku prací z roku 2014. Důvodová zpráva ovšem neuvádí ani postup výběru hodnotitelů, kteří prováděli přehodnocení, ani instrukce, které hodnotitelé dostali. Nepopisuje dokonce ani velikost vzorku a jeho další vlastnosti. To by mělo být při tak podstatné a organizačně náročné změně v chodu maturit samozřejmostí.

Tento díl seriálu si můžete stáhnout ZDE jako tiskovou zprávu, která obsahuje odkazy na diagramy a autorizované znění zadání písemné práce z jara 2016 stažené ze stránky novamaturita.cz.