Co říkají maturitní data (6. díl): Cermat manipuloval s úspěšností maturitního testu

Oldřich Botlík z iniciativy Maturitní data – odtajněno vysvětluje podstatu manipulace s úspěšností letošního maturitního testu z češtiny. Změny v bodování odpovědí zakryly vysokou obtížnost testu a znemožnily meziroční srovnání. Zkouška tak přestala měřit všem stejným metrem a definitivně ztratila schopnost vypovídat o tom, jak se v čase vyvíjejí znalosti a dovednosti maturantů. Obě tyto funkce patřily k hlavním argumentům pro její zavedení. Státní maturita ztratila svou důvěryhodnost a obnovení jejího kreditu bude zdlouhavé a obtížné. Musí je provázet zveřejnění zdrojových maturitních dat ze všech dosavadních ročníků a jejich rutinní zveřejňování v budoucnu. Tiskovou zprávu EDUin k tomuto problému čtěte ZDE, reakci Jiřího Zíky z Cermatu najdete ZDE. Pět předchozích dílů seriálu o maturitních datech čtěte ZDE. Text vyšel v upravené podobě v Lidových novinách.

Představme si na chvíli, že organizátorům olympijských her začal vadit vysoký počet účastníků maratonu. Aby je od příští účasti odradili, nechali potají připravit trať, která neměřila správných 42,195 kilometrů, ale o kilometr víc. Čekali, že mnozí maratonci nedoběhnou v limitu, a vyjde tak najevo horší kondice některých z nich. Jenže kilometr navíc byl příliš – část závodníků vzdala kvůli vyčerpání těsně před cílem a ostatní běželi déle, než odpovídalo rychlosti z minulé olympiády a délce prodloužené trati. Organizátoři se proto rozhodli, opět v tichosti, že dosažený čas každého závodníka zkrátí kvůli srovnatelnosti o 5 až 8 minut. Šílená představa, nemyslíte?

Letos vyhlášené mírné zhoršení maturantů v testu z češtiny o pouhých 1,3 procenta moc věrohodně nepůsobilo. A ve skutečnosti taky bylo úplně jiné: všechno se totiž odehrálo jako v tom smyšleném olympijském maratonu. Kvůli náročnějšímu testu dosáhli žáci výrazně horšího výsledku než loni. Jenomže někoho to pořádně vylekalo, a tak Cermat dodatečně, nenápadně a nejméně v pěti úlohách přidal žákům body. Na tiskové konferenci k výsledkům maturitních testů o tom nepadlo ani slovo.

Provedení si ukážeme na testové úloze 19.

Úlohy tohoto typu se v testech opakují pravidelně: v letošním byly čtyři, v loňském taky. Za každou bylo možné získat až 2 body. Pravidla pro přidělování bodů vycházejí z počtu položek, které žák posoudil správně. Odpověď ANNN zde znamená správné posouzení všech položek (pravopisná chyba je pouze v 19.1), například odpověď ANAA znamená správné posouzení dvou položek. Cermat ovšem z roku na rok a v tichosti změnil pravidla bodování.

Změna se týká češtiny, a to letošních úloh 4, 10, 13 a 19. Například maturant, který v úloze 19 správně posoudil 3 položky  (zelené políčko), za ni získal 2 body. Podle pravidel pro rok 2016 by ale získal jen 1 bod (červené políčko). Obsah úloh se samozřejmě každý rok mění, ale formát zůstává stejný. Používá se i v matematice, kde se pravidla bodování nezměnila a zůstala přísnější než v češtině: třeba za správné posouzení 2 položek nebyl v matematice žádný bod.

Dále bylo oproti roku 2016 obdobně změkčeno bodování letošní úlohy 20. Přilepšením v těchto pěti úlohách mohli maturanti získat až 5 bodů navíc, k úspěchu v testu jich stačilo 22. Skrytý a současně masivní zásah do pravidel hodnocení tak definitivně pohřbil srovnatelnost a objektivitu, které patřily k hlavním argumentům pro zavedení státní maturity.

Úpravy nepochybně vylepšily maturantům výsledek a mnohé zachránily před propadnutím. Vidím ovšem nejméně tři závažné důvody, proč k nim nikdy nemělo dojít.

Za prvé. Znamená to, že příště se Cermat zase nenápadně vrátí k pravidlům z roku 2016, a poškodí tak maturanty v roce 2018? Nebo přenastaví pravidla jakkoli jinak, aby mu vyšlo, co potřebuje? Ve zveřejněných maturitních datech z roku 2016 je celkem 5 169 žáků, kteří v testu propadli. Podle mírnějších pravidel z roku 2017 by jich propadlo jen 2 893. Jak k tomu těch 2 276 zbytečně propadlých žáků přijde? Je naprosto nepřijatelné, aby Cermat takto svévolně rozhodoval o životních osudech tolika mladých lidí.

Za druhé. Obtížnost testu z roku 2017 byla tak nápadně vyšší než obtížnost testu z roku 2016, že muselo jít o záměr. Zatímco maratonce připravila o síly daleko před cílem mnohem delší trať, maturanty asi nejvíc ničilo pročítání textových ukázek pořád dokola. Způsobilo únavu, ztrátu pozornosti a nedostatek času hlavně v závěru testu, kde Cermat do pravidel bodování nezasahoval. Namísto toho přidával body tam, kde to bylo proveditelné technicky. Jeho svévolné dodatečné zásahy proto nemohly spravedlivě napravit něco, co bylo chybně nastaveno na samém počátku.

Za třetí. Neprůhledné či chybějící zásady pro stanovení náročnosti testů a pro počítání výsledků dovolují Cermatu leccos a jeho ředitel Jiří Zíka toho zneužívá. Všechny nás vodí za nos. Jako by mu manipulace s výsledky testu nestačila, zveřejnil dne 26. května 2017 tiskovou zprávu, v níž mimo jiné popíral rozdílnou obtížnost testů z let 2016 a 2017. Zamlčel ovšem, že čísla, jimiž argumentuje, meziročně srovnatelná nejsou. Změnil totiž pravidla, aby čísla vyšla tak, jak se mu to právě hodilo. Jeho jednání zanechává hluboké šrámy na důvěryhodnosti instituce, kterou řídí, a zkoušky, za jejíž organizaci odpovídá. Než rezignuje, měl by se aspoň omluvit maturantům a učitelům za mizerně připravený test a oznámit jeho skutečnou úspěšnost.

Tu bude možné spočítat také ze zdrojových maturitních dat, až je ministerstvo zpřístupní všem. Snahám o jejich zveřejnění J. Zíka vytrvale bránil. Tvrdil, že budou dezinterpretována, což zkoušku poškodí. Nyní je zřejmé, že dobře věděl, o čem mluví. Zíkovy záměrné dezinterpretace zdrojových maturitních dat poškodily státní maturitu opravdu těžce.

Náprava její pověsti nebude snadná a bude trvat dlouho. Musí ustat meziroční zvyšování náročnosti testů a svévolné upravování pravidel pro bodování odpovědí. Pro stanovení náročnosti testů musejí existovat jasné zásady. Kontrolu, že byly dodrženy, umožní rutinní zveřejňování částečně anonymizovaných zdrojových dat ve stejném okamžiku, kdy budou výsledky zpřístupněny maturantům. MŠMT může pro důvěryhodnost státní maturity udělat hodně tím, že zveřejní částečně anonymizovaná zdrojová data z dosavadních sedmi ročníků státní maturity zpětně. Nebo má snad Cermat podobných kostlivců ve skříni víc?

Další podrobnosti k tématu najdete na stránce Maturitní data – odtajněno.