Co všechno může být špatně v maturitním testu a v klíči správných odpovědí

V rámci startujících státních maturit nabízíme podrobnou analýzu Oldřicha Botlíka, který upozorňuje na to, kde se v didaktických testech v prvních dvou ročnících centralizované maturity vyskytla pochybení. Vysvětluje jejich podstatu i to, jakým způsobem je možné chyby řešit. Jde o komplikovanější text, ale jeho přečtení určitě stojí za to. Už jen proto, že bude pak pro každého maturanta snazší zorientovat se v tom, jak je možné na maturitní úlohy korektně odpovědět a kde mohou číhat nečekané záludnosti. Chyby se totiž ani letos nedají vyloučit, jak dokládají chyby, které se objevily i v letošních ilustračních testech. Zároveň upozorňujeme na užitečnou příručku vydanou CERMAT – Žákovský průvodce maturitní zkouškou.

Vítám, že Cermat připravil – s tříletým zpožděním – Žákovského průvodce maturitní zkouškou. Jeho součástí je také informace o tom, komu a v jakých termínech má maturant zaslat své žádosti o přezkoumání svého výsledku v testu nebo v písemné práci. V případě didaktických testů ovšem v průvodci postrádám poučení z minulosti, které Cermat měl dát maturantům k dispozici. Rozhodl jsem se tedy, že to udělám sám.

Cermat se v uplynulých dvou letech dopustil při přípravě testů a klíče správných odpovědí řady chyb. Část z nich zapřel, část se pokusil napravit. Jejich opakování nelze vyloučit, zvláště poté, co se přinejmenším některé typy chyb znovu objevily v ilustračních testech pro letošní jarní kolo.

Maturanti by především měli vědět, že má smysl, aby se proti podobným chybám ohradili. Nejvyšší správní soud dal letos v lednu Ministerstvu školství jasně najevo, že se musí se všemi námitkami maturantů podrobně vypořádat a své vyjádření ke každé žádosti o přezkoumání výsledku v testu pečlivě odůvodnit. Podání žádosti je navíc zadarmo. Podle Nejvyššího správního soudu musí mít test všechny náležitosti uvedené v katalogu požadavků (katalogy jsou zveřejněny ZDE). Podívejme se tedy na to, co důležitého katalogy požadavků předepisují a jak se tím Cermat v minulosti řídil, či neřídil.

1. Nedodržení předepsané skladby testových úloh

Na začátku kapitoly Základní specifikace zkoušky jsou v Katalogu požadavků z českého jazyka a literatury (KČ) a v Katalogu požadavků z matematiky (KM) uvedeny procentuální rozsahy, v nichž se musí pohybovat zastoupení jednotlivých tematických celků v testu. Už došlo k tomu, že předepsané zastoupení témat nebylo dodrženo. Jde o zásadní nedostatek testu, proti němuž může vznést námitku každý maturant, který ztratil alespoň jeden bod. Svou argumentaci by měl vést tak, že se dobře připravil na ten tematický celek, který má v testu menší než požadované zastoupení. Případně, že zrovna ten tematický celek, který má v testu větší než požadované zastoupení, shodou okolností tak dobře neovládá. Maturant může něco neumět, ale Cermat musí dodržet předepsané zastoupení jednotlivých tematických celků v testu.

Předpis skladby testových úloh má jeden zásadní nedostatek: není zřejmé, co je 100 %. Je to celkový počet úloh v testu, maximální bodový zisk, nebo něco dalšího? Doporučuji, aby to každý maturant interpretoval tak, jak to vyhovuje jemu. Budou-li nějaké příští katalogy, dají si Cermat (jako jejich zpracovatel) i ministerstvo (které je schvaluje) snad větší pozor, aby tak zásadní věc jako skladba testu byla upravena jednoznačně.

Další slabinou předpisu skladby testových úloh je, že některé testové úlohy spadají do více tematických celků. Například má-li maturant vyřešit soustavu dvou lineárních rovnic o dvou neznámých, může postupovat početně, graficky, nebo nějakou kombinací obou postupů. Nelze předem objektivně rozhodnout, zda přitom bude postupovat třeba podle tematického celku 3. Rovnice a nerovnice (řešit početně i graficky soustavu dvou lineárních rovnic o dvou neznámých), nebo podle tematického celku 4. Funkce (určit lineární funkci, sestrojit její graf). Je to na každém maturantovi, který ale není povinen volit optimální postup. To, jak je úloha v testu prezentována, je navíc pro její přiřazení k tematickému celku podružné. Je chybou Cermatu, že takto nedokonalé pravidlo připravil, a ministerstva, že mu nevrátilo špatně odvedenou práci. Maturant by měl po skončení testování najít v testu úlohy, jejichž řešení umožňuje využít více tematických celků. Třeba i s pomocí svého učitele. Pokud v některé z nich chyboval a některý z tematických celků odpovídajících této úloze je po jejím přidání „přeplněn“, může úspěšně zpochybnit zařazení této úlohy do testu. Neprávem ztratil body, protože úloha je v testu navíc.

2. Zařazení úloh, s jejichž typem (formátem) katalog nepočítá

Typ a formát testových úloh je správně popsán jedině v katalozích testů z cizích jazyků (na konci kapitoly 3). Testy z českého jazyka a literatury, resp. z matematiky v minulosti nikdy neodpovídaly požadavkům KČ, resp. KM a je velmi pravděpodobné, že tomu nebude jinak ani tentokrát. Pokud maturant neuspěje v úloze s nevhodným formátem, měla by mít jeho žádost o přezkum značnou šanci na úspěch. Problém není v tzv. otevřených úlohách (kde maturant svou odpověď sám tvoří), ale v tzv. uzavřených úlohách. Ty se podle katalogů pro cizí jazyky dělí na tři typy: s výběrem odpovědi, dichotomické a přiřazovací. Katalogy KČ a KM zmiňují pouze první z uvedených typů. Typickou úlohou s výběrem odpovědi je tato:

Jak se jmenovali psi na Starém bělidle? A) Kolben a Daněk, B) Punťa a Ťunťa, C) Sultán a Tyrl, D) Laurel a Hardy.

V podobných úlohách musí být správnou odpovědí vždy jediná položka nabídky. V KČ se na straně 6 pod nadpisem Didaktický test píše doslova, že „didaktický test je tvořen uzavřenými testovými úlohami (s jednou správnou odpovědí)“. KM říká doslovně, že „v uzavřených úlohách je vždy právě jedna alternativa v nabídce správná“ (str. 10 mírně pod polovinou stránky). Ve shodě s běžně užívanou terminologií (i ve shodě s tím, jak ji používá Katalog požadavků z anglického jazyka – terminologie téhož administrátora všech maturitních testů se nemůže pro různé předměty lišit) z toho jednoznačně vyplývá, že v testu Český jazyk a literatura a testu Matematika nemohou být legálně zařazeny dichotomické ani přiřazovací úlohy. Pokud chtěl Cermat tyto úlohy do obou testů zařazovat, měl typ a formát úloh popsat v KČ a KM stejně kvalitně jako v katalozích cizích jazyků.

3. Falešné úlohy s výběrem odpovědi

Zatímco smyšlená úloha s výběrem odpovědi o jménech psů na Starém bělidle je formálně v pořádku, o úlohách v maturitních testech to leckdy neplatí. Podívejme se například na úlohu č. 12 letošního ilustračního testu z českého jazyka a literatury.

VÝCHOZÍ TEXT K ÚLOHÁM 9–12

12 Co způsobilo podle výchozího textu vznik turistické atrakce?
A) nedopatření
B) šíření legend
C) dopad tělesa z kosmu
D) záměrný zásah člověka

Cermat uvádí jako správnou odpověď položku A. Za turistickou atrakci zjevně pokládá samotný kráter, který podle výchozího textu skutečně vznikl nedopatřením – propadla se omylem navrtaná kapsa s plynem. V textu se ovšem říká doslova, že turistickou atrakcí je „pekelná brána“ – hořící díra do země. Ale tato turistická atrakce, hořící plyn v kráteru, nevznikla nedopatřením, nýbrž záměrným zásahem člověka, který ten plyn zapálil. Osobně pokládám za jedinou správnou odpověď položku D. Chce-li ovšem Cermat pokládat za správnou položku A, musí uznat za správnou i položku D. V tom případě jde ovšem o falešnou úlohu s výběrem odpovědí, protože nemá v nabídce jedinou správnou položku. Taková úloha je vadná a nemá v testu co dělat, neboť odporuje katalogu požadavků. Je důvodem k podání žádosti o přezkum pro každého maturanta, který na ní ztrácel body.

4. Nesprávná oprava falešné úlohy s výběrem odpovědi

Loňský jarní test z fyziky obsahoval dokonce úlohu, která měla být úlohou s výběrem odpovědi, ale správné byly všechny čtyři položky její nabídky. Vadná je taková úloha ovšem nejen tehdy, když má v nabídce více správných položek než jednu. Někdy nemá také žádnou.

Pokud úloha formátu úlohy s výběrem odpovědi nemá v nabídce jedinou správnou odpověď, jedná se o vadu, která není korektně odstranitelná žádnými zásahy do klíče správných odpovědí. Jediným přijatelným postupem je dodatečně vypustit tuto úlohu z testu a snížit hranice úspěšnosti.

Je pro to několik silných důvodů. Pro jednoduchost předpokládejme, že úloha se čtyřmi položkami v nabídce má dvě správné položky, A a B (tj. C a D jsou nesprávné). Cermat, jistě ve snaze poškodit co nejméně maturantů, v minulosti dával plný počet bodů jak těm, kteří odpověděli A, tak těm, kteří odpověděli B. Všichni maturanti, kteří odpověděli C, nebo D, případně neodpověděli vůbec, však jsou tímto postupem poškozeni. Mohou se bránit tím, že ve shodě s katalogem požadavků předpokládali, že úloha má jedinou správnou položku, ale žádnou takovou v nabídce nenašli. Pak už mohli udělat cokoli, případně mohli neudělat nic. Navíc, pokud jsou správné položky A i B, pak odpověď „pouze A“, resp. odpověď „pouze B“ nejsou správným řešením úlohy. Ovšem pokyny na první straně testu maturanty výslovně varují před zakřížkováním více než jednoho pole, takže jim v případě takové úlohy efektivně zabránily odpovědět správně. A konečně, jestliže Nejvyšší správní soud přiznal maturantům nárok požadovat soulad testu s katalogem, nepochybně by mu vadilo, kdyby Cermat ponechal v testu úlohu, která tento soulad zjevně porušuje.

5. Rozpor se stavem vědeckého poznání

Někdy se stane, že chyba není v úloze, ale pouze v klíči správných odpovědí. To je vada, která obvykle bývá opravitelná. Pokud například úloha s výběrem odpovědi má jedinou správnou položku A, avšak Cermat třeba kvůli chybnému přepisu označil za správnou jinou položku, lze takovou chybu snadno opravit přímo v klíči. Nemohla totiž nijak ovlivnit maturanty při práci nad testem.

Někdy může být chyba v klíči správných odpovědí také u otevřené úlohy. Podívejme se třeba na úlohu č. 1 letošního ilustračního testu z matematiky.

1 Plocha kruhu je o 20 % menší, než je plocha čtverce.
Vyjádřete, o kolik procent je plocha čtverce větší, než je plocha kruhu.

Cermat má jako správnou odpověď „o 25 %“. Zjevně předpokládal, že plocha čtverce (Q) a plocha kruhu (C) jsou ve vztahu C = 0,8 Q. Ovšem v zadání není řečeno, co je 100 %. Zadání vyhovuje i vztah Q = 1,2 C, který vede na výsledek (po zaokrouhlení) „o 16,7 %“.

Oprava této vady už je problematičtější. Jednak proto, že úloha – podobně jako loni ve vyšší úrovni obtížnosti – mohla v pozici úvodní úlohy celého testu „rozhodit“ řadu maturantů. Ale i proto, že maturanti, kteří uvedli jako správnou odpověď jen jednu z obou možností, neprokázali, že umějí matematiku. Prokázali jen schopnost konformně pokračovat v nevhodném zadání. To ale nemá se skutečnou matematikou mnoho společného. Ba právě naopak!

6. Skokové zvýšení náročnosti testu

Zde se dostávám k tomu, co katalogy (bohužel) neupravují. Totiž k celkové obtížnosti testu. Pominu nyní, že u žádného testu státní maturity od jejího začátku v roce 2011 není vůbec zřejmé, proč byla jeho obtížnost nastavena právě tak, jak byla nastavena. A kdo o tom rozhodl. Pro letošek je podstatné, že loňské rozhodnutí znělo (mj.): „Ruší se všechny testy vyšší úrovně obtížnosti – nadále se budou používat pouze testy nižší úrovně obtížnosti.“ Pro maturanty z toho vyplývá jediné: mohou právem očekávat, že náročnost letošních testů bude stejná jako náročnost loňských testů nižší úrovně obtížnosti.

Ke skokovému zvýšení náročnosti testu došlo loni (Matematika vyšší úroveň) a Cermat na to reagoval nejasným postupem, který nazval harmonizací. Harmonizace de facto snížila hranice úspěšnosti. To je jasný precedent. Pokud by se něco takového opakovalo letos, měli by maturanti požadovat

a) vysvětlení, proč k tomu došlo, resp. jakou procedurou byla obtížnost testu nastavena

b) provedení obdobné harmonizace jako v minulém roce (byť raději průhlednější).

Je téměř jisté, že objektivní srovnání náročnosti letošních a loňských testů nižší úrovně obtížnosti nebude před uzávěrkou pro podání žádostí o přezkum hotové. Výsledky totiž bude nutné podrobně analyzovat, neboť se z roku na rok zásadně změní složení souboru testovaných žáků. Zatímco loni volila část maturantů testy vyšší obtížnosti, letos budou všichni maturanti psát stejné testy. Pokud by tedy například test Český jazyk a literatura skončil letos se stejnou úspěšností jako loni, byl by ten letošní nepochybně obtížnější.

Maturanti by proto měli konzultovat obtížnost loňských a letošních testů se svými učiteli. Dojdou-li k závěru, že náročnost se zvýšila, měli by žádost o přezkum podat a opřít ji o odborný názor svých učitelů. V žádosti si mohou vyhradit, že ji doplní později, až budou k dispozici podrobné analýzy. To je běžně používaný právní postup. Podání žádosti může samozřejmě probíhat souběžně s tím, že se maturanti a jejich učitelé nahlas ozvou. Loni byly ostatně hlasy maturantů a jejich učitelů faktorem, který vedl hned k několika změnám: k harmonizaci výsledků, k odvolání tehdejšího ředitele Cermatu a k novelizaci zákonné úpravy státní maturity.

Závěr

Nejsem jasnovidec ani prognostik – neumím s jistotou říct, zda Cermat zopakuje své loňské a předloňské chyby i letos, nebo zda se tentokrát některých vyvaruje a nepřidá žádné další. Přál bych všem maturantům, aby letos už konečně bylo všechno v pořádku, neboť především u nich je hodně v sázce. Chyby ve zveřejněných ilustračních testech mě však přiměly sepsat, co by měli maturanti o nedostatcích v testech obecně vědět. Je na nich, jak to využijí.

Někteří učitelé se domnívají, že je nesprávné dávat rady těm maturantům, kteří by – podle jejich názoru – měli u státní maturity propadnout. S tím zásadně nesouhlasím. Maturantka A.K., jež u Nejvyššího správního soudu vyhrála svou při s ministerstvem školství, na jaře 2011 nedosáhla požadovaný minimální počet bodů v testu Český jazyk a literatura nižší úrovně obtížnosti. Tento test obsahoval podle názoru několika bohemistů z významných akademických pracovišť hrubé chyby nejméně v deseti z celkem 32 úloh testu. Nejvyšší správní soud se testem jako takovým nezabýval – je však snad zřejmé, že výsledek v podobném testu nemůže být přijatelným kritériem kvality maturanta.

Dokud se Cermat bude dopouštět chyb, je postavení maturanta velmi podobné postavení obžalovaného v trestním řízení, který má právo na advokáta, i když si ho nemůže dovolit. Roli advokáta maturantů sehráli v minulých letech mnozí učitelé. Jejich zkušenost s hledáním chyb v testových úlohách je ovšem omezená a nejspíš také nečekali, že se ministerstvo bude žádostmi o přezkum výsledku v testu věcně zabývat. Rozsudek Nejvyššího správního soudu to změnil a já všem doporučuji, aby si ho prostudovali. Nahlédnout do něj mohou ZDE a podrobnější informaci o rozsudku si lze přečíst ZDE.
Všichni maturanti mají vědět, že se proti případným chybám Cermatu mohou bránit. A mají také vědět, jak se mají bránit. Dokud to bude u nás vypadat tak, že před „vrchností“ – ať je to politik, inspektor, lékař, policista, úředník ap. – každý hned srazí paty a postaví se do pozoru, nemůžeme čekat, že se stav společnosti zlepší.