Hodnocení otevřených úloh. Jeden z problémů letošní maturity.

Zveřejňujeme část korespondence, kterou si vyměňoval mezi 16. a 26. květnem jeden z „maturujících“ učitelů matematiky na střední škole s pracovníkem CERMATu. Tématem bylo hodnocení otevřených úloh a možnost, aby studenti dostali po zkoušce k dispozici přesnější informaci, ve kterých z patnácti otevřených úloh neuspěli. Korespondence je zajímavá jednak mnoha postřehy, které se týkají maturity z matematiky, smyslu celé státní maturity, ale i způsobem, jakým CERMAT odpovídá na poměrně jasný a přehledný požadavek učitele. Text prošel běžnou redakční úpravou, jména obou korespondujících jsme vynechali, stejně jako jména třetích osob a zmínky, které se netýkaly tématu. Redakce je ale má k dispozici. Test z matematiky, klíče správných řešení a další dokumenty zveřejněné CERMATem, najdete ZDE. Tomuto tématu se 29. května věnovaly Události ČT.

Krátké vysvětlení problému. Test z matematiky obsahoval 26 úloh. Z toho 11 bylo postaveno tak, že se na ně odpovídalo výběrem z nabízených odpovědí. Prvních patnáct úloh bylo „otevřených“, bylo tedy nutné něco vypočítat a výsledek (resp. postup i výsledek) vepsat do záznamového archu. Pokud student zpětně zjišťoval, kde odpovídal správně, mohl porovnat klíč správných odpovědí se svými odpověďmi v záznamovém archu. U uzavřených úloh se tak dozvěděl, které jeho odpovědi byly správné. U bloku patnácti otevřených úloh se však mohl dopočítat jen toho, jak dopadl u všech úloh jako celku. Nebylo v jeho silách dozvědět se, ve kterých úlohách chyboval (nebo částečně chyboval), natožpak v čem. Bez toho je však obtížné formulovat odvolání – celková bodová dotace těchto patnácti úloh ovšem tvoří polovinu maximálního bodového zisku.
Poskytování informace o bodovém zisku za jednotlivé otevřené úlohy se snaží onen korespondující učitel domoci, zatímco zástupce CERMATu mu opakovaně vysvětluje, proč mu nemůže vyhovět.

---

Dobrý den

dostal jsem protokol didaktických testů, dozvěděl jsem se ale pouze procento a percentil.

Jak se dozvím, na kterou otázku jsem odpověděl dobře, resp. kolik bodů jsem dostal za jednotlivé otázky každého didaktického testu? Jak si mám ověřit, že uvedené procento není náhodně vybrané číslo? Znám testové úlohy, znám správné výsledky, mohu nahlédnout do záznamového archu ve škole, ale to pořád ještě neřeší, kolik bodů za jednotlivé otázky jsem obdržel a z čeho výsledné procento v protokolu vzniklo.

Slibujete transparentnost, takže bych rád znal postup, jak se k výše uvedené informaci dostanu tak, abych transparentnosti testů a tedy i Vašim slibům mohl uvěřit.

Děkuji za odpověď

---

Dobrý den,

na můj předchozí mail jste mi neodpověděli.

Možná si myslíte, že odpovědí je Maturitní zpravodaj č. 19, který včera vyšel. Není.

Je pouze odpovědí na uzavřené otázky z češtiny a matematiky (test z cizího jazyka neposuzuji). Ale u otevřených otázek z matematiky, kde jsou rozsahy bodů, žádný návod, jak zkontrolovat výsledné procento, není. Stačí se podívat na diskuse a rozpaky studentů na webu.

Věřím, že vše napravíte a k úlohám č. 1–15 jste ochotni poslat studentovi informaci, jak byl hodnocen.

Do té doby je výsledek didaktického testu NETRANSPARENTNÍ a NEKONTROLOVATELNÝ, což, jak jistě uznáte, je po pěti provedených maturitních zkouškách neomluvitelné.

Děkuji předem za vyjádření k mému mailu.

P. S.  Proti minulým dvěma letům je Vaše snaha o informovanost a transparentnost nesrovnatelná, díky za ten pokrok, ale dotáhněte to prosím do konce.

Přeji hezký den

---

Vážený pane,

pokyny k široce otevřeným úlohám jsou díky variabilitě řešení i nezměrné škále chyb velice rozsáhlé. Vyškolení hodnotitelé striktně dodržují nejen pokyny, ale drží se i dalších obecných zásad při hodnocení otevřených úloh. V žádném případě nemohou hodnotit žákovská řešení úloh podle vlastních kritérií. Kontrola spočívá v nezávislém hodnocení minimálně dvou hodnotitelů, navíc se sleduje i bezchybnost hodnotitelů. Tedy pochybnosti z Vaší strany jsou zbytečné.

V odvoláních z loňského i předloňského roku se potvrdilo, že úlohy jsou hodnoceny správně, tedy v souladu s pokyny. Díky přísnému nastavení kontrolního mechanismu pro hodnocení nedocházelo v předchozích letech k žádným pochybením v hodnocení žákovských řešení.

Snad by Vám mohly pomoci alespoň obecnější zásady hodnocení.

V úzce otevřených úlohách je možné získat maximální počty bodů pouze za správné výsledky. V široce otevřených úlohách je na plný počet bodů požadován jak bezchybný postup, tak i správný výsledek. V úlohách, kde požadovaný postup chybí, nezíská žák žádný bod.

Ve slovní tříbodové úloze 14 mohl žák získat dva body, jestliže např. správně postupoval, ale neodpověděl na požadovanou otázku. Jeden bod získává v případě, že správně popíše neznámé, správně sestaví rovnice a teprve při řešení se dopustí numerické chyby. Pokud žák uvede správný výsledek a neuvede postup řešení, může získat bod jen v případě, že provede kompletní zkoušku do zadání.

Při úpravě výrazu v úloze 4 žák ztrácí jeden bod, pokud má výraz bezchybně upraven a jedinou chybu má v podmínkách. Jeden bod může naopak získat, pokud výraz správně upravuje (tedy umí najít nejmenšího společného jmenovatele obou výrazů, lomené výrazy umí sečíst a dokáže se vypořádat i se složeným zlomkem), ale úpravu nedokončí do finální podoby (nerozloží a nekrátí) a v podmínkách se vyskytne ještě nějaký nedostatek. Jsou-li podmínky v pořádku a úloha je až k dílčímu požadovanému tvaru upravena správně, žák může získat dva body. Za chybný postup se správným finálním výrazem žák nezískává ani jeden bod.

Ve dvoubodových úlohách žák ztrácí bod např. při věcně správném postupu, správném výsledku a nadbytečné chybě (chybný zápis intervalu v úloze 5, resp. drobná numerická chyba apod.). V úloze 15 žák za řešení s hrubou chybou (špatné použití Pythagorovy věty, goniometrických funkcí v pravoúhlém trojúhelníku apod.) nezíská žádný bod.

Variabilita řešení i nejrůznějších chyb je značně rozsáhlá. Proto je metodika hodnocení úloh velmi podrobně zpracována. Ani v testování na mezinárodní úrovni se však pokyny nezveřejňují. Pokyny mohou používat jen kompetentní osoby, které prošly rozsáhlým školením.

Žák má právo podívat se na svůj záznamový arch ve škole. Může si porovnat výsledky s klíčem správných řešení, případně se o chybách může poradit se svým vyučujícím. Pokud o výsledku pochybuje, může se odvolat. V takovém případě je celá jeho práce znovu přehodnocena.

S pozdravem

---

Dobrý den,

děkuji za velmi podrobné vysvětlení. Většinu toho moc dobře znám, přesto to problém vůbec neřeší.

Mé pochybnosti jsou oprávněné. Víra ve dva nezávislé hodnotitele je pěkná věc, ale možnost kontroly vlastní práce je, uznáte, věc nezpochybnitelná. To je věc občanského práva u tak důležité zkoušky, která o životě studenta značně rozhoduje. To nemůžete ani vteřinu zpochybnit. Hledejme prosím cestu, jak naplnit občanská práva studentů prostřednictvím jednoduchého řešení, které Vám předkládám. Přece nechceme pokračovat v trendu výchovy dalších generací studentů, kteří nenávidí vlastní stát, jenž rozhoduje o nich bez nich. Mluvím za zoufalé studenty, proto dovolte tato upřímná slova.

Zdůvodněte mi prosím, proč nemůže student u otevřených úloh (u uzavřených není problém) dostat přes školu následující výpis jako dodatek protokolu:

úloha 1 – získal jste 1 bod z maxima 2 bodů

úloha 2 – získal jste 2 body z maxima 2 bodů

úloha 3 – získal jste 0 bodů z maxima 1 bod

atd.

úloha 15 – získal jste 2 body z maxima 3 bodů

Žádné vysvětlování, proč srážky, jen prostě suchá fakta. Nežádám a nežádal jsem o zveřejnění pokynů atd.

Pak si student může vzít záznamový arch a správná řešení a hledat. Proč mám v úloze jedna jen 1 bod ze 2 možných? Proč mám v úloze tři 0 bodů? Může konzultovat s učitelem, případně se odvolávat.

Přesně, adresně, na konkrétní úlohu. I Vám pak ubude práce se zdůvodňováním, protože odvolání bude mířit na úlohu tři, a ne na blok 15 úloh.

Při stávajícím stavu se student dopočtem dozví, že z otevřených úloh (po odečtu výsledků uzavřených úloh od procenta na protokolu) získal  z maximálně 25 bodů třeba 15.

Ale ve kterých úlohách má srážky? To ví bůh (obávám se, že ani ten ne, a Cermat tají a tají).

Kde je slibovaná otevřenost a transparentnost ?

Přitom je to tak triviální (viz výše).

Co Vám v tom brání? Odvolávky na zahraničí neberu, to je výmluva.

Přece se student nebude odvolávat na blok 15 úloh, protože neví, kde a co ztratil?

Věřím, že mi odpovíte ještě jednou a navrhnete řešení, jak zjistit bodování jednotlivých otevřených úloh (bez zdůvodňování, prostě jen body), a tím dodržíte slibovanou transparentnost.

Stále Vám věřím upřímnou snahu o transparentnost.

P. S. Můj syn udělal maturitu na 84 %, ale má pocit, že měl mít o nějaké procento více. Jsem učitel matematiky a chci svým studentům zajistit, aby věděli, jak a za co byli hodnoceni. U každé písemky jim to garantuji, u maturity, závěrečné zkoušky po čtyřech letech studia, jsem bezradný. To je strašný paradox.

Přeji Vám hezký den a věřím, že mě potěšíte uspokojivou odpovědí.

---

Dobrý den,

nebudu mailem posílat konkrétní výsledky. Snad jen podotknu, že i hodnocení Vašeho syna je zcela v pořádku a z mého pohledu učitele matematiky je známka zasloužená.

Maximální počet bodů za úlohy je uveden v klíči i na testovém sešitě. Někteří učitelé nám psali, že si pro sebe zkoušeli vyhodnotit výsledky svých žáků a ve všem se s námi shodli.

Nevím, jaký způsob zveřejnění výsledků chystá současné vedení CERMATu, možná se skutečně zvažuje možnost individuálního nahlédnutí do jednotlivých položek. Ale taková věc se musí připravit tak, aby nedocházelo k úniku informací, aby třeba paní Úzkostlivá nežalovala CERMAT za to, že paní Hloubavá pomlouvá jejich Jendu, že dokonce ani tu úlohu 15 nepochopil.

Momentálně děláme vše pro to, abychom žáky nepoškodili.

S pozdravem

---

Dobrý den,

děkuji za odpověď. O mého syna nejde, ani jsme nekontrolovali jeho test, má 84 % a je mu jedno, že mu o procento utekla jednička. Ví, že matematikem je, a ta známka z testu pro něj není rozhodující, dal to takto bez přípravy.

Ani Váš pohled není rozhodující, dokonce ani názory, byť stovky učitelů, nejsou rozhodující.

Jediné, co je rozhodující, je PRÁVO KAŽDÉHO studenta si sám ověřit svůj výsledek.

Vždyť je to tak triviální. Odpovídáte na spoustu jiných nepoložených otázek, ale ne na tu položenou jednoduchou otázku. 

Jaký problém je, aby každý student v testu, kde jsou otevřené úlohy s rozpětím bodů, dostal kromě protokolu přes školu i jeho přílohu s tabulkou bodů za jednotlivé úlohy?

Ani paní Úzkostlivá, ani paní Hloubavá nemají šanci říci ani popel, dokonce ani já pak už neřeknu ani popel.

Student místo jednoho protokolu od školy dostane kratičký protokol s přílohou bodování bez jakéhokoliv zdůvodňování.

Vše, co uvádíte, jsou jen výmluvy, ale výsledek testu není transparentní a kontrolovatelný studentem, svéprávným občanem, o jehož životě rozhodujete.  

Ano, má právo napsat obecné odvolání a vyžádat si své hodnocení třeba soudně.

A to chcete opravdu prohrát třetí soud během tří let maturit?

Myslím, že těch ostud pro stát i pro Cermat již bylo dost.

Letos se Cermat značně zlepšil, ale bůhvíproč to nechcete dotáhnout do konce.

Vím, že to víte. Akorát to nechcete říci přímo, žádné přípravy na to Cermat nepotřebuje, buď chce, nebo nechce. Zatím nechce. Žádné riziko související s ochranou dat nehrozí.

Nepište, že nechcete studenta poškodit. Vy nechcete naplnit jeho práva.

Věřím, že tyto přílohy budou prostřednictvím škol včas k dispozici před termínem odvolání.

Dneškem jsem rozhodnut Vaše odpovědi publikovat v tisku v zájmu práv občanů. Věřím, že to chápete.

Přeji hezký den

---

Dobrý den,

dík za Váš názor. Mně osobně by posílání výsledků žákům nevadilo (promiňte, nevěděl jsem, jakou formou se výsledky žákům sdělují). Osobně se zabývám záležitostmi souvisejícími s matematikou, nikoliv logistikou apod. Co se týče matematiky, nedostalo se k nám, že bychom prohráli nějaké soudy. Nebo míníte zveřejňování žebříčků? Myslím, že pro veřejnost, odbornou veřejnost i školy se připravuje velice pěkná prezentace výsledků. (Na zkreslené interpretace výsledků z minulých maturit, které se objevily na internetu a v tisku, mohly některé školy doplatit.)

Váš návrh předám dál, nic více pro Vás nemohu udělat.

S pozdravem

---

Dobrý den,

děkuji za mail, udělal jste hodně jen tím, že komunikujete a že případně předáte můj návrh dále.

Netřeba se omlouvat, myslím, že spousta věcí visí pouze na nekomunikaci.

Předchozí vedení Cermatu s veřejnosti nekomunikovalo. Proto stát prohrál dva soudy – nezveřejnění výsledku maturit, diletantské odpovědi na odvolání studentů. To s matematikou jako takovou opravdu nesouviselo.

Nové vedení Cermatu komunikuje a taky jsem je chválil. Zbývá dotáhnout některé věci a jednou maturita třeba bude mít prestiž a váhu. Zatím nemá.

Zveřejňování žebříčků bylo důsledkem nedostatku informací o výsledcích maturit. Takže nejdříve nic a pak takto diletantsky, to byl úlet. Za to Cermat nemůže, tu formu zvolily Lidovky, Aktuálně a pak soukromá firma pana Zeleného (to bylo to nejhorší).

Víte, u matematiky se na velmi „pěknou prezentací výsledků maturit“ netěším. Obávám se, že to bude další úlet. Nevím, co chystáte, jak a z jakých dat, ale dopředu varuji. U matematiky jsou tři nesrovnatelné formy zkoušení – uzavřené úlohy, otevřené úlohy a široce otevřené (mimochodem „geniální“ název) úlohy. Každé učivo je testované jinou formou a hlavně nesrovnatelnou formou. Proč nesrovnatelnou?

Uzavřené úlohy se triviálním způsobem (nepostižitelným) opisuji anebo tipují. Otevřené se opisují hůře a tipovat se nedají vůbec. Široce otevřené (chcete-li normální úlohy s postupem, jak bych to nazval já) se opsat nedají. Co z toho může vylézt za grafy? A co budou mít společného se skutečností? Ale možná mě překvapíte.

Takže, soudě z vystoupení pana Zíky v Hydeparku, chystáte grafy, jak například (vymýšlím si) studentům na gymplu jdou rovnice a učnákům nejde stereometrie. Tak to nedělejte. Školní informovaná veřejnost se tomu vysměje.

Pokud nebudete garantovat, že odpovědi nejdou opisovat (tedy v podstatě vyřadíte či minimalizujete uzavřené úlohy, minimalizujete úlohy otevřené a dáte dominantní váhu hodnocení úlohám s postupem), je test generátorem náhodných čísel školu od školy. Podle toho, jak organizovaně či neorganizovaně se opisuje, tipuje, počítá. Když nejsou ústní zkoušky z matematiky, tak maturita nesmí být postavena na 19 písmenech. Abyste mi uvěřil, tak fakta:

50 % z matematiky, a tedy jasné složení zkoušky (stačí 33 %) je za odpovědi na úlohy 16–26 ve tvaru: ANNA,C,E,D,B,A,B,C,E,BFDA,ACD.

Za tento kratičký 19znakový výstup dostanete maturitu z matiky. Dosáhnete o 17 % více, než je požadováno! Máte 105 minut na to, abyste od nějakého matematika ve třídě zachytil 19 smluvených gest. Pouhých 6 (!) různých písmen – no, není to legrace? Gesta typu levá ruka ve vlasech, levá ruka na stole, …, ještě čtyři gesta. Odvysílat se to dá za minutu po startovním (domluveném) signálu a může na Vás zadavatel koukat a nemá na to co říci. Matematik těch 11 uzavřených spočte za 25 minut. A kdyby něco pokazil, je tam 17 % rezerva. Za jednu maturitu si vydělá pár tisíc Kč a nic mu nehrozí. Ústní nejsou, každý za maturu litr dá a je rád. To je realita. A nemůžete nikomu dokázat, že opisoval. U otevřených úloh už každý sám něco individuálně stvoří (každý jinak) a je to nezpochybnitelné. Když budete argumentovat, že přesto 20 % studentů propadlo, tak to není argument (neopisují, nebo nemají od koho opsat – musí být aspoň jeden matematik ve třídě). Existuje podle mě okolo 20 % dalších, kteří by to nedali také, kdyby… viz výše.

Takové testy jsou ideální jako přijímačky, kdy je každý druhému soupeřem. Ale jako závěrečný test, kdy všichni spolupracují? Myslíte, že jsem popsal sci-fi, nebo realitu? Zeptejte se studentů neprestižních škol. Někdy je tím vysílačem učitel, ale to už je morální úlet.

Právě se vrátil syn z maturity, má to za 1,1,2,2,3, takže spokojenost :-)))

Děkuji za předání mého návrhu, udělejte to prosím, ne pro mne, ale pro ty nešťastné studenty. Já jsem jen trouba (:-)), přes kterou se to k Vám nese a kterému to není jedno . Díky předem za ně. Já to nevzdám a hledám cesty, jak ten problém zveřejnit. Zkusil jsem nejdříve napřímo na Cermat a patří Vám mé poděkování, že se mnou komunikujete.

Přeji hezký den

---

Dobrý den,

přeposílám informaci, kterou jsem obdržel.

Výsledky, které se posílají žákům, se řídí vyhláškou, tedy splnění Vašeho požadavku je podmíněno změnou vyhlášky. Proto by Vaše námitka měla směřovat spíše na MŠMT.

A opět jedna nevyžádaná informace. Připravuje se studentský portál, na němž by se studenti měli mj. dozvědět i podrobné informace o svých výsledcích. Termín spuštění neznám.

S pozdravem

---

Dobrý večer,

děkuji za info. Ten požadavek na změnu bezpochyby může adresovat Ministerstvu školství i Cermat, aby prestiž své maturity povýšil, takže věřím, že to udělá. Nebo dokonce už udělal?

Studentský portál s heslem měl být vymýšlen s úplnou samozřejmostí před třemi roky. My i ty nejmenší domácí úkoly (o známkách už nemluvě) řešíme přes studentské portály. Ale u maturit se dočkáme až po třech letech (možná).

Už chápete, proč studenti tuto formu maturity a s ní stát a Cermat ve velké většině, řekněme, nenávidí?

Ať si zvykají, řekl by cynik.

A učitel, ten prostředník, bitý shora byrokracií maturit a zdola neschopnosti odpovědět za Cermat studentům ty nejzákladnější otázky, buď rezignoval se slovy, že je to bordel (omlouvám se), nebo se snaží zoufale psát.

Ale jsem optimista a věřím, že Cermat své pošramocené maturity zlidští, věřím Vám. Letošní rok byl prvním malým krůčkem vpřed.

Hezký večer a díky.

P. S. Tato diskuse měla probíhat mezi Cermatem a pedagogy před čtyřmi roky. Jsme ve skluzu a několik generací studentů už to odskákalo…

---

Dobrý večer.
Vidím, že Vaše požadavky jsou maximalistické. Kdyby byla všechna konání státu pod takovou kontrolou, to bychom si žili. Ale hlavně, kdyby se všude ve školách poctivě učilo a už na základních školách se nenadbíhalo žákům a nedávaly se jim známky zadarmo, na středních školách se nepodvádělo, možná by byla pro žáky současná úroveň maturit směšnou záležitostí.

Snad se dočkáme doby, že starost o úroveň vzdělání v ČR bude jednou z priorit státu. Na rozdíl od nás se to za našimi hranicemi daří. Např. Poláci zavedli během několika let povinnou maturitní zkoušku z matematiky v základní úrovni obtížnosti a nepovinnou zkoušku ve vyšší úrovni obtížnosti, a přitom mají v obou úrovních podstatně vyšší požadavky než u nás. Podařilo se to, neboť táhnou za jeden provaz – hrdý národ. Do maturit investovali podstatně více energie i finančních prostředků a začínají se nám mílovými kroky vzdalovat.

Blahopřeji k maturitě syna!

S pozdravem

---

Dobrý večer,

děkuji za mail a názor. Své požadavky považuji za minimalistické a hlavně naprosto přirozené. Někteří jdou dál a žádají i slovní vysvětlení, proč u otevřené úlohy té a té byl například ze 2 bodů uznán jeden – tak daleko ani zdaleka nejdu a nechci jít. Mně stačí bodová tabulka úloh. Taková drobnost. Takže se lišíme v pohledu na věc. Ale to nevadí.

V podstatě i jeden z těch prohraných soudů Vám nařídil:

A soud bychom respektovat měli a není nutné to považovat za maximalismus. Dneska tisíce ruplých z matematiky nezná fakta a nemůže, slovy soudu, vypracovat skutkově dostatečně podloženou obranu.

Víte, když rozhodujete o životě mladých lidí, tak je to zásadní rozhodnutí a musíte umět to rozhodnutí obhájit. V tom se možná lišíme, v pohledu na svět a práva občanů, které stát zastupuje a který si oni platí. Toto své studenty učím a oni musí být vůči státu mnohem zásadovější, než jsme my, generace vychovaná bez práv v komunismu. Věřím jim.

Netvrdím, že jedině Cermat a stát konají ve školství špatně. To si nerozumíme. Jsou líní studenti, jsou špatní učitelé, jsou i podvody na školách. To je jejich zodpovědnost a buďme k nim a k sobě stejně nároční, jako jsem já k Vám. Ale Cermat nemůže omlouvat svoji nezodpovědnost nezodpovědností jiných. To přece chápete, tak to na mě prosím takhle jednoduše nezkoušejte.

Udělejte testy tak, aby se v matice nedalo triviálně podvádět, popisoval jsem Vám to, psal řešení a uváděldůvody. Jestli se testy nezmění, bude se podvádět vždy, protože zvládnete za jednu minutu v 19 znacích odmaturovat na 50 %. Tohle školy, učitelé, studenti nevymysleli. Mají a měli by mít svou morálku, ale vyžadovat ji po stotisícovém davu není reálné, pokud je forma testu z matiky tak naivní.

Nemluvte o hrdosti Poláků na maturitu. Založte maturitu v Česku tak, abychom na ni byli všichni hrdí, a tím Poláky doženeme – píšu Vám již asi šestý či sedmý mail a vidíte, že mi to není jedno. Očekávám od Vás diskusi a řešení problémů, které nastiňuji, a těším se na ně, takže to určitě není poslední mail.

Den se mezitím zlomil, takže pěknou neděli a děkuji za Váš mail, vážím si té diskuse a nenechte se odradit mými ráznými formulacemi, hledejte za tím tu podstatu.

Mějte se.