Jak dál vést debatu o maturitních testech.

Po Josefu Soukalovi i Oldřích Botlík reaguje na nepřehlednou diskusi o maturitním testu z češtiny, shrnuje ji a navrhuje, jak v ní pokračovat. Můžete porovnat přístupy a názory dvou odborných recenzentů.

Na webu EDUin probíhá na několika místech zajímavá odborná diskuse o devíti úlohách testu Český jazyk a literatura – základní úroveň obtížnosti, které kritizovala čtveřice autorů Hausenblas, Lippmann, Podzimek a Botlík. Jako jednoho z autorů kritiky těchto devíti úloh mě těší všechny věcné příspěvky, které se drží tématu, protože výměna odborných názorů tříbí hodnocení zmíněných úloh, pomáhá najít nové směry pohledu a snad i obohacuje porozumění problémům spojeným s používáním uzavřených testových úloh k hodnocení výsledků vzdělávání.

Současně mě ovšem zaráží značná míra nepřesnosti, povrchnosti a nedůslednosti, kterou nacházím i  v argumentaci tak zkušených učitelů českého jazyka a autorů, jako jsou například pan Jiří Kostečka (posudek stejného testu převzatý z Učitelských novin – viz http://eduin.cz/titulka/kriticka-analyza-a-hodnoceni-maturitniho-testu-z-ceskeho-jazyka-a-literatury-zakladni-uroven/) nebo pan Josef Soukal (v diskusi ke třem úlohám stejného testu pod článkem převzatým z Lidových novin – viz http://eduin.cz/titulka/maturita-z-cestiny-diskuse-k-uloham/). Vysvětluji si to na jedné straně tím, že posuzování testových úloh vyžaduje mnohem víc než jen odborné znalosti teorie českého jazyka. Na druhé straně vím, že je oba svazuje jejich dlouholetá učitelská zkušenost: sice velmi dobře vědí, co při řešení testových úloh udělá tzv. „průměrný žák“ (nemám tento pojem rád, zde však umožňuje zkratku, snad srozumitelnou), ovšem v této fázi posuzování úloh právě o takového žáka vůbec nejde. Úloha použitelná v testu státní maturity musí obstát i před mimořádně nadaným, hloubavým žákem, uvažujícím důsledně logicky (byť jinak, než je běžné).

Rád bych proto vyzval nejen oba tyto vážené kolegy, ale i další diskutující, aby měli při posuzování úloh na paměti, že výběrová úloha je nenapadnutelná právě jen tehdy, když je NEPOCHYBNÉ, že požadavkům zadání vyhovuje jediná položka nabídky. Tedy jinými slovy, když nabídka obsahuje položku, u níž lze DOKÁZAT, že vyhovuje požadavkům UVEDENÝM V ZADÁNÍ, a taková položka je v nabídce JEDINÁ.

Rozdíl mezi přesným a nepřesným uvažováním o testové úloze se pokusím ilustrovat na příkladu úlohy 25 o putovní výstavě obrazů a obálek knih Josefa Čapka (viz autorizované znění úlohy na http://www.novamaturita.cz/sada-a-1404035223.html). Pan Kostečka (JK) napsal doslova:

[začátek citace] Ad 25. Úloha je v pořádku.

JK k EDUin: Analýza EDUinu soudí, že mezi variantami B) a C) „nelze objektivně rozhodnout“ a že nabídka B) podává „chybnou informaci“ tím, že její formulace nepočítá s dobou na instalaci a ukončení výstavy. To je však uvažování, které se vůbec netýká zadání: v něm se žádá identifikovat nedostatky ve výstavbě výchozího textu. Varianta C) je nepřijatelná kvůli chybnému slovosledu (jak tým EDUinu správně rozpoznal), zatímco varianta B) je prosta jakéhokoli nedostatku ve výstavbě (!) textu. Varianta A) vypadává kvůli nesmyslnému spojení až skončí Čapkova tvorba, D) kvůli slovosledu (návštěvníci jsou chybně v jádru výpovědi).“ [konec citace]

Pan Kostečka si nepřečetl zadání dostatečně pečlivě! V položkách nabídky (náhradách) si měli maturanti všímat POUZE těch nedostatků ve výstavbě, které obsahovalo také poslední souvětí výchozího textu. A toho, zda byly těmito náhradami odstraněny. Varianty B, C a D postupují do druhého kola, protože odstraňují VŠECHNY nedostatky ve výstavbě posledního souvětí výchozího textu. Varianta A „vypadává“ kvůli tomu, že neodstraňuje „dobu tří týdnů“ – nikoli kvůli nesmyslnému spojení až skončí Čapkova tvorba (neboť zadání neobsahuje žádný další požadavek na kvalitu vhodné náhrady).

Druhé kolo: Varianta D vnáší do textu dvě nové vady: chybný slovosled a změnu „po tři týdny > za tři týdny“, zatímco každá z variant B, C pouze jednu. B přináší jinou informaci než výchozí text, C má chybný slovosled. Podle počtu vad jsou tedy jedinými kandidáty na správnou odpověď varianty B a C. Maturanti ovšem nedostali od autorů testu žádné vodítko pro posouzení, která z obou těchto variant odstraňuje nedostatky ve výstavbě posledního souvětí výchozího textu lépe (a tedy NEJLÉPE ze všech variant, jak požaduje zadání). Zadání totiž ničím neurčuje, kterou vadu mají žáci pokládat za méně závažnou. Natož aby požadovalo, ať náhrada nevnáší NOVOU závadu do výstavby textu, což činí varianta C. Stejně tak zadání nepožaduje, aby náhrada neměnila informace ve výchozím textu, což činí varianta B. Je sice pravda, že ve variantě B žádný nedostatek VE VÝSTAVBĚ TEXTU není, ale to pro rozhodování mezi B a C nemá vůbec žádný význam. Autor úlohy MOŽNÁ chtěl, aby žáci vybrali náhradu, která – kromě dalších vlastností – také neobsahuje žádný nedostatek ve výstavbě textu, ale v zadání to neuvedl. Zadání úlohy tak vyhovují OBĚ varianty B a C stejnou měrou. Úloha 25 je proto závadná a musí být z hodnocení vypuštěna.

Rád bych na tomto místě zmínil jednu zásadu přípravy testových úloh, kterou pokládám za velmi důležitou. Čeština je bohatý jazyk, a proto umožňuje formulovat zadání rozumně koncipovaných výběrových úloh natolik přesně (a současně stručně a srozumitelně), aby opravdu měly jediné správné řešení. Něco málo o tom vím – připravuji a rediguji úlohy ve všech testech projektu KALIBRO už od roku 1995. Veškeré nedostatky jdou vždy na vrub autorů testových úloh a NELZE je tolerovat. Ten hlavní důvod u tohoto maturitního testu je snadno pochopitelný: psalo ho více než 80 tisíc maturantů a výsledek mohl řadě z nich zabránit v dalším studiu, odradit je od něj, připravit je o kus prázdnin anebo je znechutit tím, jak k němu CERMAT dospěl. Kvůli tak závažným potenciálním následkům je zcela nezbytné, aby „správné“ řešení bylo opravdu správné. Dokud se tohle nevyjasní u každé sporné úlohy, jsou argumenty typu „56 % žáků vybralo správné řešení“ zcela irelevantní. „Správné“ řešení přitom musí být správné nade vší pochybnost – argumenty, že žáci neměli čas rozebírat úlohy do detailů a mohli eliminováním „nesprávných“ položek nabídky rychle dospět ke „správné“ odpovědi, jsou scestné. Při takovém počtu testovaných žáků totiž nemůžeme vyloučit (či spíše téměř určitě došlo k tomu), že některý důkladný a bystrý žák postupoval přesně tak jako pečlivý kritik. Nebo ještě pečlivěji. A bez vlastní viny narazil.

Chybně zadané úlohy poškodí i ty studenty, kteří na ně nakonec odpovědí v souladu s představami autora úlohy. Připraví je totiž o čas. Kteří to jsou, to se samozřejmě z výsledků zjistit nedá. Ale v souhrnu může být škoda větší než u těch, kteří odpovědí jinak, než si autor představoval. (Podrobné vysvětlení, proč je nutné závadné úlohy z testu vypustit, jsem uvedl na jiném místě webu EDUin – viz http://eduin.cz/titulka/maturita-z-cestiny-diskuse-k-uloham/, 8. 7. 2011, můj druhý příspěvek z toho dne.)

Důkazní břemeno je navíc vždy na straně autora úlohy resp. organizátora testování: jeho odborná převaha nad většinou žáků je nesporná, měl na přípravu úlohy daleko víc času než oni na řešení (a na případné zpochybnění výsledků), disponuje oproti většině z nich mnohem lepším zázemím (včetně důkladné analýzy výsledků pilotáže). Je tedy na organizátorovi testování (zde CERMAT), aby pečlivě vyvrátil argumenty oponentů.

Nemohu proto přistoupit na názor pana Kostečky v případech, kdy například píše, že „úloha je v zásadě v pořádku, s formulační nepřesností v zadání“. Formulační nepřesnost není problém u úlohy do školní písemky: přemýšlivější se doptají. A když se později ukáže, že nepřesnost zadání zavedla některého žáka jinam, než učitel předpokládal, lze to při hodnocení snadno zohlednit. U výběrového šetření s celostátním záběrem (jako je například PISA) už by to byl větší problém: úlohu by bylo nutné vypustit, ale nikoho by to nepoškodilo, protože v takovém šetření „o nic nejde“ žákům ani škole. U plošného maturitního testu se závažnými individuálními důsledky, kde se studenti nesmějí doptat a nepřesnost si nechat osvětlit, však „formulační nepřesnost“ představuje vážný problém. Poškozuje žáky už tím, že ztrácejí čas přemýšlením, jak si nepřesnost vyložit. Úloha, která takový problém obsahuje, není „v zásadě v pořádku“. JE V NEPOŘÁDKU. Maturitní test prostě nesmí obsahovat formulační nepřesnosti. V ojedinělých případech, kdy nepřesná formulace nezpůsobuje konflikt s požadavkem na přítomnost jediné správné položky v nabídce, snad může úloha v testu zůstat. V ostatních případech však musí být z hodnocení vypuštěna.

Důsledek „formulační nepřesnosti v zadání“ ukážu na úloze 3 (osobní vztah mluvčího k festivalu). Stačí se podívat na heslo „osobní“ do Slovníku spisovného jazyka českého (SSJČ). Z obsahu hesla NEPOCHYBNĚ vyplývá, že osobní vztah mluvčího k festivalu vyjadřují tři položky nabídky: A, C a D. Položka A je zjevně OSOBNÍM PŘÁNÍM mluvčího vztahujícím se k festivalu (viz SSJČ, 4.), v položce C pak mluvčí zjevně vysvětluje svůj OSOBNÍ PŘÍSTUP K DRAMATURGII festivalu (viz SSJČ, rovněž ve smyslu 4.) a položku D zjevně pronáší jako své OSOBNÍ MÍNĚNÍ o tom, jak budou jiní lidé hodnotit část festivalového programu (viz SSJČ, 5.). Pokud panu Kostečkovi správně rozumím, nezpochybňuje to ani on.

Když tři položky zadání NEPOCHYBNĚ zachycují osobní vztah mluvčího k festivalu, pak nemá smysl pokládat otázku, která položka ho zachycuje NEJSPÍŠE: zachycují ho přece všechny tři. Je to stejně nesmyslné jako úloha: U stolu seděli tři muži a jedna žena: Adam, Bořivoj, Cyril a Dana. Která z osob sedících u stolu je nejspíše mužem? Maturanti řešící úlohu samozřejmě NEMĚLI povinnost domýšlet si přesnější formulace zadání, třeba takové, které navrhuje pan Kostečka. Je také správné, že se nesměli nikoho zeptat, mimo jiné proto, že by mohli dostat různě podrobná, různě správná a různě návodná vysvětlení. Museli tedy PODLE ZADÁNÍ vybrat úsek, který NEJSPÍŠE zachycuje osobní vztah mluvčího k festivalu – a pouze ten! Takové úseky jsou ovšem v nabídce tři. Úloha 3 je proto závadná a musí být z hodnocení vypuštěna.

Argumentoval jsem k této úloze stejně v jiné části tohoto webu (viz http://eduin.cz/titulka/maturita-z-cestiny-diskuse-k-uloham/, 14.7.2011) a pan Soukal na to reagoval slovy: „Vaše vývody ohledně otázky 3 půjdou lehce vyvrátit a postačí na to právě příklady, které jste uvedl. Když si svá slova pozorně přečtete, snadno na to přijdete sám.“ Opravdu nevím, co si o tom mám myslet.

Pan Kostečka v úvodu svého posudku píše: „Kvůli omezenému prostoru vybírám pro svou analýzu jen ty úlohy, které byly označeny za závadné ve známém a široce medializovaném hodnocení společnosti EDUin, zveřejněném na http://EDUin.cz/titulka/zverejnujeme-odborne-recenze-maturitnich-testu/.“ Očekával jsem tedy (bohužel marně), že se korektně vyrovná se VŠEMI námitkami vůči těmto úlohám, které jsme vznesli. Koneckonců jsme s výhradami přišli dříve než on – kdybychom psali svůj posudek až po panu Kostečkovi, jistě bychom v něm na jeho argumenty reagovali.

Podívejme se například na obě úlohy o Zoo Dvůr Králové (úlohy 14 a 15). Začnu úlohou 14 o tom, z jakého zdroje byl nejspíše převzat výchozí text. Domnívám se, že pan Kostečka nemá pravdu, když odmítá jednu z položek nabídky slovy, že „ve výchozím textu není ani zmínky o čemkoli, co by explicitně odkazovalo k „zábavnému časopisu pro moderní ženy“. Tvrdím naopak, že celý výchozí text je přímo nasáklý rodičovstvím a mateřstvím! O tom, že v almanachu oslavujícím výročí firmy se může ocitnout prakticky cokoli, jsme už psali. Především však v argumentaci pana Kostečky postrádám stanovisko k problému, který jsme jen naťukli, neboť jsme nepředpokládali, že CERMAT bude za správnou odpověď pokládat položku B. Postrádám tedy odůvodnění, že „populárně naučný měsíčník o přírodě“ (tedy správná odpověď podle CERMATu) vůbec může přicházet v úvahu: zoologická zahrada totiž není žádná příroda.

Kdyby byl výchozí text převzat řekněme z časopisu Lidé a země, spadal by tento časopis opravdu do kategorie „populárně naučný měsíčník o přírodě“. Žáci ovšem skutečný zdroj neznali a mohli se řídit jedině tím, zda výchozí text byl či nebyl nejspíše převzat z tiskoviny patřící do kategorie „populárně naučný měsíčník o přírodě“. Museli tedy předpokládat, že redakční politika onoho měsíčníku je důsledná: redakce nezařazuje například odborné texty o přírodě (neboť měsíčník je „populárně naučný“) ani texty o chovu akvarijních rybek (neboť měsíčník je „o přírodě“). Za takových okolností nemůže redakce „populárně naučného měsíčníku o přírodě“ přijmout ani článek pojednávající o tom, jak žijí zvířata v zoo, jaká jména dostávají od personálu jejich mláďata a jak se na ně návštěvníci chodí dívat do výběhu. Výchozí text totiž pojednává o životě zvířat v zajetí – nikoli o přírodě. Proto položka B nemůže být správnou odpovědí.

Já osobně se nijak nebráním tomu, aby byly položky „zábavný časopis pro moderní ženy“

a „almanach vydaný k oslavě 50 let existence zoo“ vyřazeny jako kandidáti. Ovšem výhradně za předpokladu, že bude ze stejně silných důvodů uvedených výše vyřazen rovněž „populárně naučný měsíčník o přírodě“. Na výsledku to nic zásadního nezmění: úloha, která měla mít jedinou správnou položku v nabídce, bude mít buď tři, mezi nimiž nelze rozhodnout, anebo nebude mít žádnou. Úloha 14 je proto závadná a musí být z hodnocení vypuštěna.

U úlohy 15 (tvrzení v souladu s výchozím textem) jsem na jiném místě (viz http://eduin.cz/titulka/maturita-z-cestiny-diskuse-k-uloham/ – první komentář z 8. 7. 2011) podrobně vysvětloval, proč mě samotného při řešení vůbec nenapadlo, že by tvrzení 15.1 (plodný samec Tommy) nebylo v souladu s výchozím textem. Ale nešť! Problém je někde jinde a naši oponenti se mu neustále vyhýbají. Ukazovali jsme ve své kritice, že podmínka „být v souladu s něčím“ je velmi nepřesná: žáci ji mohli chápat buď jako „vyplývat z něčeho nebo jako „neodporovat něčemu“. Dodnes jsem se nedozvěděl, jak tedy podmínku „být v souladu s něčím“ vlastně interpretuje CERMAT. Paní Jana Münzbergerová, metodička CERMATu pro český jazyk a literaturu, mi v tom nepomohla: „Podle Slovníku spisovné češtiny to znamená ve shodě, v souhlase. Nekomplikuji to tím, zda to z něj vyplývá, nebo mu to neodporuje, protože to odporuje zdravému rozumu“. A nepomohl mi ani pan Kostečka („Pokud se [žák] bude držet výchozího textu, správné odpovědi bez problémů vyvodí“).

Velmi proto uvítám, když mi pan Kostečka odůvodní po lopatě správné odpovědi CERMATu u tvrzení 15.2 a 15.4 – nevidí tam podle vlastního vyjádření žádný problém. Já ano. Aby totiž správná odpověď na 15.2 mohla být NE, musel by CERMAT chápat spojení „být v souladu s něčím“ jako „vyplývat z něčeho“. Pak by ovšem musela být správná odpověď na 15.4 rovněž NE – ale CERMAT má ANO. Jen si dovolím připomenout, že ve vědě je spojení „být v souladu s něčím“ běžně interpretováno právě jako „neodporovat něčemu“. Tvrzení je v souladu s původním textem tehdy, když jeho přidáním nevznikne spor. (Obecně: nová domněnka je v souladu s dosavadním stavem poznání, když nevznikne spor, pokud ho o ni rozšíříme.)

Hezkým příkladem prospěšnosti diskusí nad testovými úlohami a jejich řešením je další chyba CERMATu ve vyhodnocení, kterou oznámil pan Stanislav Zajíček 16. 6. 2011 hned v prvním komentáři k našemu hodnocení (viz http://eduin.cz/titulka/zverejnujeme-odborne-recenze-maturitnich-testu/) a  kterou jsme přehlédli jak my, tak pan Kostečka. V úloze 19 (možný dvojí výklad) je tvrzení 19.2 „Ferda mravenec, veselý chlapík s červenou puntíkovanou mašlí, který se ničeho nezalekne, už potěšil několik generací malých čtenářů knížek Ondřeje Sekory.“ Také toto tvrzení umožňuje, na rozdíl od „správných“ odpovědí CERMATu, dvojí výklad: knížky, které O. Sekora napsal (a ilustroval), a knížky, které má O. Sekora doma v knihovně.

ZÁVĚREČNÝ NÁVRH

Snad jsem v tomto textu i na dalších místech EDUin, na něž odkazuji, už snesl dostatek důkazů, že pan Kostečka, pan Soukal a někteří další posuzovatelé testu Český jazyk a literatura – základní úroveň obtížnosti podceňují míru přesnosti, důkladnosti a důslednosti argumentace, která je nutná k tomu, abychom se společně dobrali správného hodnocení těch úloh, o nichž nepanuje odborná shoda.

Úlohy samy o sobě si takovou pečlivost určitě nezaslouží – nejsou nijak objevné a leckdy staví žáky do velmi umělých situací. Jejich správné zhodnocení (a vyřazení závadných úloh z testu, případně opravu chyb v klíči správných odpovědí) si však nepochybně zaslouží maturanti.

CERMAT prý vystavil z vlastní iniciativy nové vysvědčení všem dvaceti šesti maturantům z fyziky kvůli jedné chybě v klíči správných odpovědí, kterou mohla udělat nedopatřením sekretářka při přepisování a už se na ni nepřišlo. Bylo by nepřijatelné, kdyby nepostupoval stejně u více než osmdesáti tisíc maturantů kvůli řadě mnohem závažnějších chyb v „lehčí češtině“, kterých se po čtrnácti či kolika letech vývoje dopustili autoři testu nikoli pouze v klíči, ale ve vlastní konstrukci testových úloh. A nepřišli na ně ani odborní recenzenti, kteří test nakonec poslali „do tisku“ (pokud vůbec existují – CERMAT jejich jména stále tají).

Rozhoduje se totiž také o tom, jak se bude státní maturita vyvíjet. Pokud si učitelé češtiny a žáci nechají takovou úroveň kvality testových úloh líbit dnes, spláčou zítra nad výdělkem.

Vnímám hlasy argumentující jak ve prospěch současné podoby státní maturity, tak ve prospěch nejrůznějších změn. Debata o dalším vývoji státní maturity je nepochybně důležitá a letošní maturitní premiéra ji jistě oživí. Domnívám se však, že nejprve je třeba dotáhnout debatu o těch úlohách, které neobstály či to zatím není jasné. Už proto, že jak CERMAT, tak ministerstvo školství se dosud tváří, jako by bylo všechno v pořádku.

Zdaleka není. I kdyby vady v „lehčí češtině“ poškodily byť jen jediného maturanta třeba tím, že mu byla neprávem připsána nižší průměrná úspěšnost v testu, je třeba to napravit. A je nutné udělat to správně. Jinak státní maturita přijde také o důvěryhodnost: čísla, která poskytuje žákům a školám, už nikdo nebude brát vážně.

Nezabýval jsem se tady znovu všemi spornými úlohami „lehčí češtiny“. Nové argumenty k některým z nich jsem uvedl na jiném místě (viz http://eduin.cz/titulka/maturita-z-cestiny-diskuse-k-uloham/), u dalších chci dát panu Kostečkovi i panu Soukalovi ještě možnost, aby svou argumentaci dotáhli a zpřesnili (pan Soukal ostatně slíbil, že se vyjádří později).

I když chápu, že učitelé chtějí prázdniny využít jinak, bude jistě dobře, když se diskuse neomezí na výměnu názorů mezi několika jedinci. Zkusím s EDUin projednat nějaké možnosti, jak diskusi zorganizovat tak, aby zůstala přehledná a její účastníci neodbíhali od tématu dříve, než se opravdu vyčerpá. Za téma přitom stále pokládám ony úlohy, o nichž nepanuje shoda. I když jich ubývá a jistě jich bude ubývat i nadále. S panem Soukalem jsme si zatím odškrtli úlohu 11, s panem Kostečkou pak úlohy 11 a 20 (tou se pan Soukal dosud nezabýval). Zde jsem znovu nabídl některé další žhavé kandidáty na vyřazení z testu (3, 14, 15, 25) a připomněl chybu ve vyhodnocení úlohy 19, které si povšiml pan Zajíček.