W poprzednich artykułach („Kto egzaminuje egzaminatorów?” [kliknij], „O rybie psującej się od głowy” [kliknij] oraz „Egzamin się kończy i…” [kliknij]) wskazywałem, że obecny egzamin weryfikacyjny kandydatów na egzaminatorów prowadzi do selekcji pozornej i nadmiernego formalizmu, a jednocześnie nie spełnia funkcji ewaluacyjnej. Warto więc postawić pytanie bardziej fundamentalne: czy trudny egzamin naprawdę sprawdza kompetencje?
Z odpowiedzi przedstawicieli Ministerstwa Infrastruktury wynika, że tak. W artykule „Ministerstwo o egzaminach egzaminatorów” opublikowanym na portalu PRAWO DROGOWE@NEWS [kliknij] wskazano, że zdany egzamin nadaje egzaminatorowi status eksperta, a wysokie wymagania mają gwarantować bezpieczeństwo na drogach. Brzmi to logicznie - do momentu, gdy spojrzymy na to, jak ten egzamin jest skonstruowany.
Egzamin nie tworzy ekspertów. Egzamin - nawet bardzo trudny - nie czyni nikogo ekspertem. Może jedynie sprawdzić określony zakres wiedzy. Jeżeli pytania są źle skonstruowane, to wysoki poziom trudności nie poprawia jakości egzaminu, lecz ją obniża, (drogę do wiedzy eksperckiej opisuje m.in. Edward Nęcka).
W dydaktyce i diagnostyce edukacyjnej jest to rozróżnienie fundamentalne: trudność zadania nie jest równoznaczna z jego trafnością. Pytanie może być trudne, a jednocześnie nie mierzyć tego, co rzekomo mierzy. W takiej sytuacji egzamin nie sprawdza kompetencji, lecz zdolność odgadywania intencji autora.
Rzetelność pytania a poziomy języka. Każde pytanie egzaminacyjne - zwłaszcza w egzaminie o skutkach prawnych - musi być spójne na trzech poziomach:
1. Semantycznego - czyli znaczenia użytych słów,
2. Pragmatycznego - czyli sensu pytania w realnej sytuacji,
3. Normatywnego - czyli zgodności z obowiązującymi przepisami.
Brak zgodności pomiędzy tymi poziomami prowadzi do sytuacji, w której pytanie nie mierzy umiejętności stosowania prawa, lecz wytwarza sztuczny błąd egzaminacyjny.
Przykład z egzaminu weryfikacyjnego. W jednym z egzaminów weryfikacyjnych pojawiło się pytanie, wobec którego złożono protest - i protest ten został uznany za zasadny.
Pytanie miało następującą treść:
Czy prawidłowym jest wydanie polecenia przez egzaminatora w zadaniu „przejazd przez skrzyżowanie równorzędne”, gdy:
a) nakazano przejazd przez nieoznakowane skrzyżowanie równorzędne trzy- i czterowlotowe,
b) nakazano przejazd przez oznakowane skrzyżowanie równorzędne trzywlotowe,
c) wydano polecenie przejazdu przez nieoznakowane skrzyżowanie równorzędne czterowlotowe.
System egzaminacyjny wskazał jako prawidłową wyłącznie odpowiedź „c”.
Problem w tym, że zgodnie z przepisami każda z tych odpowiedzi była poprawna. Rozporządzenie mówi ogólnie o przejeździe przez skrzyżowanie równorzędne - bez rozróżniania, czy jest ono oznakowane, ani ile ma wlotów.
Można domyślać się, że autorowi pytania chodziło o rozróżnienie sformułowań „nakazanie” i „wydanie polecenia”, choć w języku polskim znaczą one to samo.
W tej postaci pytanie nie sprawdzało wiedzy, lecz umiejętność odgadywania, „co autor miał na myśli”.
Trudność pozorna zamiast kompetencji. Takie pytania uchodzą za „trudne”, choć w rzeczywistości są niejednoznaczne. Trudność nie wynika z prawa, lecz z nieprecyzyjnego języka i gry słów, które zastępują merytoryczne sprawdzanie wiedzy testem z domyślania się intencji autora.
Niska zdawalność jako sygnał ostrzegawczy. Warto też zwrócić uwagę na jeszcze jeden fakt: zdawalność części teoretycznej egzaminu weryfikacyjnego oscyluje wokół 15% (źródło: PRAWO DROGOWE@NEWS). Tak niskie wyniki nie mogą być traktowane wyłącznie jako dowód „wysokich wymagań”. W każdym systemie egzaminacyjnym jest to sygnał ostrzegawczy - zwłaszcza gdy to zjawisko się powtarza - który powinien skłaniać do pytania nie tylko o zdających, ale również o konstrukcję testu i jakość pytań.
Jeżeli znaczna większość osób odpada na tym samym etapie, to problem rzadko leży wyłącznie po stronie zdających. W dydaktyce taka sytuacja zwykle oznacza, że egzamin nie mierzy tego, co powinien, albo robi to w sposób niejednoznaczny. Ignorowanie tak niskiej zdawalności nie wzmacnia jakości systemu - przeciwnie, utrwala jego błędy.
Wymiar etyczny egzaminu. Egzamin, w którym część pytań opiera się na grze słów i domyślaniu się intencji autora, nie sprawdza kompetencji, a błędy popełniane przez zdającego wynikają z konstrukcji pytań. Jest to sprzeczne z zasadami etycznymi omawianymi na kursie dla kandydatów na egzaminatorów.
Warto przypomnieć - etyka egzaminowania jest w programie kursu!
Warunki etycznego egzaminu teoretycznego według B. Niemierki
Etyczny egzamin powinien mierzyć kompetencje - w sposób rzetelny, uczciwy i oparty na jasno określonych kryteriach. Oznacza to, że musi:
1. Zapewniać bezstronność. Każdy zdający powinien mieć równe warunki wykazania wiedzy. Pytania nie mogą faworyzować wybranych grup ani wymagać domyślania się intencji autora.
2. Być rzetelny. Wyniki egzaminu powinny być porównywalne niezależnie od wersji testu, czasu jego przeprowadzenia.
3. Posiadać odpowiedni współczynnik rzetelności. Uzyskany wynik musi być wiarygodny, zwłaszcza gdy egzamin wywołuje skutki zawodowe lub prawne.
4. Być trafny. Pytania powinny sprawdzać rzeczywistą wiedzę oraz umiejętność stosowania przepisów, a nie zdolność interpretowania niejednoznacznych sformułowań!
5. Opierać się na dyskursie trafności. Sposób punktowania i interpretacji wyników powinien dać się logicznie uzasadnić na każdym etapie oceniania.
6. Zachowywać obiektywizm diagnozy. Egzamin powinien odzwierciedlać realne wymagania zawodu i obowiązujące prawo, a nie subiektywne założenia autora pytań!
Egzamin uczy stylu egzaminowania. Jeżeli egzamin weryfikacyjny ma rzeczywiście wpływać na bezpieczeństwo ruchu drogowego, musi być rzetelny, jednoznaczny i refleksyjny. Egzaminator, który sam został oceniony w sposób arbitralny i formalistyczny, jest pozbawiony wzoru do którego mógłby się odnieść.
Zakończenie. Wysoki poziom trudności egzaminu nie jest dowodem jego jakości. Jakość egzaminu mierzy się jasnością pytań, zgodnością z przepisami i uczciwością oceniania. Egzamin, w którym nie odróżnia się popełnionego błędu merytorycznego od błędu wynikającego z niejednoznaczności pytania, nie weryfikuje kompetencji.
Dopóki trudność egzaminu będzie mylona z jego wartością, dopóty będziemy mieć do czynienia z selekcją pozorną zamiast rzetelnej weryfikacji. A to nie wzmacnia ani autorytetu egzaminatora, ani bezpieczeństwa na drogach.
Pytanie: Czy sposób egzaminowania kandydatów na egzaminatorów, niezgodny z zasadami etyki nauczanymi na kursach wpływa na to, jak osoby później dokonujące oceny, rozumieją i stosują przepisy?
Dariusz Pilch
