Mam problem z badaniami edukacyjnymi. Jest to mój problem, a nie naukowe rozważania. Z jednej strony uważam, że są potrzebne, a z drugiej im nie dowierzam.
Przeważnie docierają do nas wnioski z badań i nie mamy wglądu w proces ich powstawania. Też nie mamy dostępu lub wystarczającej chęci do przebicia się, do metodologii przytaczanych badań.
A największe moje zastrzeżenie dotyczy tego, że to jest statystyka, a w konkretnym przypadku może być zupełnie inaczej.
Trzy sprawy, które podważają moją wiarę w badania?
- Badacz stawia tezę: z A wynika B i sprawdza korelację pomiędzy tymi czynnikami.
Nie bierze pod uwagę, że B może wynikać zupełnie z czego innego niż A, a statystyka stwierdziła jedynie współwystępowanie. Wiadomo (też skąd wiadomo??), że największy wpływ na wyniki nauczania ma sytuacja materialna i środowiskowo ucznia. Jeśli dobierzemy próbę badawczą wśród uczniów z tak zwanych „dobrych domów”, a grupę kontrolną z „gorszych domów”, to może się okazać, że uczniowie z pierwszej z nich osiągają lepsze wyniki nauczania niż grupa druga. Jednak nie z powodu czynnika A, ale z powodu pochodzenia.
Tak właśnie się stało z badaniami cytowanymi w poważnym artykule: http://blogs.edweek.org/teachers/teaching_now/2020/02/when_teachers_are_tough_graders_students_learn_more_study_says.html
Przeczytałam tezę w tytule: When Teachers Are Tough Graders, Students Learn More, Study Says i zastanowiłam się, że to jest dokładnie odwrotnie niż ja sądzę. Okazało się, że szanowany instytut – Fordham Institute zrobił badania w wyniku, których doszedł do wniosku, że uczniowie surowiej oceniani przez swoich nauczycieli osiągają lepsze wyniki na zewnętrznych egzaminach końcowych. Wczytałam się i o ile dobrze zrozumiałam, to surowsza ocena oznacza, że uczniowie tych nauczycieli otrzymują w szkole niższe stopnie niż średnia egzaminacyjna. Dalej badania pokazują, że surowiej oceniani uczniowie lepiej wypadają na egzaminie końcowym.
Zmartwiło mnie to, bo nigdy nie uważałam, że krytykowanie i surowe ocenianie, w czymś pomaga.
W dalszej części artykułu przeczytałam dygresje, że okazało się, że w tak zwanych „dobrych szkołach”, czyli takich do których chodzą uczniowie z lepszym kapitałem społeczno-kulturowym nauczyciele surowiej oceniają. Może więc, nie surowe ocenianie, a czynnik w postaci „dobrej szkoły”, czyli środowiska był decydujący?
Martwią mnie takie badania, bo nauczyciel, gdy je czyta, może dojść do wniosku, że jeśli będzie stawiał dużo ocen niedostatecznych, to uczniowie osiągną lesze wyniki na egzaminach.
2. Na kim robimy badania?
Pewien czas temu na moim blogu Oś Świata przytoczyłam badania OECD na temat praktyk nauczycielskich https://osswiata.pl/sterna/2019/09/21/badania-oecd/
W tych badaniach pytano nauczycieli, co oni sądzą o swoim nauczaniu, co robią i jak często. Jak można mieć rzetelne wyniki, gdy pyta się bezpośrednio zainteresowanego. Gdyby choć zapytano uczniów, ale nauczycieli pytać, czy podają cele lekcji? Kto powie, że nie podaje?
Dawno temu słyszałam o badaniach na temat zjawiska narkomanii w polskich szkołach. Pytano w nich dyrektorów o ich zdanie. Okazało się, że w szkołach prywatnych zjawisko występuje rzadko, a w państwowych często. A przyczyna pewnie była taka, że dyrektor szkoły prywatnej liczył na pomoc władz, a dyrektor szkoły prywatnej nie chciał się przyznać, że jego szkoła to też ma ten problem i zniechęcić rodziców do posyłania do niej uczniów.
3. Po czym rozpoznajemy efekt B?
To co najbardziej interesuje badaczy edukacyjnych, to wyniki nauczania. W jaki sposób są mierzone?
Nawet w meta badaniach profesora Hattiego (wiarygodniejszych niż wnioski z tylko jednego badania) brane są pod uwagę wyniki egzaminów, czasami też frekwencja uczniów (to jest problem w innych krajach), ale prawie nic więcej. To pcha nas w kierunku poglądu, że dobrą szkołę mierzy się wynikami egzaminów zewnętrznych. A każdy z nas wie, że dobre wyniki (z wymyślonych przez ekspertów egzaminów) nie przekładają się na przyszłość młodego człowieka.
To jest trochę koło zamknięte, bo egzaminy to najłatwiej dostępne dane dające się wykorzystać. Jak na razie nikt nie znalazła uniwersalnej i metody mierzącej, jak absolwent szkoły daje sobie radę w życiu, już po skończeniu szkoły. A przecież szkoła to krótki okres, który ma człowieka przygotować do tego życia.
A dlaczego badania są potrzebne? Nauczyciel musi dokonywać wyboru i badania powinny mu w tym pomoc, inaczej zdaje się tylko na swoje intuicje, które mogą być mylne.
