Badania na temat OK obserwacji


Przeczytałam krótki artykuł Sarah D. Sparksna temat badań nad rozwojem zawodowym nauczycieli opartym na obserwacji koleżeńskiej : http://blogs.edweek.org/edweek/inside-school-research/2018/01/feedback_for_teachers_may_boos.html
Jest to bardzo intersujący temat, ponieważ w Polsce obserwacja koleżeńska także zaczyna być wykorzystywana.
Do praktyki oceny pracy nauczycieli w wielu szkołach w USA wprowadzono obserwację lekcji i poobserwacyjną informację zwrotną dla nauczyciela. Nadal nie ma jednak badań, czy te praktyki wpływają na poprawę wyników nauczania.
Badacze z American Institutes of Research i Institute of Education Sciences przebadali ponad 100 szkół podstawowych i gimnazjów w pięciu stanach. W badaniach wzięło udział 1000 nauczycieli matematyki i języka angielskiego. Badano, jaki wpływ na uczenie się uczniów ma rozwój zawodowy nauczycieli oparty o koleżeńskie obserwacje lekcji i poobserwacyjne przekazywanie informacji zwrotnej.
Po roku zauważono, że szkoły praktykujące ocenę koleżeńską, dającą nauczycielom dodatkowe informacje o ich pracy, charakteryzowały się tym, że uczniowie lepiej radzili sobie w testach matematycznych niż uczniowie w szkołach, gdzie takiej informacji dodatkowej nauczyciele nie otrzymywali. Można określić, że osiągnięcia matematyczne uczniów poprawiły się o około 4 dodatkowe tygodnie nauki. Ten wynik nie jest bardzo duży, ale istotny i na pewno obiecujący.
W języku angielskim nie zanotowano istotnej zmiany i również nie odnotowano wzrostu umiejętności matematycznych uczniów w następnym roku.
Andrew Wayne, współautor badania, zwraca uwagę na to, jak często ta praktyka jest stosowana. W  badanych szkołach doświadczeni nauczyciele otrzymywali informację zwrotną o swojej pracy średnio raz na dwa lata, a nauczyciele-stażyści 1,6 razy w roku.
Dodatkowa trudność w interpretacji wyniku badań polega na  tym, że nauczyciele otrzymywali informację zwrotną w trzech aspektach. Nie wiadomo, czy nauczyciele, u których zaobserwowano wzrost umiejętności matematycznych ich uczniów, otrzymywali wspólną informację zwrotną w trzech aspektach, czy w każdym z nich osobno.
Naukowcy początkowo sądzili, że negatywne opinie i krytyczne uwagi o pracy nauczyciela pobudzą go do poszukiwania dróg rozwoju zawodowego. Okazało się jednak, że u nauczycieli, którzy otrzymali negatywne opinie, nie zanotowano wzrostu umiejętności matematycznych uczniów.
„Wierzę, że informacja zwrotna jest drogą do rozwoju zawodowego”, „Rozmowa, refleksja nad nauczaniem, myślenie o tym, które aspekty lekcji poprawiają uczenie się uczniów, stanowi nie tylko ocenę pracy, ale przede wszystkim jest formą rozwoju zawodowego” – powiedział jedne z badaczy.
Naukowcy analizowali pisemne zapisy z sesji przekazywania informacji zwrotnej i zauważyli, że warto:
• Wskazywać konkretne przykłady z obserwowanej lekcji, które zilustrują mocne i słabe strony warsztatu pracy nauczyciela.
• Rozmawiać o  badaniach naukowych na temat strategii wpływających na podniesienie efektów uczenia się uczniów.
• Zachęcać nauczycieli do samodzielnej identyfikacji i przeanalizowania przykładów ze swojej praktyki, które wpływają, bądź nie, na uczenie się uczniów.
 
Tyle w skrócie zrozumiałam z artykułu.
Dla mnie ważnych jest kilka spraw:

  1. Istnieją szczegółowe badania na temat wpływu OK obserwacji na wzrost umiejętności uczniów. Zawsze byłam przekonana o jej skuteczności, a teraz się cieszę, że jest to poparte badaniami. W programie Szkoła Ucząca Się  propagujemy OK obserwację już od wielu lat. Więcej o OK obserwacji znajdziesz tutaj.
  2. Ciekawy jest sposób badania, czyli porównywanie, ile czasu można zaoszczędzić w nauczaniu matematyki, stosując pewną interwencję. Spotkałam się już z tym typem badań u Dylana Williama i Johna Hattiego. Przemawia to do mnie lepiej niż badanie samych wyników nauczania, czyli np. stopni z egzaminu.
  3. Jestem również przekonana, że rozmowa na temat nauczania musi przynieść dobre rezultaty. Już sama analiza nauczania musi dać efekty. Jednak uwaga, że ta analiza ma być poparta przykładami, jest dla mnie kluczowa. Jeśli nie ma przykładów, to nie za bardzo wiemy, o czym mówimy.
  4. Bardzo jest ważne, aby informacja zwrotna nie była ograniczona tylko do krytyki. Dla mnie krytyka jest mało rozwojowa. Ja sama rozwijam się tylko, gdy jestem jednocześnie doceniana i myślę, że sporo osób ma tak samo.

6 komentarzy

  • avatar

    Robert Raczyński

    15 stycznia 2018 at 14:28

    Mnie nie prosiłaś o wstrzemięźliwość :), więc dodam swoje trzy grosze i wcale nie chodzi o to, że mam do tego „patrzenia sobie na ręce” stosunek ogólnie znany:
    „The effect here was not large, but it was meaningful and consistent,” said Michael Garet, a study co-author. „It suggests there is something about feedback that is promising.” – Pan Garet zapomniał widać, że ten obiecujący efekt może być w całości wynikiem dość prostego zjawiska: Po prostu, obserwowani nauczyciele wzięli się do roboty, wrzucili wyższy bieg i nadrobili trochę materiału. Feedback negatywny wcale nie jest w takich przypadkach niezbędny. Oczywiście nie będę zakładał, że nikt nie odniósł tu żadnych korzyści, uważam jednak, że świadomość bycia pod obserwacją może mieć daleko większy (chwilowy, fałszywie pozytywny) wpływ na pracę, niż dzielenie się doświadczeniami. Mamy na to proste wskazanie nieco niżej: „This was [feedback] an additional four times a year for all teachers. It probably seemed pretty intensive to the teachers.”
    Zwróćmy także uwagę, że „oceną koleżeńską” zostali także sprawiedliwie objęci dyrektorzy badanych placówek. Z pewnością nie miało to żadnego przełożenia na podległych im nauczycieli…
    „Math growth was not as substantial in the second year, and feedback produced no gains for English learning in either year, but feedback also significantly improved trust between teachers and principals, and principals’ instructional leadership skills, the researchers found.” – Szkoda, że nie wiemy, w jakich jednostkach zmierzono to zaufanie. Jest rzeczą powszechnie znaną, że wszelkie ankiety w „szkołach badanych” dają wyniki w postaci pękniętego termometru – często skali brakuje, żeby zmieścić wszelkie ochy i achy. W tym konkretnym wypadku gwałtowny wzrost zaufania wśród grona nauczycielskiego miałby stanowić przeciwwagę dla braku zauważalnych postępów wśród uczniów.
    Mój „trzeci grosz”, będzie umiarkowanie pozytywny: Nikt tak naprawdę nie wie, co będzie dla danego nauczyciela i jego pracy lepsze, dobrze byłoby pozostawić ludziom wybór, czy chcą w takich sesjach uczestniczyć on regular basis, czy też są im zbędne. Być może ci niechętni daliby się przekonać, gdyby zauważyli, że uczniowie ich recenzowanych kolegów osiągają zdecydowanie lepsze wyniki. Konkursy na najbardziej wypasione „zaufanie” mogą ich po prostu nie kręcić.

  • avatar

    Robert Raczyński

    15 stycznia 2018 at 14:28

    Mnie nie prosiłaś o wstrzemięźliwość :), więc dodam swoje trzy grosze i wcale nie chodzi o to, że mam do tego „patrzenia sobie na ręce” stosunek ogólnie znany:
    „The effect here was not large, but it was meaningful and consistent,” said Michael Garet, a study co-author. „It suggests there is something about feedback that is promising.” – Pan Garet zapomniał widać, że ten obiecujący efekt może być w całości wynikiem dość prostego zjawiska: Po prostu, obserwowani nauczyciele wzięli się do roboty, wrzucili wyższy bieg i nadrobili trochę materiału. Feedback negatywny wcale nie jest w takich przypadkach niezbędny. Oczywiście nie będę zakładał, że nikt nie odniósł tu żadnych korzyści, uważam jednak, że świadomość bycia pod obserwacją może mieć daleko większy (chwilowy, fałszywie pozytywny) wpływ na pracę, niż dzielenie się doświadczeniami. Mamy na to proste wskazanie nieco niżej: „This was [feedback] an additional four times a year for all teachers. It probably seemed pretty intensive to the teachers.”
    Zwróćmy także uwagę, że „oceną koleżeńską” zostali także sprawiedliwie objęci dyrektorzy badanych placówek. Z pewnością nie miało to żadnego przełożenia na podległych im nauczycieli…
    „Math growth was not as substantial in the second year, and feedback produced no gains for English learning in either year, but feedback also significantly improved trust between teachers and principals, and principals’ instructional leadership skills, the researchers found.” – Szkoda, że nie wiemy, w jakich jednostkach zmierzono to zaufanie. Jest rzeczą powszechnie znaną, że wszelkie ankiety w „szkołach badanych” dają wyniki w postaci pękniętego termometru – często skali brakuje, żeby zmieścić wszelkie ochy i achy. W tym konkretnym wypadku gwałtowny wzrost zaufania wśród grona nauczycielskiego miałby stanowić przeciwwagę dla braku zauważalnych postępów wśród uczniów.
    Mój „trzeci grosz”, będzie umiarkowanie pozytywny: Nikt tak naprawdę nie wie, co będzie dla danego nauczyciela i jego pracy lepsze, dobrze byłoby pozostawić ludziom wybór, czy chcą w takich sesjach uczestniczyć on regular basis, czy też są im zbędne. Być może ci niechętni daliby się przekonać, gdyby zauważyli, że uczniowie ich recenzowanych kolegów osiągają zdecydowanie lepsze wyniki. Konkursy na najbardziej wypasione „zaufanie” mogą ich po prostu nie kręcić.

  • avatar

    Xawer

    15 stycznia 2018 at 15:41

    Ależ nie znęcam się, tylko poddaję krytycznej ocenie… Jeśli uznaję coś za bzdurę i nierzetelność, to albo:
    – należy rozważyć moje argumenty, odrzucić je we własnym rozumie, i rozmyślać nad zagadnieniem (jestem zachwycony, gdy ktoś odrzuca moją argumentację w sposób bardziej krytyczny, niż „wierzę i już!” – dewotów i tak nie przekonam, a racjonalnie odrzucających moją krytykę wręcz umocnię w przekonaniu;
    – należy rozważyć te argumenty we własnym rozumie, uznać je za słuszne, czyli zagadnienie za bzdurę i nie myśleć o nim wcale, uznając je za kolejne bajdurzenie o perpetuum mobile albo wizytujących nas kosmitach.
    Chciałbym sprostować, że te badania nie opierają się na „ocenie koleżeńskiej” tylko na sformalizowanych ocenach zewnętrznych wizytatorów – kołczów (choć nigdzie to nie jest powiedziane jasno, taka metodologia wydaje się być opisana w powiązanych dokumentach, jak CLASS)
    Zwracam też uwagę na to, co zawsze:
    – badanie przeprowadzone na elementary and middle schools uogólnia się również na całość edukacji;
    – kryterium badania były wyniki w testach państwowych;
    – „The effect here was not large, but it was meaningful” – ale już nie dowiemy się, o ile odchyleń standardowych „efekt” przekraczał średnią, ani nawet jak „not large” był.
    Mamy też curiosa zaprzeczające wcześniejszym twierdzeniom: „Math growth was not as substantial in the second year, and feedback produced no gains for English learning in either year, but feedback also significantly improved trust between teachers and principals” To znaczy co? Wyniki edukacji nie wzrosły (choć przed chwilą pisano, że wzrosły), ale za to nauczyciele bardziej ufają swoim przełożonym? Nie ma to wprawdzie żadnego efektu edukacyjnego, ale dobre i to!
    Albo: „I now believe the feedback _is_ the professional development” – znaczy co? Że wprawdzie uczniowie nie uczą się więcej ani lepiej, ale nauczyciele „rozwijają się zawodowo” wspaniale, tyle, że skutków tego „rozwoju” nie widać nawet w takich efektach, jak testy ich uczniów?

  • avatar

    Xawer

    15 stycznia 2018 at 15:41

    Ależ nie znęcam się, tylko poddaję krytycznej ocenie… Jeśli uznaję coś za bzdurę i nierzetelność, to albo:
    – należy rozważyć moje argumenty, odrzucić je we własnym rozumie, i rozmyślać nad zagadnieniem (jestem zachwycony, gdy ktoś odrzuca moją argumentację w sposób bardziej krytyczny, niż „wierzę i już!” – dewotów i tak nie przekonam, a racjonalnie odrzucających moją krytykę wręcz umocnię w przekonaniu;
    – należy rozważyć te argumenty we własnym rozumie, uznać je za słuszne, czyli zagadnienie za bzdurę i nie myśleć o nim wcale, uznając je za kolejne bajdurzenie o perpetuum mobile albo wizytujących nas kosmitach.
    Chciałbym sprostować, że te badania nie opierają się na „ocenie koleżeńskiej” tylko na sformalizowanych ocenach zewnętrznych wizytatorów – kołczów (choć nigdzie to nie jest powiedziane jasno, taka metodologia wydaje się być opisana w powiązanych dokumentach, jak CLASS)
    Zwracam też uwagę na to, co zawsze:
    – badanie przeprowadzone na elementary and middle schools uogólnia się również na całość edukacji;
    – kryterium badania były wyniki w testach państwowych;
    – „The effect here was not large, but it was meaningful” – ale już nie dowiemy się, o ile odchyleń standardowych „efekt” przekraczał średnią, ani nawet jak „not large” był.
    Mamy też curiosa zaprzeczające wcześniejszym twierdzeniom: „Math growth was not as substantial in the second year, and feedback produced no gains for English learning in either year, but feedback also significantly improved trust between teachers and principals” To znaczy co? Wyniki edukacji nie wzrosły (choć przed chwilą pisano, że wzrosły), ale za to nauczyciele bardziej ufają swoim przełożonym? Nie ma to wprawdzie żadnego efektu edukacyjnego, ale dobre i to!
    Albo: „I now believe the feedback _is_ the professional development” – znaczy co? Że wprawdzie uczniowie nie uczą się więcej ani lepiej, ale nauczyciele „rozwijają się zawodowo” wspaniale, tyle, że skutków tego „rozwoju” nie widać nawet w takich efektach, jak testy ich uczniów?

Dodaj komentarz