PISA?

Magdalenki wyszły troszkę przepieczone, ale dały się zjeść 😉
Zachwyt medialny nad PISA chyba mija: zachwycił się Premier, MEN, ZNP, IBE, a nawet ex-minister Hall, ale poza tym tego zachwytu już nie słychać. Kto by się pojawił w Tok-FM, od prof.Czapińskiego po prof.Mankiewicza, to komentuje te wyniki dość chłodno.
” Ale trochę nie rozumiem, czy w Finlandii dzieci nie lubią szkoły i uczenia się przedmiotów ścisłych? ”
Szkołę lubią, ale nie interesują się przedmiotami ścisłymi. Zarówno deklarują ten brak zainteresowania, jak i wykazują go w mierzalny sposób, np. w porównaniu z Holendrami w bibliotece pożyczają częściej powieści niż książki popularnonaukowe, rzadziej też widzą swoją przyszłość w zawodach bazujących na naukach ścisłych — efekt widać po tym, że Finlandia ma zbyt mało absolwentów politechnik i musi ściągać inżynierów z innych krajów.
” nie warto mieć szkoły, która skutecznie uczy do jakiegoś celu, ale warto mieć szkołę, gdzie uczeń uczy się z przyjemnością, a nauczyciel się spełnia w pracy ”
Tu się nie zgodzę. Uczenie się z przyjemnością i spełnianie w pracy są środkami do osiągnięcia podstawowego celu edukacji, czy porządne wykształcenie dziecka. I to „porządne wykształcenie” szkoła musi określić. Na dziś jest nim podstawa programowa.
Jak na osiągnięcie takiego celu nawet w uprzyjemniony dla ucznia sposób i ze spełnianiem się zawodowym nauczycieli, to trochę szkoda poświęcać 13 lat życia (jakkolwiek byłoby przyjemnie) i około 200,000zł z kieszeni podatników.
” jak myślisz, o co w tej szkole i nauczaniu chodzi? ”
Żeby dzieciaki rozwijały się intelektualnie, interesowały światem i miały okazję to zainteresowanie zaspokajać. Z pewnością nie chodzi o to, żeby po 10 latach nauki umiały porównać wysokość słupków na wykresie — takie umiejętności są wyłącznie efektem ubocznym uczenia się tego, co je interesuje.
@ Paweł
PISA jako obraz zróżnicowania kulturowego.
Bardzo to ładnie widać po Finlandii, gdzie są dwa języki: większość robi ten test po fińsku, około 1/4 po szwedzku. Ci szwedzkojęzyczni mieszkańcy Finlandii chodzą do takiej samej szkoły, jak fińskojęzyczni, uczą się według tych samych programów. Ale wyniki PISA dla tych dwóch grup są dość różne, a wyniki mniejszości szwedzkiej są dużo bliższe wynikom Szwedów ze Szwecji, niż Finów — choć system edukacyjny w Szwecji jest mocno różny od fińskiego. A żeby było śmieszniej, to fińscy Szwedzi wypadają w PISA trochę gorzej od Finów, choć w całości społeczeństwa Finlandii ta szwedzkojęzyczna mniejszość ma ponadprzeciętny status materialny i społeczny i jest silnie nadreprezentowana w elitach Finlandii.
@ Waldek
Dzięki za te zadania! Zaraz je przejrzę.
” Zagadką jest, że takie kraje jak USA i Anglia wypadły wysoko w TIMSS, a żenująco nisko w PISA. ”
Podobnie jak Polska, Finlandia też ma doskonałe wyniki PISA a słabiutkie w TIMSS. Do porównania z PISA lepiej nadają się wyniki TIMSS dla 8 klasy.
Widzę dwie przyczyny takich różnic:
1. TIMSS pokrywa znacznie szerszy zakres — wyniki uwzględniają w zbalansowany sposób również udział uczniów umiejących dużo ponad średnią, podczas gdy wynik PISA zdominowany jest przez wpływ uczniów najgorszych. PISA dyskryminuje kraje o dużej rozpiętości umiejętności uczniów.
2. PISA stała się w wielu krajach (od Finlandii i Polski zaczynając) elementem sprzężenia zwrotnego systemu edukacji, która „uczy w stylu PISA”: na przykład wzoruje na PISA krajowe testy, dostosowała programy do wymagań PISA (wyszukiwanie prostej informacji explicite podanej w treści zadania), etc. Amerykańskie, angielskie, szwajcarskie, etc. szkoły się nie dostosowały do tego stylu. Austria do tej pory nie wprowadziła zewnętrznych egzaminów testowych.
Warto przejrzeć raporty TIMSS i PIRLS: http://timss.bc.edu/ — w szczególności raport z 2008 z poszerzonego badania.

To jest pytanie językowo-logiczne.
Obliczenia są OK.
problem-nieporozumienie tego paradoksu tkwi w definicji pojęcia „procent przyjęć kobiet”, które jest tu użyte nizgodnie z jego intuicyjnym językowym znaczeniem.
(Nieprecyzyjna) fraza „przyjęto 30% kobiet” jest rozumiana, zgodnie z powszechnym rozumieniem języka, jako „30% spośród przyjętych to kobiety, a reszta, czyli 70% przyjętych, to mężczyźni”.
A Twoja zagadka używa go w innym znaczeniu: „30% kandydatów płci żeńskiej został przyjęty a o odsetku przyjętych mężczyzn nie wiemy nic”.
Jeśli przeformułujesz narrację zagadki tak, by nie myliła tych pojęć, to przestanie być ona paradoksem.

„edukacja dzieci i młodzieży jest podstawą tego co będzie naszym potencjałem w przyszłości a przede wszystkim kształtowaniem ich mentalności ”
Czy autorzy i zwolennicy badań PISA potrafią zmierzyć ów „potencjał” i ową „mentalność” ? Bo jeśli nie potrafią, to nie rozumiem co, a przede wszystkim po co, mierzą swoimi testami ?
Testowanie PISA kojarzy mi się z pomysłem, żeby jedna i ta sama firma produkowała słodycze oraz pasty do zębów, i do tego jeszcze utrzymywała sieć gabinetów dentystycznych. Chciałbym mieć taką firmę.

„Jeśli powstanie obywatelska inicjatywa na rzecz zniesienia testów w gimnazjum, z chęcią się podpiszę.”
No to już ! Zacznijmy. Ja podpisuję: Wiesław Mariański.

PISA, wbrew niemal wszystkim, którzy tak ochoczo cytują i dyskutują wyniki tego testu – nie mówi o „obiektywnych faktach” i jest wyłącznie oceną dokonaną w sposób silnie znaczony specyficzną perspektywą aksjologiczną. Przez polityków natomiast wyniki te cytowane są oczywiście z perspektywy zarówno prezentowanej przez nich zwykłej głupoty nadętych urzędasów, jak i z propagandowej perspektywy ich resortów i partii. Doprawdy przeraża w tych cytatach rozmiar bezmyślności z jednej strony i złej woli oraz propagandy z drugiej. I powszechna niemoc intelektualna w zderzeniu z twardymi rzekomo lub rzeczywiście danymi.
Próbka faktów z PISA:
Jeśli w 2000r. w PISA stwierdzono, że 24% polskich uczniów demonstrowało poważne kłopoty w czytaniu (co oznacza funkcjonalny lub literalny analfabetyzm) i że ten odstek spadł w Polsce do 15% w roku 2009 i nieco ponad 10% w roku 2012, to niewątpliwie jest to jakiś fakt i jakaś poprawa w Polsce nastąpiła. Może nawet rzeczywiście jest to poprawa tak znaczna, jak to sugerują cytowane liczby. Nie jest jednak w najmniejszym stopniu jasne, czy da się tę poprawę wiązać w jakimkolwiek stopniu ze zmianami polskiej szkoły, a już zwłaszcza w gimnazjach, które – sądzę – nie uczą już dzieci czytania. Ale fakt wzrostu pozostaje rzeczywiście faktem. Moim zdaniem jakoś to pokazuje awans cywilizacyjny grup dotąd najbardziej upośledzonych i niewiele więcej, ale to byłby przedmiot dyskusji, która mogłaby się odbywać i byłaby ważna – gdyby ją w ogóle podejmowano.
Jest w wynikach PISA jednakże również inny fakt. Otóż w owym fatalnym roku 2000 mieliśmy w Polsce 25% uczniów, którzy w testach PISA osiągnęli wyniki z najwyższego przedziału. A ten akurat wskaźnik w 2009 roku spadł do poziomu nieco ponad 7%, a w 2012 zanotowaliśmy tu nieco ponad 10%. Ten spadek był więc zdecydowanie bardziej dramatyczny w górnym końcu skali niż wzrost w dolnym, gdyby rzecz mierzyć w 2009 roku, a mniej więcej podobny, jeśli się rozważa przedział 2000 – 2012. Ten spadek jest w każdym razie również faktem. Podobnie, jak w pierwszym przypadku niewiele wskazuje, że szkoła ma z nim cokolwiek wspólnego. Tak, czy inaczej zarówno wzrosty, jak i spadki tak definiowane są faktami, które większych wątpliwości nie budzą, choć da się podnieść wiele zastrzeżeń, co do ich rzeczywistego znaczenia. To jednak zostawmy, bo dyskusji o tych danych, jak powiedziałem, nie ma.
Nawet w przedziale 2000 – 2009 ogólna punktacja umiejętności czytelniczych wzrosła w Polsce wyraźnie. Pomimo nieporównanie głębszych spadków w górnej niż wzrostów w dolnej części skali. Ten ogólny wzrost zatem nie jest faktem, a wyłącznie oceną. Oceną jest rownież miejsce Polski w rankingach.
W skali PISA wzrosty w dolnej części skali po prostu więcej ważą niż spadki w górnej. Wolno autorom tych badań taką miarę przyjąć. Błędu w metodzie tu nie ma. Jest tylko specyficzny wybór. Kiedy jednak dyskutujemy wyniki, powinniśmy sobie zdawać sprawę z charakterystycznej symetrii skali PISA. Dla każdego, kto umie myśleć samodzielnie, powinno być jasne, że nie istnieje i nie może tu istnieć żadna miara obiektywna umożliwiająca ilościowe porównania wiedzy na różnych poziomach, z różnych obszarów itd. Powinno być jasne, że chodzić może wyłącznie o oceny – a najwyraźniej wszyscy daliśmy sobie skutecznie wmówić, że wielkie, międzynarodowe badanie szacownej instytucji dostarcza nam wiedzy obiektywnej.
Kiedy więc prof. Marciniak, patronujący obrażającym rozum zmianom podstawy programowej z matematyki z 2008 roku, pokrzykuje dzisiaj w wywiadach, że faktów podważać się nie da i wygłasza z tej okazji nierozważnie bojowe wyzwania pod adresem Azjatów, z którymi teraz będziemy się ścigać, to ja stawiam, że zwyczajnie kłamie. Jest matematykiem, na Boga! – musi wiedzieć, co rzeczywiście znaczą dane PISA. Jeśli nie wie, powinien natychmiast wylecieć ze wszystkich swych posad w resortach nauki i edukacji. Kłamie ordynarnie min. Szumilas, kiedy się chwali wzrostami w dolnej części skali w latach 2000 – 2009, zapominając o górnej części skali, gdzie sytuacja pogorszyła się dramatycznie. Kłamie również min. Hall, która o górze skali sobie ostatnio przypomniała, ale informuje nas wyłącznie o latach 2009 – 2012, zapominając poinformować o spadkach wcześniejszych, które raczej już odwracalne nie będą. Kłamią wszyscy z nich prezentując nam dane PISA jako obiektywne informację o szkole. Albo nie kłamią, a tylko demonstrują niewiedzę, która powinna ich jednak dożywotnio kompromitować, skoro zajmują lub zajmowali te stanowiska, które zajmowali.
OECD padła ofiarą własnego sukcesu. Przed rokiem 2000 tamtejsi edukacyjni eksperci próbowali snuć swoje analizy, projektując możliwe scenariusze rozwoju publicznych sektorów oświatowych i zastanawiając się nad szansami przełamania betonowego oporu kadrowego aparatu oświaty i społecznie funkcjonujących przeświadczeń. Badania PISA – pomyślane jako próba skonstruowania wspólnej miary – stały się natychmiast źródłem ekscytacji resortów badanych krajów i wyznaczyły im prosty cel i wygodne kryterium. Eksperci OECD lądują na posadach w resortach edukacji i odwrotnie – PISA to dzisiaj ogromny mechanizm utrzymujący się ze wsparcia rządów. Raporty PISA niewiele już mają wspólnego z badaniami – jak, nie przymierzając, badania oglądalności dawno przestały być badaniami, nie mają i nie muszą mieć niczego wspólnego z jakąkolwiek prawdą, ponieważ stały się wygodną umowną walutą reklamowych rozliczeń.
Moim zdaniem z tej historii powinien płynąć morał. W obliczu tak ordynarnych kłamstw i manipulacji nie powinniśmy wspierać kłamców. Nie powinniśmy brać udziału w sposnorowanych i zamawianych przez kłamców badaniach i programach. Nie powinniśmy korzystać z publicznych funduszy interesownie oferowanych przez urzędników MEN. Powinniśmy wspierać badania i projekty niezależne. Organizacje pozarządowe związane z edukacją albo praktycznie nie istnieją, albo żyją z programów zamawianych, kontrolowanych lub wręcz zlecanych przez rządowe agendy. To tłumi krytykę – i tak jak w publicznym dyskursie nie istnieje krytyczna analiza PISA, choć ona jest tak prosta, jak to powiżej przytoczyłem, tak żadna głębsza analiza krytyczna polskiej i europejskiej polityki oświatowej nie istnieje również. Na badania w tym kierunku zwyczajnie nie ma grantów. Ja sądzę, że w tej sytuacji wstyd jest wziąć choćby złotówkę od MEN i jego agend.
Proszę, wybaczcie mi ostrość powyższego, ale trudno o spokój wobec tego morza absurdów wygadywanego w mediach o PISA.

No, właśnie w tym rzecz, że choć w PISA faza badań pilotowych istnieje, to jednak te zestawy, które opisywano w tych PISA Frameworks przy okazji wykluczania cultural biases polegały na eliminowaniu ich już z badań właściwych, a nie pilotowych. Czytałem tę procedurę — nie pamiętam już przy którym badaniu ją opisywali — i ona moich zastrzeżeń nie wzbudziła mimo tego, że manipulacji dokonywano na danych uzyskanych we właściwym badaniu. Proces „filtrowania zniekształceń” wyglądał mi prawidłowo.
O dopasowywaniu pakietów do programu słyszałem plotki z „poinformowanych źródeł” zbiżonych do IBE. Weryfikacja plotek trwa i będzie trudna, bo opracowania technicznego nie ma. Dokładniej mówiąc — nie będzie niczego poza opublikowanym już „PISA 2012 Assessment and Analytical Framework”, gdzie nie da się znaleźć informacji na interesujący nas temat. W szczególności nie ma tam również np. niczego, co mogłoby potwierdzić lub wykluczyć nasze obserwacje — dowiedzione wynikami z czytania w Polsce w latach 2000 – 2009, w których punktacja nam rosła pomimo asymetrycznie większych spadków u góry skali niż wzrostów u dołu. PISA podaje procentową punktację za zadania mieszczące się w rozmaitych kategoriach – jednak nie ma informacji o procentowej zawartości zadań trudnych vs. łatwych.
Jest natomiast informacja o trybie przygotowywania pakietów na poziomie kraju i uzgadniania ich z centralą. Bliższych informacji o tym, co zmieniono i jak te wspomniane w dokumentach negocjacje przebiegały – tego nie ma i nie będzie. Wyraźne zróżnicowanie treści pytań w stosunku do poszczególnych krajów ze względu na curricula na krajowym poziomie nie wydaje mi się prawdopodobne — wtedy ranking nie ma żadnego sensu. A może ma? Ja nie bardzo rozumiem, co jest celem tych badań, bo PISA dość wyraźnie podkreśla, że bada realne umiejętności życiowe, a nie szkolne programy, ale z drugiej strony twierdzi, że rankingi mierzą efektywność szkoły. Jest w tym takie morze ukrytych i nieweryfikowalnych założeń, że ja wysiadam.
Zadanie z drzwiami obrotowymi zawiera błąd, który zauważyłeś. Ale zobacz na stronach IFIS PAN, jak zakwalifikowano trzy zadania, które tych drzwi dotyczyły. Pierwsze – trzeba było podać kąt między skrzydłami. Poziom drugi w PISA. Dlaczego nie pierwszy? Dlatego, że trzeba wiedzieć, że pełny obrót to 360? Z kolei w Polsce kojarzy się to z wymaganiem podstawy programowej określonym jako „wykorzystanie i interpretowanie reprezentacji”. Ki diabeł? Ja nie mam pojęcia – niezupełnie umiem czytać ten język wymagań i na ogół w ogóle nie wiem, o co chodzi.
W drugim zadaniu chodzi o podanie kasymalnego rozmiaru otworu drzwiowego tak, by całość nadal działała jako wiatrołap. PISA daje to na maksymalnym poziomie trudności, czemu się dziwię, skoro rozwiązanie narysowano. Ale to jest może fakt, że nie więcej niż 5% dorosłej populacji potrafiłaby podać odpowiedź. W Polsce ujęto to pod wymaganiem „rozumowanie i argumentacja” – chyba słusznie.
Zadanie trzecie – to z błędem – w skali PISA odpowiada 4 stopniowi trudności. W języku polskiej podstawy uznano, że wymaga ono zaplanowania i kykonania sekwencji kilku działań i uznano, że rozwiązanie wymaga „użycia i tworzenia strategii”. Błędna odpowiedź uznana za poprawną wymagała natomiast pomnożenia przez siebie wszystkich liczb wymienionych jako dane. To mi na kilometr śmierdzi polską CKE i tym specyficznym sposobem przekładania „wymagań ogólnych” na szczegółowe treści sylabusów i podręczników.
Pamiętam co prawda w PISA zadania z rachunku prawdopodobieństwa, który cofnięto z gimnazjum w Polsce, a mimo to w PISA dzieciaki w Polsce te pytania dostawały, ale właśnie słyszę, że tego ma się już nie robić. Może chodzi o jakąś nowość po roku 2009? Zasady gry w PISA się zmieniają – np. w 2009 zastosowano 6 progów trudności w czytaniu w stosunku do porzednich 5, co spowodowało trudność w porównywaniu wyników i ogólne wzrosty na całym świecie.
Nie ma innej rady niestety, jak tylko wczytać sobie bazę surowych danych i ją przeanalizować samodzielnie. Chyba uda mi się w tym uzyskać pomoc kogoś, kto – w odróżnieniu ode mnie – ma przy tym naukowe doświadczenie w analizie danych i to właśnie związanych z pomiarami umięjętności, więc może coś się uda zrozumieć o naturze tego cudu sprawionego podstawą programową p. Hall oraz pp. Marciniaka i Semadeniego.

Jednak zachwycające jest, że nie wszyscy wpadli w oszałamiający zachwyt wynikami badań PISA i może nadal będziemy myśleć – jak zrobić lepiej?
Czego wszystkim w 2014 roku życzę.
Danusia