Dzisiaj, wyjątkowo, zamiast felietonu stanowisko naszego eksperta z Kliniki Edukacyjnej w sprawie, o której informujemy w "Gorącym temacie"

Tym razem postanowiliśmy wyjątkowo przygotować dwie ciemne strony - trudno bowiem w tym, o czym będziemy pisać odszukać pozytywne aspekty. Chcemy się bowiem zająć badaniami agresji w łódzkich szkołach, których wyniki w postaci rankingu bezpieczeństwa szkół drukuje „Gazeta Wyborcza". Badania zostały zrealizowane przez zespół socjologów z UŁ na zlecenie Wydziału Edukacji Urzędu Miasta w Łodzi. Były to badania kwestionariuszowe zrealizowane terenowo przez studentów socjologii we wszystkich szkołach publicznych.

W ciemnej stronie zajmę się głównie przyjętą w wyżej przywołanych badaniach metodologią zbierania i opracowywania danych. Badacze i ci, którzy zamówili badania musza bardzo wierzyć w jej perfekcję, jeśli zdecydowali się na takie wykorzystanie wyników. Niestety wiadomości o metodologii czerpać będę z „Gazety Wyborczej", gdyż Autorzy badań, ani zleceniodawcy nie umieścili dotychczas w żadnym dostępnym miejscu (np. na stronie UM) całego raportu, w którym takie kwestie są szczegółowo omówione - może więc bazuję na przeinaczonych wynikach i informacjach metodologicznych - ale jestem w tej samej sytuacji co inni oglądający ranking. Zamiast tego podjęto decyzję o publikowaniu fragmentu raportu w odcinkach w gazecie. To moja pierwsza wątpliwość - skoro ktoś decyduje się na ryzykowną i budzącą szereg wątpliwości publikację rankingu szkół względem wyliczonych w badaniach wskaźników agresji to powinien pokazać warsztat metodologiczny, którego użył do zebrania i opracowania materiału. Dałoby to pełną możliwość zarówno osobom i instytucjom, których raport dotyczy, jak i innym badaczom możliwość odniesienia się i wniesienia ewentualnych wątpliwości do zastosowanych procedur. Tak się nie stało - dlatego moje rozważania przygotowane zostaną w oparciu o informacje umieszczone w łódzkiej „Gazecie Wyborczej" z dnia 5 stycznia (s. 1 i 2) oraz z dnia 7 stycznia (s.5).

Zacznijmy od doboru próby. Jest ona liczna (N=18192), wyczerpująca - wg informacji objęła wszystkie szkoły określonych typów. Można więc sugerować, że wyniki z całej próby przydadzą się do nakreślenia generalnego obrazu. Ale czy mogą służyć obliczeniu wskaźników dla poszczególnych szkół? Mam kilka ważnych pytań, które mogą wzbudzić wątpliwości w tym obszarze. Autorzy mówią o tym, ze badali w szkołach całe klasy (podają , że średnio cztery w każdej szkole). Jak je wybierali? Czy kiedy gdy studenci socjologii przyszli do szkoły i mówili, że chcą przebadać określoną liczbę klas to dokonywali losowania, czy też mówili co chcą badać i byli wysyłani do tych klas do których wysłał ich dyrektor placówki - a może było różnie w różnych szkołach. Znaczyłoby to w niektórych miejscach dyrektorzy badanych placówek mogli wpłynąć (czy wpłynęli) na wyniki, a w innych nie. Różnice te mogą być związane z faktem, że agresja szkolna ma miejsce często w mikrospołecznościach jakimi są klasy i uczniowie mówiąc o tym co widzą często donosić się będą do tego najbliższego otoczenia uczniów, z którymi uczęszczają do jednej klasy. Tutaj rodzi się następny problem - z danych wynika, że nie przebadano tej samej liczby klas (uczniów) w każdej szkole oznacza to, ze jeśli powiedzmy w szkole x i y zbadano jedną klasę, w której jest sporo agresji, ale w szkole x dodatkowo 3 klasy, w której agresji jest mało, a w szkole y tylko jedną taką klasę to wskaźnik agresji będzie inny w tych dwóch szkołach chociaż sytuacja w tych dwóch szkołach może być podobna. Różnica miedzy tymi szkołami może zatem wynikać z procedury badawczej - a nie z rzeczywistego realnego zróżnicowania nasilenia problemu. Dodatkowo interesujące jest, czy w każdej szkole badano taka samą proporcję uczniów z poszczególnych klas (tzn. tyle samo pierwszo, drugo- trzeci , czy szósto- klasistów.. Jeżeli tak nie było, to także ta procedura nie pozostanie bez wpływu na zróżnicowanie wyników pomiędzy placówkami. Jak można było próbować zapobiec tym problemom? - losując odpowiednią liczbę uczniów (np. proporcjonalnie) z poszczególnych klas całej szkoły.

Następna sprawą są zastosowane wskaźniki. Na razie dostępne są wyniki tego co autorzy nazwali agresją fizyczna i psychiczną. Spróbujmy się więc do nich odnieść. Po pierwsze badacze nie pytali respondentów o wydarzenia, które im osobiście wydarzyły się w ciągu jakiegoś czasu (np. dwóch tygodni poprzedzających badanie) lecz o opinię dotyczące tego jak często coś się dzieje w danej placówce, dając do wyboru przy każdym zachowaniu agresywnym kafeterię często, sporadycznie, wcale. Pomijam pytanie, czy uczeń klasy pierwszej wie na pewno co się dzieje w całej szkole np. w zespołach klasowych klas starszych, szczególnie jeśli ktoś go pyta o to we wrześniu. To zresztą też interesujące, że w niektórych szkołach badania wykonano we wrześniu, a w innych w październiku. Na istotny aspekt z tym związany zwrócił mi uwagę Włodzisław Kuzitowicz- Naczelny naszego portalu - długoletni dyrektor szkoły. We wrześniu przychodzą nowi, uczniowie nawiązują znajomości, mogą pojawić się konflikty, które mijają później. Jednym słowem szczęście mieli ci, którzy badani byli w październiku. Co do kafeterii i pytań wcale nie muszą one być jasne dla uczniów szkół szczególnie podstawowych (czy był pilotaż, jaki?, jakie były zmiany w narzędziu?). Warto tutaj zaznaczyć, że w takiej kafeterii, gdzie odpowiedzi oznaczają opinie co do częstotliwości dotyczących pewnych zjawisk odpowiedzi są trudno porównywalne. Przykładowo uczeń może chodzić do klasy gdzie ta sama mała grupka uczniów codziennie się przezywa - zaznacza więc często przy przezywaniu, ale to samo zaznaczy, ktoś u kogo w klasie większość uczniów przezywa się wzajemnie. Wskaźnikowo więc możemy uzyskać ten sam obraz, który w rzeczywistości jest całkiem inny. Co zresztą wpływa na takie opinie np. to, że coś co w jednej szkole wśród uczniów traktowane jest jako dopuszczalny żart, w innej traktowane jest jako ośmieszanie. Co więcej - w tej drugiej taka świadomość uczniów może być miedzy innymi wynikiem pracy nauczycieli, którzy tym samym zwiększyli wskaźnik agresji swojej placówki. O tym jaka opinię podziela uczeń decyduje też to z jakiej wcześniejszej szkoły przyszedł - jeśli przyszedł z takiej w której agresji było dużo to to, co jest w obecnej może oznaczać dla niego sporadycznie - chociaż w rzeczywistości obiektywnie agresji w tej szkole jest bardzo dużo. Na osobną dyskusję zasługują niektóre definicje zachowań agresywnych. Są one często bardzo pojemne np. (ośmieszanie i zawstydzanie - bardzo duży zakres zachowań można w to wliczyć - niestety po wskaźniku nie stwierdzimy później co uczniowie mieli na myśli). Do tego czasami zostały one niefortunnie dobrane w pary np. przezywanie i obgadywanie umieszczone razem. Chociaż oba są przejawami agresji werbalnej w rzeczywistości w praktyce stanowią całkiem inny rodzaj agresji - co zresztą ma swoje przeniesienie na ewentualne działania interwencyjne, bądź profilaktyczne. Do agresji fizycznej włączono wskaźniki, które tez rodzą pytania np. okradanie. Jeśli cos zginie to z reguły jest to głośna sprawa, o której mówi się w całej szkole. Jeżeli wiec coś komuś zginęło w szkole bezpośrednio przed badaniami to wielu respondentów napisze często - nawet gdy w rzeczywistości zjawisko jest sporadyczne. Włączono także do tego wskaźnika niszczenie przedmiotów szkolnych (czyli pojedynczą kategorię odnosząca się do wandalizmu, a nie agresji interpersonalnej). Nie wiadomo dlaczego zamieszczono ją wśród tych dotyczących agresji względem innych osób - a przecież może ona w znaczący sposób wpływać na wskaźnik agresji fizycznej - ale w jaki w przypadku konkretnej szkoły w rankingu - tego nie dowiedzą się ci, którzy go przeglądają. Wreszcie kiedy publikujemy tylko wyniki cząstkowe dotyczące zbiorczych wskaźników nikt nie wie ci się na nie złożyło w konkretnej placówce - a to ważny problem gdyż waga wyodrębnionych zachowań jest różna. Można by dodatkowo zapytać dlaczego te wskaźniki, a nie inne, które się dodatkowo powszechnie bierze pod uwagę w takich badaniach.

Czy wszędzie udało się utrzymać wysoką jakość procedury badawczej? W badaniach spraw drażliwych, szczególnie jeżeli respondentami jest młodzież szkolna dużym problemem jest zmotywowanie respondentów, żeby przyłożyli się do odpowiedzi i potraktowali badania poważnie. Jeśli tak nie będzie respondenci mogą kłamać, przekręcać, licytować się w żartach. Czy w żadnej szkole i klasie się tak nie stało. Jeśli tak gratuluję szczęścia. A jeśli się stało, to czy wykluczona z opracowania wyniki z jakichś klas, czy odrzucono jakieś ankiety, Jeśli tak to ile, na jakiej podstawie? Błędy wynikające z tego typu zakłóceń przy dużej próbie, nie są problemem. Spowodowane nimi zniekształcenia danych „giną". Jednak w przypadku prezentacji danych z poszczególnych placówek waga takich zniekształceń rośnie. Czy było jasne dla respondentów, że uczestniczą w badaniach dobrowolnych? Czy ktoś odmówił, ile było takich osób? W badaniach tematów drażliwych stosuje się często pytania sprawdzające szczerość wypowiedzi. Czy w ty nadaniu takie pytania zastosowano? Jeśli tak, co wykazały odpowiedzi? Czy respondenci (zarówno bezpośrednio uczniowie, jak i dyrektorzy szkół wyrażający zgodę na badania) zostali poinformowani, że uczestniczą w indywidualnej diagnozie placówek, która będzie podstawa do dalszych działań i zostanie upubliczniona, czy sądzili, że uczestniczą w badaniach naukowych, z których publikowane będą wyłącznie zbiorcze wyniki.

Dużo tu pytań - ale są to ważne pytania zważywszy, że wyniki w nich uzyskane stały się elementem publikacji, oceny, planowanych działań interwencyjnych. Trzeba je zadać, trzeba szukać na nie odpowiedzi...

PS. Nie idzie o to, ze można przygotować w naukach społecznych badania idealne. Moim zdaniem nie można - i sam zdaję sobie sprawę, z ograniczeń wyników metodologii uzyskiwania danych w moich badaniach stresu zawodowego, czy dyscypliny w polskiej szkole. Idzie jednak o to, że w omawianym wyżej przypadku metoda nabiera szczególnego, o innej wadze społecznej znaczenia.

Dr Jacek Pyżalski