Co niepokoi bardziej niż Katowice jako „północne centrum” i „promocjonowana przyroda”? Analiza raportu Polaków Portret Własny

Im dłużej przyglądam się tej publikacji, tym mniej interesuje mnie pytanie, czy raport napisała sztuczna inteligencja. Bo to pytanie efektowne, ale wg mnie drugorzędne. AI może być świetnym narzędziem pracy badacza. Problem zaczyna się wtedy, gdy człowiek przestaje odpowiadać za to, co z tego narzędzia wychodzi. A właśnie odpowiedzialność za finalny produkt wydaje mi się tutaj największym problemem. I spojrzę na to jako socjolog.

Zacznę od tego, że raport badawczy nie jest i nigdy nie powinien być prezentacją PowerPoint ani zbiorem ot ciekawych obserwacji. Musi umożliwiać prześledzenie drogi od danych do wniosku. Nazywamy to w świecie socjologów metodologią. I właśnie tej drogi najbardziej mi w tym dokumencie brakuje, bo to ona jest tu naszym najznakomitszym drogowskazem. Oto 10 rzeczy, które moim skromnym zdaniem, wymagają uwagi. Bo raport, jaki otrzymaliśmy za grube tysiące wygląda jak zbiór notatek. Niekompletnych, niezweryfikowanych.

1. Co właściwie badamy?

Jeżeli chcemy zbadać „DNA marki Polska”, to najpierw trzeba zdefiniować, czym ono jest.

Tożsamością narodową? Autostereotypem Polaków? Wizerunkiem Polski? Wartościami? Cechami przypisywanymi Polakom? A może wyróżnikami marki narodowej? To nie są synonimy. Bez operacjonalizacji podstawowych pojęć łatwo dojść do sytuacji, w której właściwie wszystko może zostać uznane za wynik badania.

2. FGI i IDI to jeszcze nie metodologia

W raporcie pojawiają się szumnie podane indywidualne wywiady pogłębione i zogniskowane wywiady grupowe. I znowu błąd. Bo nazwa techniki badawczej nie jest opisem metodologii ani metody badawczej.

Chciałabym wiedzieć: kogo zaproszono, dlaczego te osoby, według jakich kryteriów, jak wyglądała struktura grup, jak konstruowano scenariusz, kto prowadził wywiady i jak analizowano materiał? Dopiero wtedy można ocenić, czy z badań rzeczywiście wynikają przedstawione wnioski. Na ten moment to luźne refleksje.

3. Dużo materiału nie oznacza dobrej analizy

24 IDI, 35 FGI, 7 warsztatów Design Thinking, ponad 180 godzin nagrań i około 400 stron transkrypcji brzmi imponująco. Tylko że w badaniach jakościowych „dużo” nie zawsze znaczy „dobrze”. Można przeprowadzić sto wywiadów i źle je zinterpretować, ale i dziesięć i wykonać znakomitą analizę. Dlatego nie interesuje mnie wyłącznie, ile godzin nagrano, zwłaszcza, że dostajemy – brzydko mówiąc – ochłapy. Chcę wiedzieć: co z tym materiałem zrobiono, jak poddano go analizie.

4. Gdzie jest droga: wypowiedź → kategoria → wniosek?

Jeżeli raport mówi, że Polacy są jacyś, odbiorca chce wiedzieć: na jakiej podstawie to wiemy?

Czy dana cecha pojawiała się w wielu grupach? W różnych regionach? Spontanicznie czy jest wywołana? Czy były wypowiedzi przeciw? Jak rozstrzygano sprzeczności? To właśnie jest analiza jakościowa. I tu poczynić trzeba kolejne zastrzeżenie. Jeśli na tej bazie chcemy wnioskować o całej populacji, powinniśmy zadbać o reprezentatywność próby, badając odkryte rzeczy na losowo wybranej grupie. Albo: w minimalnym wariancie dołączyć dane zastane, pozwalające na udowodnienie tez czy hipotez (tych także nie znalazłam, sic!).

Nie wystarczy napisać „Polacy są X”. Trzeba pokazać, jak z materiału empirycznego doszliśmy do X.

5. Cytaty respondentów w badaniach nie są ozdobnikiem

W badaniach jakościowych głos uczestników jest częścią materiału empirycznego.

Nie chodzi o pojedyncze zdanie w cudzysłowie, które ma nadać tekstowi naukowy charakter. Chodzi o pokazanie kontekstu, różnic, napięć, a niekiedy także i wątpliwości czy sprzeczności. Jeżeli z setek stron transkrypcji powstają mocne tezy dotyczące całego społeczeństwa, chcę widzieć, jak te tezy są zakorzenione w materiale.

Jeśli pełnych transkrypcji nie można udostępnić, można przecież pokazać odpowiednio zanonimizowane fragmenty albo dokładniej opisać sposób analizy.

Nauka nigdy nie powinna opierać się na zasadzie: „proszę mi zaufać”.

Co więcej, głosy badaczy związanych z tematem tożsamości narodowej (a gwarantuję, że polski grunt jest tu wyjątkowy, wszak wśród autorytetów mamy nazwiska takie jak: Antonina Kłoskowska, Zygmunt Bauman, Jerzy Szacki, czy mój ceniony wykładowca z UŁ, prof. Zbigniew Bokszański) w raporcie nie pojawiają się w żadnej, nawet teoretycznej części badania (tej po prostu nie ma), a żywię głębokie przekonanie, że znalezienie punktów odniesienia w publikacjach ww. Autorów (celowy zapis) na pewno rzuciłby światło na samą problematykę, nawigując też aparty pojęciowe i sposób prowadzenia badania.

6. Gdzie jest kontrola interpretacji?

Brak tu intersubiektywnej kontroli badacza. Badacz jakościowy nie jest kamerą. Jest człowiekiem. Wybiera pytania, dopytuje, koduje materiał, tworzy kategorie i buduje interpretację.

Dlatego tak ważne są mechanizmy zwiększające wiarygodność takiej analizy: triangulacja, konfrontowanie różnych sposobów interpretacji czy intersubiektywna kontrola badacza, którą zawdzięczamy Kazimierzowi Ajdukiewiczowi, jednemu z głównych przedstawicieli Szkoły Lwowsko-Warszawskiej. OK, nie oczekuję kilkudziesięciu stron opisu warsztatu badacza. Oczekuję jednak odpowiedzi na pytanie: jak autorzy zabezpieczyli się przed tym, żeby własnej interpretacji w żadnym momencie nie pomylić z wynikiem badania?

7. Brakuje mi triangulacji

Dla nieznających pojęcia wyjaśnię: triangulacja danych polega na zastosowaniu wielu różnych źródeł do badania tego samego zjawiska. Jej celem jest zwiększenie wiarygodności, trafności oraz obiektywizmu wyników badań naukowych.

A marka narodowa to problem wyjątkowo złożony. Można badać Polaków, ale także to, jak Polska jest postrzegana z zewnątrz. Można zestawiać badania jakościowe z ilościowymi, deklaracje z zachowaniami, różne grupy społeczne i pokoleniowe. Po co? Ano po to, że marka narodowa nie jest wyłącznie tym, co myślimy sami o sobie. Jest również tym, jak jesteśmy postrzegani przez innych. Tymczasem żadne dane na temat tego, jak postrzegają nas inni, nie zostały uwzględnione (por. pytania ze s. 8–9).

8. Rekomendacja nie może pojawić się znikąd

Każdy raport powinien mieć określoną konstrukcję: dane → analiza → wyniki → wnioski → rekomendacje. A nie: zebraliśmy materiał → mamy kilka ciekawych obserwacji → Polska powinna komunikować się tak i tak.

Jeżeli rekomendujemy konkretny kierunek dla marki Polski, powinniśmy móc wskazać, z jakich danych i analiz ta rekomendacja wynika. Inaczej jest to po prostu pomysł strategiczny. A nawet najlepszy nadal nie jest wynikiem badania.

9. Raport powinien być audytowalny

Nie chodzi o udostępnienie danych wrażliwych. Chodzi o to, żeby inny badacz mógł powiedzieć: „Rozumiem, jak to zrobiliście”, a następnie zgodzić się albo nie zgodzić z interpretacją. Przy niejasnym opisie próby, niespójnościach i niewystarczająco pokazanym materiale empirycznym taka kontrola jest bardzo trudna, o ile nie niemożliwa. Wtedy raport staje się raczej gotową narracją, której źródła musimy przyjąć na wiarę.

10. Problemem nie jest AI. Problemem jest brak człowieka

Nie oburza tu samo wykorzystanie AI. Oburza sytuacja, w której – jeśli AI rzeczywiście zostało wykorzystane – człowiek nie zrobił później tego, co jest jego najważniejszym obowiązkiem: nie zweryfikował, nie skonfrontował, nie zredagował i nie wziął odpowiedzialności za finalny tekst.

AI może napisać zdanie. Ale nie może odpowiedzieć za dobór próby, prawdziwość wniosku ani zasadność rekomendacji.

I przede wszystkim nie może zastąpić metodologii. Która jest tu drogowskazem. Po to właśnie jest. Byśmy widzieli, po co i dokąd zmierzamy.

Dlatego pytanie nie powinno brzmieć: „Czy ten raport napisało AI?” tylko: „Kto odpowiadał za to, żeby materiał wygenerowany lub wspomagany przez AI stał się rzetelnym, zweryfikowanym raportem badawczym?”

A przecież mówimy o marce Polski, nie muszardy

I to jest w tym wszystkim najbardziej absurdalne. Nie tworzymy strategii komunikacji nowej marki jogurtu czy nawet firmy (choć i takie kampanie są potrzebne i są super). Próbujemy odpowiedzieć na pytanie, jak ma być budowana marka całego państwa. To oznacza odpowiedzialność za to, jakie cechy, wartości i narracje przypiszemy milionom ludzi. I skąd się wzięły.

I teraz oczywisty ciąg zależności, znany badaczom: co włożysz, to i wyjmiesz. Jeżeli źle zaprojektujemy badanie, ryzyko jest takie, że możemy stworzyć fałszywy obraz społeczeństwa. Jeżeli źle zinterpretujemy materiał, możemy zamienić stereotyp w „wynik badania”. A jeśli z obserwacji zbyt szybko przejdziemy do rekomendacji, to możemy zacząć budować strategię państwa na przekonaniach kilku osób zamiast na rzetelnie udokumentowanej wiedzy.

Oczekuję więc podstawowej rzeczy: żeby było wiadomo, co zbadano, jak to zbadano, co z tego wynikło i dlaczego na tej podstawie rekomendujemy właśnie to, a nie co innego.

To nie jest wygórowany standard. To jest elementarz.

Fot. AI