człowiek
Autor: Ireneusz Sadowski | dodano: 2012-06-05
Sondażowa demokracja

Wyniki badania opinii publicznej stały się po ostatnich wyborach przedmiotem gorących dyskusji. Niektórzy podważali nawet sens ich przeprowadzania. Czy można ufać sondażom?

Pytanie o wiarygodność sondaży stawia się najczęściej w okresie przedwyborczym, kiedy ich wyniki mogą wpływać na decyzje głosujących. Wszak oddanie głosu na słabiej notowane partie może oznaczać, że zostanie on zmarnowany, część wyborców decyduje się więc poprzeć liderów rankingu. Ponadto faworytów słuchamy w kampanii wyborczej uważniej, bo to oni prawdopodobnie będą nami rządzić. Tym samym sondażowi liderzy mają większe szanse na przekonanie do własnego programu. W rezultacie, niczym samospełniająca się przepowiednia, sondaże mogą wyraźnie wpłynąć na wyniki wyborów.

Post factum, gdy znany jest werdykt, można na chłodno przeanalizować wiarygodność danych, które przedstawiano w gorącym przedwyborczym okresie. Skoro mają wpływ na rozstrzygnięcia dotyczące władzy we współczesnych demokracjach, warto je wziąć pod lupę, tym bardziej że jakość niektórych sondaży pozostawia wiele do życzenia, a poza tym rośnie sceptycyzm wobec tej formy badań.

Sondaże coraz trudniej przeprowadzać - społeczeństwo jest zmęczone agresywnymi działaniami marketingowymi, a ankieter pod drzwiami kojarzy nam się z najgorszą formą akwizycji. W większych miastach dla przeprowadzających badania barierą nie do przebycia staje się więc domofon.

Przyczyn tego stanu można by wymienić kilka. Po pierwsze, często myli się badania opinii publicznej z badaniami rynku. Po drugie, sondaże wyborcze bywają bezlitośnie krytykowane przez niektórych polityków, zwłaszcza przez tych, którzy zajmują dalekie pozycje w rankingu. To zresztą naturalne - gdy przybędzie nam kilogramów, w pierwszej chwili dopatrujemy się usterki wagi. W przypadku sondaży, niezależnie od tego, czy usterka jest urojona, czy faktyczna, autorytet polityka sprawia, że jego opinia ma wpływ na zaufanie jego elektoratu do sondażu. Dlatego w Polsce sympatycy pewnych partii mniej łaskawym okiem patrzą na tego typu badania. Prowadzi to często do sprzężenia zwrotnego - takie grupy społeczne znacznie częściej odmawiają wzięcia udziału w sondażu, co rzutuje na wyniki.

Sondaż jest w założeniu niezwykle prostą metodą badawczą. Polega na tym, że grupie osób, która ma reprezentować ogół, zadaje się odpowiednio sformułowane pytania. Mogą być one odczytywane przez ankietera, przesłane pocztą albo zadane przez telefon, jednak cel pozostaje ten sam - poznanie opinii całego społeczeństwa.

Czy sondaż faktycznie na to pozwala? Oczywiście, jeśli są spełnione trzy warunki: odpowiedni dobór respondentów, właściwe sformułowanie i interpretacja pytań oraz szczerość odpowiedzi. Tylko i aż tyle.

Niestety, termin "sondaż" bywa nadużywany i często określa się nim wszelkie działania związane z uzyskiwaniem od ludzi informacji. Zdarza się, że w takim pseudobadaniu nie zostaje spełniony żaden z trzech wymienionych warunków, a mimo to jego autorzy roszczą sobie pretensje do nazwania go sondażem. To tak jakby prognozą pogody nazywać przepowiednie górali.

Ilustracją tego stanu rzeczy może być porównanie jakości badań przedwyborczych publikowanych przed ostatnimi wyborami parlamentarnymi, we wrześniu 2005. W tabeli z prawej zestawiłem wyniki ogólnopolskich badań przeprowadzonych przez renomowane instytucje i wybranych badań przeprowadzonych lokalnie (wszystkie, oprócz ogólnopolskiego exit poll, z 20-22 IX), ukazując łączne błędy prognoz, które w nich popełniono. Błędy te należy rozumieć jako odchylenie wyniku przewidywanego dla danej partii w badaniu od faktycznego wyniku wyborów (oczywiście sondaże lokalne konfrontowałem z lokalnymi wynikami).

W zestawieniu uwzględniłem tylko pięć największych partii - sprawdziłem jednak, że gdyby zsumować błędy dla większej ich liczby, łączna różnica jakości sondażu okazałaby się jeszcze większa.
Porównajmy najpierw wyniki sondaży przedwyborczych przeprowadzonych przez OBOP i GfK. Ośrodki te próbowały przewidzieć wynik wyborów na podstawie badania przeprowadzonego na próbach, które stanowiły zaledwie tysięczne części procent całego społeczeństwa polskiego. Mimo to wynik określonej partii różnił się przeciętnie o 3% (blisko granicy akceptowalnego błędu losowego).

Jeszcze mniejszy błąd popełniono w badaniu exit poll (przeciętna różnica w stosunku do ostatecznych wyników w granicach 1%), które też jest sondażem, ale szczególnego typu - tutaj respondenci odpowiadają na pytanie o oddany głos już po wyjściu z lokalu wyborczego, a badana próba jest znacznie większa.

Badamy czy losujemy?

Przyjrzyjmy się błędom popełnionym w badaniach prowadzonych lokalnie. Warto zauważyć, że za ich pomocą chciano przewidzieć zachowania znacznie mniejszej populacji, co przy podobnej wielkości próbach powinno pozwolić na trafniejszą prognozę przyszłego wyniku. Mimo to przeciętny błąd predykcji dla każdego z pięciu największych ugrupowań wyniósł około 6%! Tak dużego błędu nie sposób wytłumaczyć ani odchyleniem losowym, ani nawet nagłą zmianą politycznych sympatii tuż przed wyborami.

By zobrazować błąd poszczególnych sondaży, można go porównać z błędem prognozy, jaką uzyskalibyśmy, po prostu losując. Gdyby ktoś zechciał wówczas przewidzieć wynik wyborów za pomocą rzutu kośćmi, przeciętnie popełniłby następujące łączne błędy predykcji dla pięciu największych partii (wartości porównywalne z tymi w pierwszym wierszu tabeli): 36 dla Polski, 25 dla regionu i 44 dla miasta (różnice wynikają z odmiennego rozkładu faktycznych wyników wyborów na poszczególnych terytoriach).

Jakie wnioski można wyciągnąć z takiego porównania? Widać, że badania przeprowadzone przez OBOP i GfK mają przyzwoitą wartość prognostyczną. Poniekąd broni się również badanie miejskie (chociaż w dużej mierze dlatego, że rozkład wyniku wyborów w tym mieście był bardzo daleki od monotonicznego). Natomiast okazuje się, że losując kośćmi przewidywany wynik dla regionu, uzyskalibyśmy błąd predykcji o jedną czwartą (osiem punktów procentowych) niższy niż w przypadku rzeczonego "sondażu"! Wartość takiego badania jest zatem mniej niż żadna - a jej wpływ na prestiż badań społecznych wręcz katastrofalny.

Więcej w miesięczniku „Wiedza i Życie" nr 10/2006 »
Drukuj »
Ten artykuł nie został jeszcze skomentowany.
Aktualne numery
04/2020
03/2020
Kalendarium
Kwiecień
10
W 1633 r. w Londynie po raz pierwszy pojawiły się w sprzedaży banany.
Warto przeczytać
W zagubionej w lesie deszczowym Papui Nowej Gwinei jest maleńka wioska Gapun, w której mieszka 200 osób. Tylko 45 z nich mówi rdzennym językiem tayapu i z roku na rok jest ich coraz mniej. Amerykański antropolog Don Kulick postanawia udokumentować proces wymierania tego języka.

WSPÓŁPRACUJEMY
Logowanie

Nazwa użytkownika

Hasło

Autor: Ireneusz Sadowski | dodano: 2012-06-05
Sondażowa demokracja

Wyniki badania opinii publicznej stały się po ostatnich wyborach przedmiotem gorących dyskusji. Niektórzy podważali nawet sens ich przeprowadzania. Czy można ufać sondażom?

Pytanie o wiarygodność sondaży stawia się najczęściej w okresie przedwyborczym, kiedy ich wyniki mogą wpływać na decyzje głosujących. Wszak oddanie głosu na słabiej notowane partie może oznaczać, że zostanie on zmarnowany, część wyborców decyduje się więc poprzeć liderów rankingu. Ponadto faworytów słuchamy w kampanii wyborczej uważniej, bo to oni prawdopodobnie będą nami rządzić. Tym samym sondażowi liderzy mają większe szanse na przekonanie do własnego programu. W rezultacie, niczym samospełniająca się przepowiednia, sondaże mogą wyraźnie wpłynąć na wyniki wyborów.

Post factum, gdy znany jest werdykt, można na chłodno przeanalizować wiarygodność danych, które przedstawiano w gorącym przedwyborczym okresie. Skoro mają wpływ na rozstrzygnięcia dotyczące władzy we współczesnych demokracjach, warto je wziąć pod lupę, tym bardziej że jakość niektórych sondaży pozostawia wiele do życzenia, a poza tym rośnie sceptycyzm wobec tej formy badań.

Sondaże coraz trudniej przeprowadzać - społeczeństwo jest zmęczone agresywnymi działaniami marketingowymi, a ankieter pod drzwiami kojarzy nam się z najgorszą formą akwizycji. W większych miastach dla przeprowadzających badania barierą nie do przebycia staje się więc domofon.

Przyczyn tego stanu można by wymienić kilka. Po pierwsze, często myli się badania opinii publicznej z badaniami rynku. Po drugie, sondaże wyborcze bywają bezlitośnie krytykowane przez niektórych polityków, zwłaszcza przez tych, którzy zajmują dalekie pozycje w rankingu. To zresztą naturalne - gdy przybędzie nam kilogramów, w pierwszej chwili dopatrujemy się usterki wagi. W przypadku sondaży, niezależnie od tego, czy usterka jest urojona, czy faktyczna, autorytet polityka sprawia, że jego opinia ma wpływ na zaufanie jego elektoratu do sondażu. Dlatego w Polsce sympatycy pewnych partii mniej łaskawym okiem patrzą na tego typu badania. Prowadzi to często do sprzężenia zwrotnego - takie grupy społeczne znacznie częściej odmawiają wzięcia udziału w sondażu, co rzutuje na wyniki.

Sondaż jest w założeniu niezwykle prostą metodą badawczą. Polega na tym, że grupie osób, która ma reprezentować ogół, zadaje się odpowiednio sformułowane pytania. Mogą być one odczytywane przez ankietera, przesłane pocztą albo zadane przez telefon, jednak cel pozostaje ten sam - poznanie opinii całego społeczeństwa.

Czy sondaż faktycznie na to pozwala? Oczywiście, jeśli są spełnione trzy warunki: odpowiedni dobór respondentów, właściwe sformułowanie i interpretacja pytań oraz szczerość odpowiedzi. Tylko i aż tyle.

Niestety, termin "sondaż" bywa nadużywany i często określa się nim wszelkie działania związane z uzyskiwaniem od ludzi informacji. Zdarza się, że w takim pseudobadaniu nie zostaje spełniony żaden z trzech wymienionych warunków, a mimo to jego autorzy roszczą sobie pretensje do nazwania go sondażem. To tak jakby prognozą pogody nazywać przepowiednie górali.

Ilustracją tego stanu rzeczy może być porównanie jakości badań przedwyborczych publikowanych przed ostatnimi wyborami parlamentarnymi, we wrześniu 2005. W tabeli z prawej zestawiłem wyniki ogólnopolskich badań przeprowadzonych przez renomowane instytucje i wybranych badań przeprowadzonych lokalnie (wszystkie, oprócz ogólnopolskiego exit poll, z 20-22 IX), ukazując łączne błędy prognoz, które w nich popełniono. Błędy te należy rozumieć jako odchylenie wyniku przewidywanego dla danej partii w badaniu od faktycznego wyniku wyborów (oczywiście sondaże lokalne konfrontowałem z lokalnymi wynikami).

W zestawieniu uwzględniłem tylko pięć największych partii - sprawdziłem jednak, że gdyby zsumować błędy dla większej ich liczby, łączna różnica jakości sondażu okazałaby się jeszcze większa.
Porównajmy najpierw wyniki sondaży przedwyborczych przeprowadzonych przez OBOP i GfK. Ośrodki te próbowały przewidzieć wynik wyborów na podstawie badania przeprowadzonego na próbach, które stanowiły zaledwie tysięczne części procent całego społeczeństwa polskiego. Mimo to wynik określonej partii różnił się przeciętnie o 3% (blisko granicy akceptowalnego błędu losowego).

Jeszcze mniejszy błąd popełniono w badaniu exit poll (przeciętna różnica w stosunku do ostatecznych wyników w granicach 1%), które też jest sondażem, ale szczególnego typu - tutaj respondenci odpowiadają na pytanie o oddany głos już po wyjściu z lokalu wyborczego, a badana próba jest znacznie większa.

Badamy czy losujemy?

Przyjrzyjmy się błędom popełnionym w badaniach prowadzonych lokalnie. Warto zauważyć, że za ich pomocą chciano przewidzieć zachowania znacznie mniejszej populacji, co przy podobnej wielkości próbach powinno pozwolić na trafniejszą prognozę przyszłego wyniku. Mimo to przeciętny błąd predykcji dla każdego z pięciu największych ugrupowań wyniósł około 6%! Tak dużego błędu nie sposób wytłumaczyć ani odchyleniem losowym, ani nawet nagłą zmianą politycznych sympatii tuż przed wyborami.

By zobrazować błąd poszczególnych sondaży, można go porównać z błędem prognozy, jaką uzyskalibyśmy, po prostu losując. Gdyby ktoś zechciał wówczas przewidzieć wynik wyborów za pomocą rzutu kośćmi, przeciętnie popełniłby następujące łączne błędy predykcji dla pięciu największych partii (wartości porównywalne z tymi w pierwszym wierszu tabeli): 36 dla Polski, 25 dla regionu i 44 dla miasta (różnice wynikają z odmiennego rozkładu faktycznych wyników wyborów na poszczególnych terytoriach).

Jakie wnioski można wyciągnąć z takiego porównania? Widać, że badania przeprowadzone przez OBOP i GfK mają przyzwoitą wartość prognostyczną. Poniekąd broni się również badanie miejskie (chociaż w dużej mierze dlatego, że rozkład wyniku wyborów w tym mieście był bardzo daleki od monotonicznego). Natomiast okazuje się, że losując kośćmi przewidywany wynik dla regionu, uzyskalibyśmy błąd predykcji o jedną czwartą (osiem punktów procentowych) niższy niż w przypadku rzeczonego "sondażu"! Wartość takiego badania jest zatem mniej niż żadna - a jej wpływ na prestiż badań społecznych wręcz katastrofalny.