Som statistik och matematik fetischist förfasas jag rätt ofta av hur traditionell media och journalister handskas med statistik och opinionsundersökningar. Av det skälet känns dagens artikel på DN debatt, med titeln ”opinionsmätningar och medias sju dödssynder” väldigt upplyftande. I artikeln tar Jesper Strömbäck professor i journalistik och politisk kommunikation upp sju fel i hur journalister hanterar opinionsundersökningar och enligt mig är det en mycket läsvärd artikel.
Den första dödssynden som tas upp är frågan om representativa urval. Här menar Jesper Strömbäck att webbundersökningar i princip bör banlysas eftersom man inte har någon som helst koll på om de svarande är representativa för något över huvud taget. En sådan uppmaning känns extra passande just idag eftersom både Aftonbladet och Expressen så flagrant gör sig skyldiga till denna synd i sina artiklar efter partiledardebatten igår.
I båda artiklarna deklarerar man Fredrik Reinfeldt som segrare över Mona Sahlin i debatten igår, baserad på svaret på en webbundersökning på respektive tidnings hemsida. Förutom det uppenbara problemet att man inte kan veta att de som svarat på undersökningen ens har sett debatten så uppkommer problemet att man representativa urval och hur man därför kan tolka undersökningen.
För som sagt problemet med webbundersökningar är att man inte vet vilka som svarar på frågan. Det vill säga det går inte att avgöra om de som svarar på något sätt är en representativ grupp, eftersom det kan finnas vissa grupper som oftare svarar på webbundersökningar. Exempelvis brukar sverigedemokraterna vara gravt överrepresenterade i alla webbundersökningar, något de själva skryter med. Så brukar även piratpartister och borgerliga väljare vara överrepresenterade. Exempel på detta syns i resultatet ovan.
Att en borgerlig väljare är mer benägen att utmåla Reinfeldt som vinnare i vilken debatt som helst, även om personen i fråga inte ens sett debatten, är knappast något förvånansvärt konstaterande. På samma sätt som en socialdemokratisk väljare är mer benägen att stödja Mona. Men detta är sällan något som tidningarna redovisar eller problematiserar över trotts att de säkerligen är medvetna om det.
Ofta försöker tidningarna, så som Expressen och Aftonbladet i detta fall, helt enkelt komma undan detta problem genom att hävda att det svaret är representativt för ”tidningens läsare”. Men faktum är att även detta är fel eftersom alla läsare inte svarar på undersökningarna., och vissa läsare är mer benägna än andra att svara. Möjligen skulle man kunna påstå att mätningarna är representativa för de läsare under mätperioden väljer att svara på frågan. Men inte ens detta är säkert.
Det är nämligen så att det inte ens säkert att varje svar motsvarar en person. Oftast är det nämligen väldigt enkelt att lura dessa undersökningar så att du kan svar mer än en gång. Det mest extrema exemplet på detta var när Anonymous lyckades manipulera Times omröstning över de 100 mest inflytelserika personerna, på et sådant sätt att deras föredragna person kom först och ordnade övriga topp kandidaters så deras att initialbokstäverna blev ett meddelande.
Här kommer även den sista av dödssynderna, som Jesper Strömbäck beskriver, in. Nämligen att media inte tar opinionsmätningarna och deras påverkande förmåga på allvar. Eller möjligen ännu värre låtsas som att de inte har någon påverkan. Här är hur man exponerar en webbundersökning med tvivelaktig kvallite ett exempel men ett annat kan vara hur man blåser upp förändringen i en vanlig opinionsmätning men tonar ned en annan Tvättstugan har ett exempel på detta.
Det finns även en sensationslyssnad som gör att undersökningar som av ett eller annat skäl ger extra spännande resultat gärna lyfts fram. Kristdemokraterna kan ha förlorat en procentenhet och är plötsligt under 4 % spärren; de borgerlige kan ha ökat någon procentenhet samtidigt som de rödgröna tappat någon procent och plötsligt, ”är alliansen nästan ikapp”, enligt löpsedlarna. Inte sällan så är förändringen eller skillnaden som lyfts upp inte ens statistiskt säkerställd det vill säga den kan bero på slumpen, denna bristande förståelse för statistisk säkerhet är förövrigt dödssynd nummer två.
Men även om en förändring ser ut att vara statistiskt säkerställd så kan den bero på ren slump. Detta eftersom att statistiskt säkerställd i princip bara betyder att sannolikheten för att förändringen inte är orsakad av slumpen är 95%. Varje månad kommer dock i alla fall fem opinionsundersökningar därför är det närmast statistiskt säkerställt att en av dessa undersökningar varje år kommer ha en förändring som beror på slumpen men som ändå är stor nog att anses statistiskt säkerställd. Vanligen får dessa undersökningar stort genomslag just på grund av att de avviker så mycket från de andra undersökningarna, trotts att det som sagt antagligen beror på slumpen.
Jag vet inte om journalisters brist på kritiskt granskande av statistik och opinionsundersökningar beror på bristande kunskap eller på något annat. Däremot skulle jag önska att tidningarna tog sin roll som granskare på allvar och även ifrågasatte just statistik och opinionsundersökningar, särskilt när undersökningarna är av tvivelaktig kvalité eller ger osannolika svar. Ett resultat som låter osannolikt är nämligen väldigt ofta just osannolikt.
Nåja till dess att traditionell media och de som är anställda för att kritiskt granska nyheter börjar göra sitt jobb antar jag att vi inom ny media tvingas granska dem och göra deras jobb.
Kolla bloggar via NetRoots och Politometern
Läs även andra bloggares intressanta åsikter om politik, fredrik reinfeldt, mona sahlin, kvällsöppet, val 2010 och valet 2010.
