Statistik

Stiltje i opinionen rapporteras som storm

27 maj 2010 18:05

Återigen har en opinionsundersökning publicerats och återigen har prasselmedia hittat någon förändring att blåsa upp rubriker med. Denna gång är det ett litet tapp för socialdemokraterna som resulterar i rubriker så som ”S tappar i ny väljarbarometer” och ”Socialdemokraterna rasar i ny mätning”. En mer sann rubrik hade nog varit ”intet nytt på opinionsfronten”.

Faktum är att ”intet nytt på opinionsfronten” är en väldigt bra beskrivning av situationen sedan EU parlamentsvalet förra året. Ovan syns resultatet för min egen sammanställning av opinionen, metoden för trenden finns närmare beskrivet i ett tidigare inlägg. Som synes är stödet för blocken idag ungefär densamma som för ett år sedan. Prasselmedia väljer dock att greppa efter halmstrån och tolkar varje liten vindpust i opinionen som vore det full storm.

I den mätning som prasselmedia nu blåser upp är ingen av förändringarna statistiskt säkerställda. Detta borde innebära att även politiska journalister skulle tolka resultaten med en gnutta skepsis, tyvärr passar detta inte in i den journalistiska dramaturgin och säljer heller inga lösnummer.

Men faktum är att inte ens statistiskt säkerställda förändringar behöver betyda något. I princip betyder nämligen statistiskt säkerställd, att sannolikheten för att förändringen uppstår helt slumpvis är under 5 %. Med andra ord även om ingen förändring har skett i opinionen så kommer man i 5 % av fallen se en förändring som är större än denna nivå man säger är statistiskt säkerställd, bara beroende på slumpen.

Eftersom det kommer så många opinionsundersökningar kan man närmast intill vara säker på att en av mätningarna varje månad visar upp någon slumpvis förändring som är stor nog att vara statistiskt säkerställd.
För låt oss anta att resultatet för varje parti är ett i stort sett oberoende resultat, något som så klart inte stämmer men det gör det enkelt att räkna på och verkligheten är inte så långt ifrån. Sannolikheten att vart och ett av partierna eller ett av blocken visar upp en slumpvis förändring som är stor nog att anses statistisk säkerställd är alltså 5 %. Eftersom det finns åtta partier och två block betyder detta att sannolikheten att i alla fall ett parti, eller ett block i varje mätning har en så stor slumpvis förändring är hela 40 %. Eftersom det publiceras i genomsnitt sju olika opinionsmätningar varje månad är alltså sannolikheten hela 97 % att i alla fall en mätning har en helt slumpvis förändring för något block eller parti som är stor nog att anses ”statistiskt säkerställd”. Sannolikheten att prasselmedia kommer att göra stora rubriker på denna förändring är närmast 100%.

Slutsatsen som kan dras är att prasselmedias rapportering kring opinionsundersökningarna, och framför allt deras val av rubriker, är skräp. Kent Persson ställde som fråga tidigare på sin blogg om man kunde lita på opinionsundersökningar. Min slutsats är att det inte finns några som helst problem att lita på mätningarna i sig. Däremot kan man absolut inte lita på den rapportering som finns kring dessa mätningar, om det så är bland bloggares tolkningar eller politiska skribenter. Slutsatserna som dras är oftast mycket långtgående och baseras sällan eller aldrig på någon djupare analys av vad resultaten egentligen säger. Snarare handlar det om önsketänkande och halvbakta teorier.

Läs även andra bloggares åsikter om , , , ,

Diskrepans

26 april 2010 14:03

Jag noterar en viss diskrepans mellan resultatet av de senaste sifo-undersökningarna vad gäller förtroendet i jobbfrågan. Enligt Sifo har väljarna större förtroende för moderaterna än socialdemokraterna i frågan om jobben och arbetslösheten. Samtidigt visar en annan sifo-undersökning att väljarna har större förtroende för en rödgrön regering när det gäller samma frågor än en borgerlig regering.

Riktigt vad man ska dra för slutsatser av detta är svårt att säga. Dock anser jag att den slutsats som pressenteras i expressen av den S-märkte statsvetaren Stig-Björn Ljunggren kan ifrågasättas:

”Ljunggren tror att Socialdemokraterna tappat i förtroende på grund av samarbete med Vänstern och Miljöpartiet.
– Socialdemokraterna är inte ensamma längre. Vi förknippar inte Miljöpartiet med sysselsättning utan miljö, och Vänsterpartiet förknippar vi mest med offentlig sektor.”

Eftersom laget, de rödgröna, har större förtroende än jaget, de enskilda partierna, så får jag svårt att se samarbetet som skälet till att socialdemokraterna tappat förtroende. Snarare tror jag att skillnaden återfinns bland antalet osäkra väljare i de båda undersökningarna. I undersökningen där frågan gäller enskilda partier är 33 % av de tillfrågade osäkra, i frågan om vilket block är enbart 18 % osäkra. En möjlig tolkning är därför att flertalet väljare vet vilket block de anser har bäst jobb politik men däremot är osäkra över vilket parti inom blocket som faktiskt är bäst.

Läs även andra bloggares åsikter om och .

En synd att journalister inte granskar opinionsmätningar

25 mars 2010 18:02

Som statistik och matematik fetischist förfasas jag rätt ofta av hur traditionell media och journalister handskas med statistik och opinionsundersökningar. Av det skälet känns dagens artikel på DN debatt, med titeln ”opinionsmätningar och medias sju dödssynder” väldigt upplyftande. I artikeln tar Jesper Strömbäck professor i journalistik och politisk kommunikation upp sju fel i hur journalister hanterar opinionsundersökningar och enligt mig är det en mycket läsvärd artikel.

Den första dödssynden som tas upp är frågan om representativa urval. Här menar Jesper Strömbäck att webbundersökningar i princip bör banlysas eftersom man inte har någon som helst koll på om de svarande är representativa för något över huvud taget. En sådan uppmaning känns extra passande just idag eftersom både Aftonbladet och Expressen så flagrant gör sig skyldiga till denna synd i sina artiklar efter partiledardebatten igår.

I båda artiklarna deklarerar man Fredrik Reinfeldt som segrare över Mona Sahlin i debatten igår, baserad på svaret på en webbundersökning på respektive tidnings hemsida. Förutom det uppenbara problemet att man inte kan veta att de som svarat på undersökningen ens har sett debatten så uppkommer problemet att man representativa urval och hur man därför kan tolka undersökningen.

För som sagt problemet med webbundersökningar är att man inte vet vilka som svarar på frågan. Det vill säga det går inte att avgöra om de som svarar på något sätt är en representativ grupp, eftersom det kan finnas vissa grupper som oftare svarar på webbundersökningar. Exempelvis brukar sverigedemokraterna vara gravt överrepresenterade i alla webbundersökningar, något de själva skryter med. Så brukar även piratpartister och borgerliga väljare vara överrepresenterade. Exempel på detta syns i resultatet ovan.

Att en borgerlig väljare är mer benägen att utmåla Reinfeldt som vinnare i vilken debatt som helst, även om personen i fråga inte ens sett debatten, är knappast något förvånansvärt konstaterande. På samma sätt som en socialdemokratisk väljare är mer benägen att stödja Mona. Men detta är sällan något som tidningarna redovisar eller problematiserar över trotts att de säkerligen är medvetna om det.

Ofta försöker tidningarna, så som Expressen och Aftonbladet i detta fall, helt enkelt komma undan detta problem genom att hävda att det svaret är representativt för ”tidningens läsare”. Men faktum är att även detta är fel eftersom alla läsare inte svarar på undersökningarna., och vissa läsare är mer benägna än andra att svara. Möjligen skulle man kunna påstå att mätningarna är representativa för de läsare under mätperioden väljer att svara på frågan. Men inte ens detta är säkert.

Det är nämligen så att det inte ens säkert att varje svar motsvarar en person. Oftast är det nämligen väldigt enkelt att lura dessa undersökningar så att du kan svar mer än en gång. Det mest extrema exemplet på detta var när Anonymous lyckades manipulera Times omröstning över de 100 mest inflytelserika personerna, på et sådant sätt att deras föredragna person kom först och ordnade övriga topp kandidaters så deras att initialbokstäverna blev ett meddelande.

Här kommer även den sista av dödssynderna, som Jesper Strömbäck beskriver, in. Nämligen att media inte tar opinionsmätningarna och deras påverkande förmåga på allvar. Eller möjligen ännu värre låtsas som att de inte har någon påverkan. Här är hur man exponerar en webbundersökning med tvivelaktig kvallite ett exempel men ett annat kan vara hur man blåser upp förändringen i en vanlig opinionsmätning men tonar ned en annan Tvättstugan har ett exempel på detta.

Det finns även en sensationslyssnad som gör att undersökningar som av ett eller annat skäl ger extra spännande resultat gärna lyfts fram. Kristdemokraterna kan ha förlorat en procentenhet och är plötsligt under 4 % spärren; de borgerlige kan ha ökat någon procentenhet samtidigt som de rödgröna tappat någon procent och plötsligt, ”är alliansen nästan ikapp”, enligt löpsedlarna. Inte sällan så är förändringen eller skillnaden som lyfts upp inte ens statistiskt säkerställd det vill säga den kan bero på slumpen, denna bristande förståelse för statistisk säkerhet är förövrigt dödssynd nummer två.

Men även om en förändring ser ut att vara statistiskt säkerställd så kan den bero på ren slump. Detta eftersom att statistiskt säkerställd i princip bara betyder att sannolikheten för att förändringen inte är orsakad av slumpen är 95%.  Varje månad kommer dock i alla fall fem opinionsundersökningar därför är det närmast statistiskt säkerställt att en av dessa undersökningar varje år kommer ha en förändring som beror på slumpen men som ändå är stor nog att anses statistiskt säkerställd. Vanligen får dessa undersökningar stort genomslag just på grund av att de avviker så mycket från de andra undersökningarna, trotts att det som sagt antagligen beror på slumpen.

Jag vet inte om journalisters brist på kritiskt granskande av statistik och opinionsundersökningar beror på bristande kunskap eller på något annat. Däremot skulle jag önska att tidningarna tog sin roll som granskare på allvar och även ifrågasatte just statistik och opinionsundersökningar, särskilt när undersökningarna är av tvivelaktig kvalité eller ger osannolika svar. Ett resultat som låter osannolikt är nämligen väldigt ofta just osannolikt.

Nåja till dess att traditionell media och de som är anställda för att kritiskt granska nyheter börjar göra sitt jobb antar jag att vi inom ny media tvingas granska dem och göra deras jobb.

Kolla bloggar via NetRoots och Politometern
Läs även andra bloggares intressanta åsikter om , , , , och

Inte helt pålitlig udersökning ger SD 5.6%

13 augusti 2009 12:15

Jag kunde inte undgå att notera något underligt med United Minds senaste undersökning där SD får sisådär 5,6%. I den förra mätningen som publicerades precis efter EU valet lät United Minds intervjua runt 2000 personer i denna undersökning är bara runt 1000 tillfrågade. Antingen tyder detta på att United Minds bytt metod, vilket skapar ett problem vid jämförelse med tidigare undersökning, eller så har man haft ett närmast katastrofalt bortfall i undersökningen.

Om det senare skulle vara fallet det så är undersökningen inte värd så mycket och det skulle vore journalistiskt oansvarigt av Aftonbladet att publicera den. Fast det är klart nu ska man ju inte hoppas för mycket på den granskande förmågan hos kvällstidningsjournalister då artikelförfattaren helt felaktigt påstår att SD blir vågmästare, något som inte är fallet eftersom KD faller ur riksdagen enligt mätningen. Räknat i mandat skulle Reinfeldt tvingas lämna rosenbad, även om han skulle kunnat tänka sig att regera med stöd av Sverigedemokraterna.

Nu anser jag dock att man ska just denna opinionsundersökning på allt för stort allvar. En undersökning gjord mitt i sommaren, genom nätenkäter, och om till råga på allt tillhör de mindre undersökningarna (1000 tillfrågade jämfört med de större på runt 2000), kan antas vara mindre exakt.

Sommarundersökningar är i allmänhet opålitliga då det finns ett stort bortfall bland de tillfrågade. Detta bortfall är inte fördelat jämt över befolkningen. Vissa personer är nämligen mer benägna än andra att resa bort eller på annat sätt bli onåbara under sommaren. Det är mer troligt att personer med god ekonomi är bortresta än någon med sämre. Det är mer troligt att en person anställd inom mer traditionell industri är ledig under det som kallas industrisemestern än någon anställd inom exempelvis handeln. Eftersom partisympatier även varierar i dessa grupper så blir undersökningen mer osäker. Arbetslösa som grupp röstar exempelvis annorlunda än personer med arbete. Undersökningen har som det heter en bias. På samma sätt så ger nätenkäter en bias då vissa personer är mer benägna att svara på nätenkäter än andra.

Då denna undersökning dessutom är en av de mindre så är det också mer troligt att just denna undersökning avviker från det opinionsläge som den försöker mäta. Sammantaget gör det hela att jag även i detta fall litar mer på min tekopp och det som tesumpen visar där.

Kan politiska journalister inte räkna?

13 juni 2009 18:24

Så politikerbloggen skickar ut en enkät till 6500 förtroendevalda socialdemokrater. Ungefär 1500 av dessa bryr sig ens om att svara på den och av dessa säger ungefär en fjärdedel att de har lågt förtroende för Mona.

Politikerbloggen översätter detta till att en var fjärde s-politiker har lågt förtroende för Mona Sahlin. Sen förs det hela vidare i Expressen.

Visserligen säger de ju att kunskaperna inom matematik försämras men uppenbarligen är läget närmast akut bland journalister. För ärligt talat en fjärdedel av 1500 är ungefär 375 personer, och utav den samlade tillfrågade gruppen utgör dessa enbart ungefär 6 %. Så sanningen är att av de tillfrågad s-politikerna har 6 % har lågt förtroende för Mona Sahlin resten har antingen större förtroende för henne eller har inte svarat.

Det mest talande resultatet tycks faktiskt vara att ”Tre av fyra S-politiker bryr sig inte om svara på politikerbloggens enkät”. Samt möjligen att politikerbloggens Niklas Svensson samt hela expressenredaktionen borde läsa om grundskolematten.