Og mediene presenterer resultatene med det største gravalvor. Som om man kan stole på resultatet. Det kan man jo ikke. Journalistene vet det. Politikerne vet det. Mange av lytterne, leserne og seerne vet det. Derfor blir det komisk.
Ikke for å henge ut noen spesielt for alle er like ille, men i går var det TV2s tur.
I et oppslag skriver Kjetil Løset at: "Nå smiler Stoltenberg" og grunnen er følgende:
Arbeiderpartiet får med 34,4 prosent (+ 2,0). Det er partiets høyeste oppslutning på to år. Bakgrunnstallene viser at flere tidligere Ap-velgere nå slutter opp om partiet, mens færre sitter på gjerdet.Problemet er bare at feilmarginen på denne målingen fra TNS Gallup er på +/-2,8 prosentpoeng. Så derfor vet vi egentlig ikke om AP har gått fram eller tilbake. Bloggposten til Kjetil Løset som er skrevet noenlunde samtidig har en bedre tittel: "Stoltenberg tør ikke juble".
Og bloggerne kaster seg på. Spesielt de som er partimedlemmer finner en anledning til å feire en meningsmåling. Likedan er det på partienes hjemmesider. Men bare når målingene viser fremgang. Selv om det er totalt meningsløst:
Sosialdemokratiet.no : Rock´n roll
Filip Rygg: Ny politikk og ny regjering
Piketten: Ny måling viser rød-grønt flertall
Sosialdemokraten.no: AP 34,4% og rødgrønt flertall i ny måling
Fjoseberg: Hva skjer etter valget 2009
Og Dagsavisen/Arbeiderbladet er ikke mye bedre. I en annen meningsmåling fra Nationen/Klassekampen viser 34,8% for AP. Fremgang på 3,3 prosentpoeng. Og det må selvsagt kommenteres:
Selv om feilmarginen betyr på at man like gjerne har gått tilbake?Aps partisekretær, Martin Kolberg, mener partiet nå profitterer på den autoritet og trygghet det har vist i tidligere krisetider.
– De gode resultatene på målingene viser at folk setter pris på vår politikk med en sterk stat og nødvendig politisk styring av markedet, sier Kolberg.
Jens Stoltenberg kan heller ikke dy seg:
Men i realiteten kan Frp ha gått frem med 1-2 prosentpoeng. Er det rart det blir dumt.Fremskrittspartiet går tilbake nærmere 1 prosentpoeng på målingen og får en oppslutning på 22,4 prosent.
Statsministeren mener tilbakegangen er et uttrykk for at folket har innsett at markedet trenger politisk styring.
Det er det samme for de andre mediene. Man bestiller en meningsmåling og selv ganske små avvik kan skape store overskrifter. Som ikke er så lett å forstå for de av oss som vet hvordan en meningsmåling lages. Men siden de har betalt så mye for en måling så må den jo brukes, selv om det blir aldri så misvisende.
Ørjan Nordhus Karlsson skriver om "Nyheten om en ikkenyhet"
En av de som kan mest om valgforskning og meningsmålinger, Professor Bernt Aardal er ganske nådeløs mot meningsmålingstullet. Han mener at "mediene lurer velgerne"
Han mener resultatet ofte er bombastiske nyheter uten rot i virkeligheten, og er grundig lei nyheter hvor prosenttall fra meningsmålinger serveres som fakta uten forbehold.
- En del av det som presenteres som nyheter, er ikke nyheter.
Og han er også bekymret for at en slik presentasjon kan få debatter til å komme ut av kurs
- Er det så farlig at man melder at et parti går opp eller ned et par prosent?
- Akkurat når det gjelder partimålingene kan du si at effektene av en enkelt måling i det totale bildet ikke er veldig stor. Men samtidig legger undersøkelsen et viktig premiss for den etterfølgende debatten. Og hvis det premisset egentlig er helt feil, kan debatter komme helt ut av kurs.
Skal man få noe fornuftig ut av meningsmålinger, så er hjemmesiden til Bernt Aardal et meget godt utgangspunkt. Blant annet viser han en sammenstilling av 10 meningsmålinger hver måned og snittet av disse gir et langt bedre bilde enn en enkeltmåling.
Min egen hemmelige meningsmålingsdrøm er følgende:
En journalist ringer Erna Siv Jensen Solberg i FremskrittsHøyre:
J: Vår siste meningsmåling fra Meningsmålingstull viser at Frh raser 2,5 prosentpoeng til 24,2 %. Er det krisestemning i partiet nå?Applaus! Men det blir en drøm. Politikere svarer høflig på alle spørsmål nesten uansett hvor dumme spørsmålene blir. Men den politiske andedammen er liten og politikere elsker jo å være i rampelyset. Spesielt når meningsmålingene er gode. Feilmargin eller ikke.
ESJH: Unnskyld meg, men hvor stor feilmargin er det på målingen deres?
J: Hva har det med saken å gjøre, vel den er +/- 3,1 prosentpoeng
ESJH: Da kan du ta den målingen din og putte den opp et sted solen aldri skinner. Det betyr jo at vi like gjerne kan ha gått frem. Skjønner du det, din patetiske bladfyk. Stikk og kom tilbake når du har lært hjemmeleksa di.
Men dette er en av mine kjepphester, og jeg kommer nok til å kjempe en forgjeves kamp mot vindmøllene. Men jeg gir ikke opp. Et minimum er at alle medier begynner med å oppgi utvalgsstørrelser og feilmarginer.
Vil du vite litt mer om meningsmålinger, hvordan de utarbeides, om utvalgsstørrelser, feilmarginer, vekting etc. så er denne offentlige utredningen fin: "Påvirkes velgerne av meningsmålinger. "
Vi får de meningsmålingene vi fortjener!
24 kommentarer:
Hei Knut!
Joda, feilmarginene er store nok til at et valg nå kunne tippet begge veier. Like fullt, det er liten tvil om at det går en liten bris i riktig retning nå - meningsmålingene sett under ett.
Feilmarginene er størst for partier rundt 50% og 0%, og minst for partiene rundt 25% (Eventuelt 75%, men det har vi jo heldigvis ikke noe eksempel på.)
Hvorfor det er slik? Vel, det har jeg fått grundig forklart av en statistiker en gang, men jeg kan ikke redegjøre for det over en kopp sjokolademelk klokken 01.28.
Igjen en utmerket artikkel med:
- en knivskapr analyse
- en god dose ironi
- litt humor
- noen spark både hit og ditt
I sum gir slike innlegg en god start på dagen.
mvh
John-Arne
Fredrik:
"Feilmarginene er størst for partier rundt 50% og 0%, og minst for partiene rundt 25% (Eventuelt 75%, men det har vi jo heldigvis ikke noe eksempel på.)"
Det er ikke helt riktig.
Feilmarginen er størst i området 50%. Noe mindre for 30/70% og minst for 10/90%. For en typisk meningsmåling med et utvalg på 1000 personer, så vil det gi følgende feilmarginer:
10/90%: +/- 1,9 prosentpoeng
30/70%: +/-: 2,9 prosentpoeng
50%: +/-: 3,2 prosentpoeng
Derfor vil altså en meningsmåling for AP som viser 34,2% variere mellom 31,3 og 37,1%.
Poenget er at i Norge opererer man med mellom 800 og 1000 i utvalget. Da er feilmarginen for de med oppslutning på 25-30% på mellom 2,8 og 4 prosentpoeng. Og noe mindre for partier med mindre oppslutning.
Det som er rimelig sikkert er at for en måling som har et utvalg på 1000 for et parti med 30% oppslutning, så må det være en bevegelse opp eller ned på minst 4 prosentpoeng for man kan fastslå at et parti går frem eller tilbake.
Derfor er det ingen ting i de to målingene i januar som tilsier at analysen din er riktig. Dessverre for deg og AP.
Dersom du ser på snittet av desembermålingene for AP så skiller det 5 prosentpoeng mellom høyeste og laveste måling. (32,5 på høyeste - 27,5 på laveste) For Frp er avviket på 5,8%. Det beviser mitt utgangspunkt ganske godt.
En annen feilkilde er frafallet i en spørreundersøkelse: Har de som sier nei til å delta i en undersøkelse systematisk forskjellige preferanser fra de som deltar?
Og påliteligheten til meningsmålinger ble for øvrig debattert grundig ifm primærvalgene i USA, som i denne artikkelen fra The Economist.
Einar: Riktig. Det finnes flere feilkilder. Ikke minst kjønnsfordeling som vil kunne slå skjevt ut for Frp f.eks. på samme måte som alder vil gjøre det hos Krf. Så riktig vekting er viktig.
Hei Knut!
Takk for link til min omtale av denne meningsmålingen. Jeg er jo blant disse partimedlemmene som blogger, men jeg føler meg ikke særlig rammet av din kritikk. Jeg er faktisk ganske enig med deg. Mine kommentarer går blant annet på at det vil bli "cloce race", at valgsystemet gir det største partiet et styringstillegg og at medias kommentarer kan være ganske meningsløse. Tror ikke du er uenig i noe av dette.
Kjetil: Det ser ut til at jeg har gjort deg urett og at jeg var litt for overfladisk i blogglesningen i går. Fjerner linken!
Feilmarginene (mer formelt 95% konfidensintervall) gjelder for tilfeldige utvalg der populasjonen er betydelig større enn utvalget. Når man sammenligner meningsmåling på to ulike tidspunkt har jo faktisk begge målingene (f.eks. både oktober og november) en feilmargin. Med andre ord: Det skal temmelig store utslag til før man kan si med sikkerhet at et parti "har gått frem/tilbake" fra oktober til november.
I tillegg kommer systematiske feil i undersøkelsen, av to typer:
1) folk snakker ikke sant (lyver eller husker ikke hva de stemte ved forrige valg)
2) Systematisk skjevhet i utvalget fordi byråene ikke har en perfekt oversikt over og full tilgang til hele befolkningen.
Jeg skrev en gretten epost til Sentio og ba dem oppgi feilmarginer osv. for målingene de lagde. De svarte at "det gjør vi jo", men at avisene ikke tok det med.
Konrad: Enig. Det er også derfor tabellene viser at dersom man har et utvalg på 1000 og partiet får 30% så bør avviket være 4 prosentpoeng før man kan snakke om utslag. Derfor blir også de fleste kommentarer basert på månedlige målinger så tullete.
Theo: Problemet for media er at dersom de må "forkludre" budskapet med feilmarginer, så blir mange av "nyhetene" ikke noen nyheter lenger.
Se linken til Dagbladet i posten min.
Godt å se at flere ar samme kjepphest som meg. Mener å ha sett begrepet "meningsmålingstyranniet" brukt om de utidige meningsmålingene. Selv om det er irriterende å se de daglige oppslagene av ikke-saker som meningsmålingene avstedkommer, så er det mer alvorlige konsekvenser. Fokuset på ukentlige bevegelser i representative utvalg fjerner forkuset fra lange tanker om politikk både hos politikere og velgere. Politikerne tvinges til å forholde seg til kortsiktige konsekvenser av avgjørelser eller uttalelser de måtte stå bak, men velgerne narres til å tro at meningsmålinger betyr noe. Trist.
Liker ikke bruken din av "like gjerne" her:
"Selv om feilmarginen betyr på at man like gjerne har gått tilbake?"
Hvis meningsmålingen viser fremgang, er det mer sannsynlig at det er en reell fremgang enn tilbakegang.
Neste gang bør du åpne vinduet før du kaster stein...
Ørjan: Tuller du??
En måling som gir f. eks. Ap 30% og der målingen har en feilmargin på 3 prosentpoeng, kan bare tolkes på følgende måte: Mellom 27% og 33% av velgerne vil med 95% sannsynlighet stemme AP. Det er alt.
Selv om målingen viser fremgang på 2 prosentpoeng, så kan de like gjerne ha gått tilbake.
For å gi deg et godt eksempel på hvor feil du tar:
En uke foran kommunevalget så viste TNS Gallup for SV, 11,5 prosent som var en fremgang på 1,2 prosentpoeng fra forrige måling. I valget en uke senere fikk de 6,2 prosent.
For AP viste tallene i samme måling 26,3% som var en tilbakegang på 3,3 prosentpoeng fra forrige måling. Fasit (valget) viste en fremgang på 3,3 prosentpoeng til 29,6%.
Men jeg reviderer gjerne oppfatning etter å ha sett beviset fra deg på at jeg tar feil.
Ørjan:
Ja, kanskje, men det blir feil likevel. La oss si at Ap får 36,9 ved valget i september og 36,4 ved meningsmåling i et tilfeldig utvalg. Da er det kanskje 52% sannynslighet for reell tilbakegang og 48% sannsynlighet for reell fremgang. Det er jo et helt uinteressant funn. Dersom man ikke er i stand til å si noe med vesentlig sikkerhet (f.eks. 90 eller 95 % sikkerhet), er det av liten verdi.
En feilmargin er naturligvis ikke en skarp grense, men en velbegrunnet konvensjon for hva som er godt nok - vi ønsker ikke å trekke konklusjoner med mindre enn 90 % sannsynlighet. En annen grunn er at normalfordelingskurven flater tydelig ut omtrent ved 90-95 %.
Jeg var kanskje en tanke kjapp og frekk i min kommentar. Jeg er enig i innholdet i bloggposten (at det gir liten mening å snakke om en "framgang" som ligger innenfor feilmarginen). Mitt mer pedantiske poeng er at det også er unøyaktig å hevde at framgang og tilbakegang er like sannsynlig når meningsmålingen viser fremgang. I denne debatten blir det en distraksjon. Jeg beklager.
(Men rett skal være rett).
"Det finnes flere feilkilder. Ikke minst kjønnsfordeling som vil kunne slå skjevt ut for Frp f.eks. på samme måte som alder vil gjøre det hos Krf. Så riktig vekting er viktig."
Jeg vil tro at dette blir tatt høyde for da norske meningsmålingselskaper bruker uttrekk der de har parametre for alder og kjønn på ringelistene sine. Dette betyr at etter hvert som de får svar, så har de mulighet til å tilpasse ringemønsteret sitt for å få et tverrsnitt på alder og kjønn.
Jeg er ikke sikker på om dette blir gjort, men grunnlaget for å gjøre det har de. Så feilmarginer på slikt grunnlag burde egentlig være marginale hvis de utnytter grunnlaget de har for oppringning maksimalt.
Knut, du har ikke helt forstått hva feilmargin er. Hvis en måling viser X med en feilmargin på +-Y, betyr ikke det at det er like sannsylig at X+Y eller X-Y er korrekt som at X er korrekt. Det er en sannsynlighetsfordeling omkring X, og man har valgt en "cut-off"-verdi for sannsynligheten, som gir et intervall +-Y omkring X. Men det betyr ikke, slik du fremstiller det, at det sannheten "like gjerne" ligger i ytterkanten av det valgte feilintervallet som i sentrum av det. Tvert imot, hvis målingen viser en tilbakegang for et parti på 2 prosent, med en feilmargin på 3 prosentpoeng, det er SVÆRT lite sannsynlig at partiet har gått frem 1 prosentpoeng.
(Jeg snakker her kun om statistisk feilmargin, ikke systematiske bias i målingsmetodene.)
Kristian Z: Det er selvsagt mulig at min statistikkeksamen fra BI er gått ut på dato (det er ganske lenge siden) og/eller at jeg ikke forsto feilmargin.
Men jeg mener å huske at vi lærte var at feilmargin kunne angis på flere måter. Når f. eks +/- ble brukt så viste den innenfor hvilket intervall estimatet lå. Dersom Ap får 30% i en måling med feilmargin +/-3 prosentpoeng, så er det 95% sannsynlighet for at AP har en oppslutning mellom 27 og 33%.
Alternativt kan du bruke konfidensintervall ved målinger der feilmargin er assymetriske. Den oppgis ikke som +/-, men med intervall.
Du roter det til for deg selv når når du bruker tilbakegang eller fremgang på en måling og ikke målingens oppgitte verdi. Du glemmer da f. eks. at målingen det sammenlignes med også har en feilmargin. Det blir feil å snakke om fremgang eller tilbakegang når frem- eller tilbakegang ligger innenfor feilmarginen.
"Tvert imot, hvis målingen viser en tilbakegang for et parti på 2 prosent, med en feilmargin på 3 prosentpoeng, det er SVÆRT lite sannsynlig at partiet har gått frem 1 prosentpoeng."
Kan du ikke være snill å vise meg hvor du henter teorien til denne slutningen. Slik at jeg evt. får lært noe nytt. Jeg er alltid åpen for det.
Nå er ikke jeg partipolitisk knyttet til noen (i alle fall ikke som du vet om hehe:), men jeg føler meg truffet likevel. Dog på en god måte. Blogg er en politisk arena. Punktum. Meningsmålinger, uansett hvor empirisk svake de er, må sees på som et uttrykk for et eller annet. Og uansett hvor teit det er å peke nese av sine politiske motstandere på et så tynt grunnlag som meningsmålinger jo er: ville det ikke vært enda teitere hvis de ?ikke forsøkte å bruke målingene for hva de er verdt
Johannes: Jeg må innrømme at både mellom og etternavnet ditt har gjort meg nysgjerrig på om du har noen familiær tilknytning til Krf? Det er som sagt bare noe som har falt ned i hodet uten annen begrunnelse. Både Fjose (Bergfrid) og Berg (Arthur, ex Dagen-redaktør) er jo kjente for en som har fulgt norsk politikk noen år :-)
Så til poenget. Jeg forstår godt at man vil benytte egne gode målinger og andres dårlige. Men det blir o litt vanskelig om vi når tar Krf som eks. Den ene dagen får de 8,1% og den neste dag 5,6%. Jeg har ikke sett noen kommentere den siste.
Joda. Bergfrid er mormoren min, men Arthur er veldig galt :)
De to befant seg på vidt forskjellige sider i Krf. Inntil Bondevik kom med den bka som endret KrFs selvforståelse (slutten av 80-tallet, begynnelsen av 90-tallet?) var jo Krf preget av stridigheter mellom høyre- og venstreside. Mormor var på motsatt side av Dagen-folket, Kåre Kristiansen osv.
Men jeg er nok ingen KrF-er...
Valg: Det som er interessant er jo å se de små ting i alt kaoset av meningsmålinger. Dessuten synes jeg nå en gang det er artig med politikk, til og med meningsmålinger. Skulle gjerne likt at diskusjonene bar mer preg av ideologi, men all den tid de ikke gjør det er dette spillet en grei form for underholdning. Selv om både Erna og Siw er "mer opptatt av politikk enn det politiske spill"
Legg inn en kommentar