fredag, mai 15, 2009

Meningsløse målinger

Det er mulig at noen synes jeg er i overkant masete om dette. Det får stå sin prøve. Men det er altså meningsmålinger jeg tenker på.

Det har gått inflasjon i målingene. Hver måned kommer det 10 stk. At disse kommenteres med det største gravalvor av politiske journalister uten peiling, skal jeg ikke dvele for mye med. Det er verre at politikerne blir med på dumhetene.

Det som bekymrer mer er hvilken troverdighet disse målingene har. Et par eks.:

I april var ytterpunktene for Høyre:

Infact: 17,6%
Norstat: 10,8%

Snittet av 10 målinger:14,0%

I går og i dag har vi fått tre målinger for Venstre:

Opinion: 8,7%
Sentio: 5,8%
Infact: 3,7%

Hvordan i alle dager skal Lars Sponheim si noe fornuftig om dette? Han trenger i alle fall et fleksibelt fikenblad med disse størrelsene.

Når avvikene blir så store, er det på tide at både oppdragsgiver og meningsmåler tar en seriøs runde og sjekker ut om metode og utvalg gjør målingene statistisk signifikante. (Ikke påvirket av tilfeldigheter)

Våre politikere kommenterer villig vekk enkeltmålinger og det blir jo unektelig litt komisk når målingen den ene dagen er 8,7% , 5,8% og 3,7% for ett og samme parti. Også hos enkelte bloggere, blir det unektelig stor komikk, slik som hos Aps komiske Ali.

Jeg synes det bør bli et krav til alle som publiserer meningsmålinger at vi får vite:

Hvilke spørremetoder er brukt
Utvalgsstørrelsen
Feilmarginer (dette finnes det tabeller for gitt utvalget, men det er enklere om det publiseres hver gang)

Men først bør de gå meningsmålingsinstituttene gå en runde med seg selv, før de mister all troverdighet.

For meg har enkeltmålinger null verdi, det er først mulig å se trender når snittmålingene publiseres og jeg kan anbefale to nettsteder for de som er interessert: professor Bernt Aardals hjemmeside og Svein Thore Martinsens blogg.

Anbefalt lesning:

Mediene lurer velgerne

Nyheten om en ikke-nyhet
Påvirkes velgerne av meningsmålinger

17 kommentarer:

Anonym sa...

Amen!

Statistikk blir generelt, og slike meningsmålinger spesielt, behandlet alt for overfladisk i mediene.

Svein Tore Marthinsen sa...

Et godt budskap kan sjelden gjentas for ofte!

Anonym sa...

Ja, det er stort avvik mellom InFact sin måling av venstre og Opinions sin måling.

Men, InFact sitt partibarometer er publisert med full faktaboks i VG i dag. Og den er basert på 2 uavhengige telefonbaserte undersøkelser på ca 1000 intervjuer.

Den andre målingen er vistnok basert på et web panel? Men, side den publiseres uten fakta boks er det ikke godt og si.

Så det blir vel og blande hummer og kanari.

Så et gjennomsnitt av disse? BLir det bra?

Skjegg sa...

Hehe, han er virkelig Komiske Ali. Spot on.
Han har en sak med tittel "Ny innertier fra Stoltenberg-regjeringen! Alt du vil vite om revidert nasjonalbudsjett." Hadde han ikke ment alvor, hadde han vært en stor komiker.

Jeg har lenge tenkt på Arbeiderpartiet som en sekt mer enn som et politisk parti, og det er noe i det.

Anonym sa...

"For meg har enkeltmålinger null verdi, det er først mulig å se trender når snittmålingene publiseres og jeg kan anbefale to nettsteder for de som er interessert:"



Hva om noen av de 10 målingene er helt ute?

Desuten er tidspunktet for gjennomføringen helt avgjørende!

Man kan umulig sammenligne to målinger som er tatt opp med flere ukers mellomrom????

Knut Johannessen sa...

Svein Tore: Jeg har bestemt meg for ikke å gi opp.

Anonym: Det er synd at ikke alle oppgir fakta. Men månedssnittet gir i alle fall utgangspunkt for å se en trend.

Skjegg: Jeg synes han er like morsom hele tida. Må innom for å sjekke ut hva som er dagens tema

Anonym:
Poenget med snittet av 10 målinger er at de gir en utviklingstrend. Tidspunktet kan være relevant, men ikke nødvendigvis. Det er bare å se på Venstres to målinger 8,7% og 3,7% tatt opp på omtrent samme tidspunkt. Kan man sammenligne de to, synes du? Jeg mener at de illustrer mitt poeng ganske godt.

Konrad sa...

Meget betimelig poeng.

Det er to typer usikkerhet i slike målinger:
1) Tilfeldige utslag i trekking av utvalget, denne tilfeldigheten er håndterbar vha sannynslighetsteori (feilmarginen er kjent på forhånd)
2) Systematiske feil i utvalgsmetoden, spør man folk på Karl Johan blir utvalget systematisk forskjellig fra om man spør folk på Nordre gate i Trondheim. Er ofte vanskelig å håndtere fordi skjevhetene ofte er usynlige for den som gjennomfører undersøkelsen, f.eks. har Krf-velgere større tilbøyelighet til å ta telefonen (mange pensjonister som ikke har annet å gjøre)?

Sveinung Engeland sa...

Dette blir litt langt, men nedenfor følger metode og utvalg for de norske meningsmålingsbyråene, sakset fra min artikkel i Ukebrevet Mandag Morgen i januar i år. Kanskje jeg skal grave videre i dette. Send meg gjerne tips om hvordan det kan gjøres til sveinung@mandagmorgen.no.

Synovate: Lager politisk barometer for Dagbladet. Telefonintervju, 70 prosent på fastte-lefon, 30 prosent mobil. Bruttoutvalg på 1.000 personer. Etter at ikke stemmeberettige-te og de som ikke vil svare/stemme/er usikre ble trukket fra, utgjorde grunnlaget for partibarometeret i siste måling 750 personer (nettoutvalget). Utvalget er vektet etter kjønn alder, bosted og stemmegivning i forrige stortingsvalg. I tillegg korrigeres det for erindringsfeil når respondentene svarer hva de stemte sist det var valg.

Opinion: Lager barometer for Avisenes Nyhetsbyrå (ANB). Den gjennomføres via Norstats webpanel, som innebærer at deltakerne får en e-post med link til en nettside hvor de kan avgi sine svar. Bruttoutvalget på 1.000 personer er rekruttert via telefon, og vek-tes etter kjønn alder, bosted og stemmegivning ved forrige stortingsvalg. Netto utvalg er mellom 800 og 850.

TNS Gallup: Lager måling for TV2. Bruttoutvalg på 1.000 personer. Om lag 750 i nettout-valget. Gallup vil ikke oppgi mer om sin metode og hvordan de vekter utvalget, men sier at de korrigerer for erindringsfeil når respondentene svarer på hva de stemte ved sist valg.

Sentio: Lager to separate målinger for Dagens Næringsliv og Bergens Tidende. Telefonin-tervju, 70 prosent på fasttelefon og 30 prosent på mobil. Bruttoutvalg på 1.000 perso-ner, nettoutvalget varierer, men var sist på 675. Utvalget vektet etter kjønn, alder, bosted og stemmegivning i forrige stortingsvalg.

Norstat: Lager to separate målinger for NRK og Vårt Land. Telefonintervju, 60 prosent på fasttelefon og 40 prosent på mobil. Bruttoutvalg på 1.000 personer, nettoutvalg om lag 660. Utvalget vektet etter kjønn, alder, bosted og stemmegivning i forrige stortings-valg.

Respons: Lager måling for Aftenposten. Telefonintervju, 70 prosent på fasttelefon, 30 prosent mobil. Utvalg på 1.000 personer vektes etter kjønn alder, bosted og stemmegiv-ning i forrige stortingsvalg. Netto utvalg om lag 750.

InFact: Lager måling for VG. Intervjuene foretas via telefonautomat. Utvalget består av om lag 2.000 respondenter, nettoutvalg cirka 1.650. Utvalget vektes etter kjønn, alder, bosted og stemmegivning i kommunevalget.

Norfakta: Lager måling for Nationen og Klassekampen. Telefonintervju, 70 prosent på fast-telefon, 30 prosent mobil. Bruttoutvalg på 1.000 personer, nettoutvalget varierer, men var sist på 750. Utvalget vektet etter kjønn, alder, bosted og stemmegivning i forrige stortingsvalg.

Knut Johannessen sa...

Sveinung: Takk, veldig bra. Da har vi en oversikt over metodikken.

Admin sa...

"Når Vox skriver om meningsmålingers forferdelighet da vet vi at de rødgrønne nettopp har gått fram".

Gammelt jungelord.

Vi kan slå fast at hijab, blasfemi, snikislamisering, Aker og desperate rop og skrik og påstander om rot og kaos og riksrett og korrupsjon og statsrådavgang og blod rennende fra kjefter ikke har fått de blå et museskritt nærmere regjeringspost.

Og hvordan det kan ha seg det kan man jo undres.

Litt underlig er det jo også at alle de før nevnte punkt som jo har teppelagt mediebildet siden jul har framkommet i en visstnok "blodrød" presse.

Men altså: uten at folket virker å ta særlig notis.

Konrad sa...

Vel, Vox har faktisk noen meget gode og viktige poeng. At han tar livsløgnen fra Nakkim & Co i samme slengen er jo bare bra!

Knut Johannessen sa...

Brumlebass: Jeg forstår at når man er litt endimensjonal i sin tankegang så er det vanskelig å reflektere. Men jeg har i flere år kommentert dette. Faktisk før de rødgrønne kom til makten. Og i denne posten har jeg ikke kommentert noe annet enn særdeles store avvik for 2 parti. At Frp og Ap nærmest er jevnstore (om man tar hensyn til feilmarginer) har jeg ikke kommentert.

Men jeg forstår at dette er vanskelig for deg, men det får da være ditt problem.

Jeg har ingen skjulte agenader. Når jeg skriver om tvilsomme meningsmålinger så gjør jeg det.

Føler jeg behov for å kritisere regjeringens fantastiske skryteliste som sykelønnsordning, Valla-sak, firmabilen til Jens, Hijab, blasfemi eller Aker (for å nevne noen få) så gjør jeg det. Noen ganger er det enkle det beste.

Admin sa...

Vox: vi er i alle fall enige om at gjennomsnittsmålingene er soleklart å foretrekke.

Om man som politiker likevel velger å forholde seg til enkeltmålinger(noen politikere har jo gått over til standardfrasen "det går opp og ned, det eneste som egentlig betyr noe er selve valget") så bør man i det minste passe på å sammenligne epler og epler.

Jan Tore Sanner hadde her tidligere i dag en av de mindre oppegående kommentarene da han mente at en nedgang på 1,9 til 15,9% i en måling var en styrkelse av partiet "fordi partiet i andre målinger tidligere i måneden lå på mellom 10 og 12".

Da er det bedre, ja, å si standardfraser om at det går opp og ned.

Knut Johannessen sa...

Brumlebass: Enig i det meste.

Og du har helt rett når det gjelder Sanner. Sanner er i dårlig selskap når det gjelder å uttale seg om meningsmålinger. Og ja, det er faktisk bedre å si som Jens Stoltenberg: At målinger går oppp og ned.

IvarE sa...

Brumlebass endimensjonal, Vox?

Du er alt for snill!

Jeg ville kalt ham singulær.

;-)

Anonym sa...

Jeg prøvde å legge inn en kommentar på bloggposten til Rødberg-Larsen for å kommentere hans noe svake statistikkompetanse. Dette var for noen dager siden, og da jeg skulle sjekke om han hadde kommentert kommentaren min, sto det under den aktuelle bloggposten "Kommentarer er ikke mulig." Kan et ord som feighet benyttes i denne sammenhengen? Eg berre undrast....

Knut Johannessen sa...

Anonym: Tja, jeg har vært utsatt for det samme og tok kontakt. Da var forklaringen at jeg hadde brukt linker i kommentaren som da var blitt oppfattet som spam. Så det kan være en grunn. Men jeg har også oppdaget at noen poster stenges for kommentarer. Så jeg er litt usikker på hensikten.