Tag Archives: statistik

Det är sånt här som sabbar mitt förtroende för undersökningar och enkäter.

Yougov har skickat en ny undersökning. (Ja, det händer att jag fortfarande svarar på sådana, trots det jag tidigare skrivit, men jag är numera hård: tycker jag underökningen är skit, eller ren reklam, så läger jag av mitt i och svarar inte klart.)

Det börjar vettigt. De frågar om vem jag skulle rösta på idag, vem jag röstaxde på sist, vilken partiledare jag har störst förtroende för, vilka frågor jag anser vara viktigast i nuläget. Sedan går de över på regionalpolitik och ställer likartade frågor. Fine.

Sedan börjar de ställa frågor om olika skånska städer. Om var jag kan tänka mig att bo, jobba etc. Tja, det är väl okej, om än inte så väl genomarbetat. Men jag börjar känna mig lite tveksam.

Och så kommer då den här frågan:Dåliga svarsalternativ

Här tar det stopp.

För jag har ärligt talat ingen aning om allt.

Jag är född och uppvuxen i Skåne, och har bott i Skåne i hela mitt liv bortsett från ungefä fem år.

Helsingborg har jag haft på några mils avstånd under uppväxten. Men det är snart tjugo år sedan. Jag vet i princip inget om hur Helsingborg är idag. Jag kan, baserat på mina erfarenheter från den tiden, säga att jag tycker staden har (eller hade) en trevlig stadskärna och ett bra nöjes- och kulturutbud.

Kristianstad har jag varit i enstaka gånger, alla gångerna under de senaste femton åren. Aldrig mer än några få timmar åt gången. Alltid i jobbsammanhang; på stan har jag möjligen ätit lunch (det var nog tolv år sedan). Jag har ingen säger ingen uppfattning om Kristianstad.

Landskrona är staden man åkte på karneval till när jag var yngre, och staden man åker från när man ska till Ven. I övrigt vet jag två saker: de verkar jobba aktivt med miljöfrågor, och tidningarna skriver om sociala problem med invandrarkoppling (för att förenkla riktigt ordentligt). I övrigt har jag inte den blekaste.

Lund har jag bott i – under ett års tid. Det är länge sedan. Det var ett intensivt år, när jag egentligen var ganska lite i Lund (ja, trots att jag bodde där). Jag kan uttala mig om att det var en okej stad att plugga i (fast jag hann inte uppleva mycket av det), trevlig stadskärna och inte så jätteimponerande kulturliv från mitt perspektiv. Då. För femton år sedan.

I Malmö har jag bott, också ett knappt år. Malmö har jag också hunnit uppleva mer av, eftersom jag jobbar där sedan tio år. Men trots att jag alltså vistas där nästan varje vardag så kan jag inte uttala mig om mer än typ hälften av punkterna i listan. Och än mindre kan jag uttala mig om Malmö i jämförelse med de andra städerna i listan. Att jämföra något jag känner till med något jag inte alls känner till blir ju bara bisarrt. Meningslöst. Och framför allt, hur jag än gör det så blir det en lögn.

Men för att kunna gå vidare i undersökningen så måste jag göra just det. Jag ska bocka för vilka städer jag anser stämmer in på de olika påståendena.

Det finns inget ”Vet inte”-alternativ. Det finns bara bocka för eller inte bocka för. Och så alternativet att jag inte anser att någon av städerna stämmer in.

Så för de städer jag inte har en aning MÅSTE jag alltså ändå svara att jag antingen känner mig trygg i dem, eller att jag inte gör det. At de har prisvärda bostäder eller att de inte har det. Och så vidare. Annars kan jag inte delta i undersökningen.

Och det här används förstås sedan för att via vad folk tycker om de olika städerna. Skåningarna tycker si eller så om Landskrona. Bara XX % av skåningarna tycker att Kristianstad är en stad de känner sig trygga i. Och så vidare.

Det tas som sanningar. För det här är ju vad skåningarna har svarat!

Grejen är ju att de allra flesta förmodligen bara svarar för de städer de känner till. Vilket innebär att de städer folk inte känner till så bra får samma dåliga betyg som städer som folk faktiskt är missnöjda med. Eller, så tror jag folk gör. Men det kvittar egentligen. Poängen är att folk tvingas ta ställning till saker de inte vet eller tycker något om. Och då är det fruktansvärt illa att dra slutsatser av resultatet. För det kommer att dras slutsatser av resultatet, det är jag övertygad om :-(

Jag ställer i alla fall inte upp på det här. Anledningen till att jag ”gått med” i yougovs panel är att jag gärna vill vara med och tala om vad folk tycker är viktigt. Visst är det angeläget att ta chansen att tala om att jag tycker miljöfrågan är den viktigaste politiska frågan.

Men jag gör det INTE på bekostnad av att de ska tvinga mig att skapa mig fördomar i de fall jag inte har och inte kan ha en åsikt.

Så därför avbryter jag den här undersökningen. Samt hoppas att fler än jag kan tänka sig att uppmärksamma bristen på tillförlitlighet i den här sortens undersökningar.

 

Statistik och undersökningar – kan man lita på sånt?

Idag kan man läsa i olika tidningar om att svenskar blivit bättre på att panta burkar och flaskor – 2011 pantade vi mer än någonsin. Och så jämför man olika län och olika kommuner.

Fast det handlar bara om antal pantade burkar och flaskor. Det framgår ingenstans hur stor andel av sålda burkar och flaskor som pantas. Ökningen skulle alltså helt och hållet kunna handla om att folk köper fler burkar och flaskor. (Nej, det vet jag inte om folk gör. Det skulle kunna vara så.) Och de kommuner som har väldigt lågt antal pantade burkar per capita skulle kunna vara bättre på pantning, sett till andel, för deras låga siffra kan ju bero på att de köper färre burkar och flaskor.

Detta får vi inte veta. Det är mycket möjligt att Returpack inte har en aning, och det är förstås i vilket fall som helst inte deras sak att räkna på. Men det gör att jag egentligen inte alls kan veta om nyheten är bra eller dålig.

I dagarna har jag för övrigt fyllt i årets enkät från dagis (eller ja, från kommunen, angående dagis). Nu ska jag inte peka ut just dagis eller kommunen, jag har träffat på många lika dåliga enkäter, men det är det senaste tydliga exemplet på riktigt dålig enkät.

Bland annat hade den många många frågor där man skulle värdera något på en tiogradig skala. Tiogradig! Hur skiljer man på saker som får en sjua och en åtta? Varför är det alls motiverat att ha så många betygssteg? Speciellt när det handlar om saker som är väldigt svåra att bedöma. Som hur personalen hanterar tendenser till mobbing eller hur de bemöter mitt barns behov av ditten eller datten. Hur jag i slutändan väljer att sätta siffror på en så löjligt detaljerad skala beror ju på en massa saker. Inte minst mitt humör just för dagen, min allmänna livsinställning (optimist eller pessimist, försiktig eller mer framåt och katig) och inte minst den allmänna uttråkning som ökar ju fler meningslösa frågor av liknande slag man tvingats svara på.

Många av sakerna är ju dessutom saker som jag verkligen verkligen inte kan svara på. För att jag inte har en aning. För att det till exempel aldrig varit relevant. Hur svårt tycker jag att det är att nå förskolechefen på en skala på ett till tio? Ja, hur sjutton ska jag veta när jag aldrig försökt?! I andra frågor är jag istället osäker på hur frågan ska tolkas. Då behövs en möjlighet att kryssa ”Vet ej” eller nåt sånt. Det fanns det ingenstans i dagisenkäten (och det är tyvärr ganska vanligt). Ingenstans i enkäten (tyvärr lika vanligt) fanns det fritextfält, så jag kunde inte heller skriva en allmän beklagan eller förklaring kring osäkerheten i mina svar.

Det finns alltså ingen möjlighet att fylla i enkäten på ett korrekt sätt.

Det hemska är att utifrån den här sortens enkäter dras det en massa slutsatser! Trots att tillförlitligheten är lika med noll.

Det är skrämmande. Dåligt utformade enkäter kan användas till att bevisa precis vad som helst.

Enkäten som var underlig till rapporten om klimatosäkerheten i kommuner verkade på det hela ha varit ganska genomtänkt. Man hade grunnat länge på frågeställningar och hur de skulle användas och hur det skulle bli jämförbart med andra undersökningar. Ändå blev det inte helt lyckat. Ett av påståendena enkätbesvararna skulle ta ställning till var ”Det finns inget tvivel om att klimatet förändras”. Väldigt öppet för tolkning. Rapportförfattarna avsåg tydligen tvivel hos den som svarade på enkäten. Men de som svarade kan ju lika gärna ha svarat på om det överhuvudtaget i världen finns tvivel=folk som tvivlar. och det gör det ju. (Det finns mer att säga om tolkningarna av denna enkät, men jag har redan skrivit om det, så det får räcka.)

Jag tycker  annars att det kan vara väldigt kul att svara på undersökningar, och jag ser (som kanske ibland märks) en poäng med att min åsikt syns. Därför gick jag för ett tag med i Yougov:s panel.

Deras enkäter är i de flesta fall verkligen usla. Väldigt ofta inga vettiga svarsalternativ, ingen möjlighet att kommentera, inget vet ej/ingen åsikt-alternativ, och så vidare. Och värst av allt: många av undersökningarna är inget annat än dåligt förtäckt reklam :-(

Häromsistens skulle jag till exempel svara på frågor om vilket knäckebröd jag skulle välja om jag stod i affären, och så fanns det en vy med olika knäckebröd i en knäckebrödshylla. Men de hade förstås inte alla de knäckebrödssorter som finns i affären. Och inget normalt ekologiskt knäckebröd. Ändå var man tvungen att svara på vad man skulle ha valt.

Det stod också att man skulle kunna ”plocka ner” dem från den virtuella ”hyllan” för att titta på dem, precis som i affären. Men det innebar bara att få paketet i förstoring. Det gick inte att vända på det för att läsa innehållsförteckningen – vilket ju är det jag normalt sett gör när jag plockar ner ett paket från hyllan för att titta närmre på det. Det skulle jag normalt sett alltid göra. Det är ju inte designen som är relevant. Men de förväntar sig alltså att jag ska köpa saker i blindo.

Slutligen ville de att jag skulle svara på ett stort antal frågor om det här märkets olika knäckebrödssorter. Det var väldigt uppenbart att de ville tvinga mig att titta närmre på alla deras sorter. Och ingenstans i ”undersökningen” fanns möjlighet att hoppa över frågorna, eller svara att jag inte skulle köpa någon alls av dem.

Den här modellen med hylla, tvånget att välja produkter bland ett ickeautentiskt utbud, och så vidare, är en återkommande variant i yougov:s undersökningar. Tydlig produktplacering och reklam. Men de kör också ett antal andra varianter som också helt uppenbart mer handlar om att nöta in utseeendet på förpackningar än att de faktiskt vill veta något.

Jag tycker det är fult. Mycket fult. Därför ignorerar jag numera mejl om undersökningar från Yougov. Jag betraktar dem inte som ett seriöst undersökningsföretag.

För att nu försöka knyta ihop detta röriga inlägg en aning (jag måste snart sova) så ska jag nu återvända till statistik.

Låt oss ta till exempel utsläppsstatistik. Utsläpp som fördelas per kommun, och sedan dessutom per capita i kommunen. Utsläpp som man från kommunernas sida jobbar hårt på att få ner.

Och så har vi två grannkommuner – den ena med jättebra siffror, som de är stolta över, den andra med rätt dåliga siffror. Och så plötsligt flyttar ett stort företag över kommungränsen och tar med sig alla utsläppen. Över en natt har den tidigare jättebra kommunen blivit skitdålig, och den skitdåliga jättebra. – Då kan man ju fråga sig hur användbar statistiken egentligen är, när den är utformad på det sättet.

Kontentan?

Var skeptisk till undersökningsresultat. Och vågra vägra svara på dåliga enkäter.