Tag Archives: undersökningar

När det neutrala kuvertet och loggan triggar ångest

Häromveckan fick jag ett brev från Region Skåne. Ett sånt där fönsterkuvert med hål dels för min adress, dels för deras logga.

Adresserat brev från Region Skåne. Det innebär i princip alltid något från vårdcentralen. Vad kunde det vara? Någon sorts kallelse? Några provsvar från något jag glömt? Något… läskigt?

Ja, det var där tankarna hamnade, väldigt kvickt. Givet utformningen – så där väldigt neutralt – var liksom det sannolikaste någon sorts brev från läkare. Och sådana kommer ju inte om de inte har något väldigt angeläget att säga.

Så jag hann tänka mååånga tankar under den där väldigt korta stunden innan jag öppnade brevet.

Det var info om en enkät de vill att jag ska besvara. Inloggningsuppgifter och klämkäck info i grönt. ”Du har blivit slumpmässigt utvald…”

Det där att ha blivit smått skräckslagen under en kort stund gör inte att man känner sig mer lockad att gå in och svara på en enkät, faktiskt.

Av en händelse såg jag en facebookvän skriva något motsvarande. Han verkar ha fått samma utskick och hunnit tänka liknande tankar.

Nu häromdagen kom ett nytt likadant till mig. Och jag hann reflexmässigt hamna i samma tankebanor, innan tanken slog mig att det här skulle kunna vara något liknande. Och så var det just en påminnelse.

Men alltså: om man nu är en organisation som huvudsakligen skickar brev till privatpersoner när det är något från vårdcentralen, något som kan trigga jobbiga tankar, så kanske man ska fundera på att göra utskickets utseende mindre neutralt, liksom?

Det har gått någon sorts hysteri i utvärderingar

Vissa webbsidor kan man nästan aldrig gå in på utan att det poppar upp ett litet fönster framför, där jag – innan jag ens hunnit hitta in till något mer än startsidan – ombeds svara på min upplevelse av sidan. Vad sökte jag? Hittade jag det? Vad tycker jag om designen och strukturen på sidan? Och i vilken av alla mina möjliga roller var jag här just den här gången?

Går jag till vårdcentralen kommer det några veckor senare ett brev hem med frågor om hur jag upplevde besöket, bemötandet, just den läkaren, och så vidare. Svarar jag inte så kommer det en påminnelse ytterligare några veckor senare.

Ringer man försäkringsbolaget för att anmäla att man behöver använda assistansersättningen för bilen (dvs något ytterst okomplicerat) så kommer det också ett brev några veckor senare, där man ska svara på frågor om hur man bemöttes av någon i telefon.

Åker man på konferens ska det fyllas i utvärderingar om högt och lågt. Och efter att jag igår i jobbet skickade en fråga till en supportavdelning (externt) så får jag nu ett mejl där de vill att jag sätta betyg på servicen på supporten.

Ja, visst är det bra att ni vill veta om kunderna är nöjda. Men jag har annat att göra! Både privat och i jobbet har jag trots allt en begränsad mängd tid, och ännu viktigare en begränsad mängd ork. Och jag pallar faktiskt inte med alla dessa utvärderingar överallt och hela tiden. Jag vill ägna mig åt annat!

Och eftersom jag vet att de ju bara menar väl, så lägger jag breven åt sidan och låter mejlen ligga kvar i mejlboxen och tänker att jag kanske hinner någon annan dag – och så spär de istället på det konstanta dåliga samvetet.

Måste vi verkligen utvärdera så mycket hela tiden?

Uppföljning undersökning

Fortsättning medborgarundersökning.

Jag mejlade faktiskt till undersökningssupporten och förklarade att jag inte kunde komma förbi fråga 2. Och jag fick svar! Tydligen ingår just den frågan i ett urval av frågor från VTI om hållbart resande 2014, och frågorna från VTI är med för att kunna jämföra skåningarnas svar med resultat från andra håll. Så den dåliga frågan var inte Region Skånes fel :-) Dessutom fick jag veta att de så gärna vill att jag faktiskt svarar på enkäten att de faktiskt lovar att manuellt plocka bort mitt svar på just den frågan (eftersom jag inte ansåg den gick att svara på med de alternativen) efter att jag svarat klart och innan den avidentifieras.

Med det engagemanget fortsatte jag förstås att svara :-)

Den här frågan kan man ju tycka borde vara en drömfråga – men jag lämnade i slutändan blankt på den, för jag kunde inte alls komma på vad jag faktiskt skulle tycka skulle göra riktigt stor skillnad:
ga

Den här frågan hade jag också lite svårt för. Om jag skulle börja cykla till jobbet – en resa på grovt räknat 5 mil enkel resa – så är inte den relevanta frågan hurpass acceptabelt det är utan hur galen jag är :-)

Skärmbild_2015-11-04_19-49-21

Men men. Nu har jag i alla fall gjort mitt och svarat på undersökningen.

Det finns ingen huvudsaklig användare av vår bil!

Det här med dåliga undersökningar… Det är ju länge sedan jag hoppade av Yougovs panel. Men det finns seriösare undersökare och relevantare sammanhang. Och sedan nåt år tillbaka eller så (?) så är jag med i ”Skånepanelen”, vilket är Region Skånes medborgarundersökning. Det känns alltså viktigt, eftersom det är ett underlag för deras arbete.

Tidigare idag satt jag och skulle svara på deras nuvarande undersökning.

Introduktion till undersökningen samt fråga 1:

undersokn1Rimligt, vettigt och relevant. En undersökning jag känner att det finns värde i att svara på. Nästa fråga, tack!

Så här ser fråga 2 ut:

undersokn2Och nu blir jag genast mycket mer tveksam. Eller, ärligt talat, jag kommer aldrig längre än så här.

Det finns bara Ja och Nej. Inga andra svarsalternativ. Och eftersom frågan om mitt kön lär dyka upp förr eller senare (det brukar den), så inser jag hur svaren på den här frågan kan användas: till resultat av typen ”I XX% av de skånska hushållen är det huvudsakligen mannen som använder bilen”. Eller nåt sånt.

Och alltså, det är ju viktiga siffror. Just därför är det också viktigt att de tas fram på ett tillförlitligt sätt.

Jag kan inte svara vare sig ja eller nej på fråga 2. Det är nämligen så att vi använder bilen väldigt mycket lika mycket. Jag kan inte ange någon exakt fördelning, men det kommer nog så nära det som är möjligt utan att ha just den avsikten och noggrann bokföring.

Ingen av oss tar bilen till jobbet. Den som lämnar ungarna på skolan på morgonen tar bilen. Det är förstås ofta båda tillsammans. Då är det ibland han som kör, ibland jag. Beroende på den dagens omständigheter. Fixa ärenden av diverse slag gör vi också båda. Och ska det köras längre sträckor så byts vi av.

Jag KAN inte svara på frågan ovan – inte med de svarsalternativen. Och det innebär att jag inte kan svara på resten av enkäten heller. Det vill säga en uselt utformad fråga i början av enkäten sabbar för resten av enkäten. Och svaren på den här enkäten kommer alltså att begränsas till de personer som KAN svara ja eller nej på fråga 2. Samt de personer som är mindre rabiata när det kommer till att svara sanningsenligt och ärligt på undersökningar.

Och ärliga sanningsenliga svar är uppenbarligen inte det man är ute efter när mn konstruerar undersökningar :P

 

Det är sånt här som sabbar mitt förtroende för undersökningar och enkäter.

Yougov har skickat en ny undersökning. (Ja, det händer att jag fortfarande svarar på sådana, trots det jag tidigare skrivit, men jag är numera hård: tycker jag underökningen är skit, eller ren reklam, så läger jag av mitt i och svarar inte klart.)

Det börjar vettigt. De frågar om vem jag skulle rösta på idag, vem jag röstaxde på sist, vilken partiledare jag har störst förtroende för, vilka frågor jag anser vara viktigast i nuläget. Sedan går de över på regionalpolitik och ställer likartade frågor. Fine.

Sedan börjar de ställa frågor om olika skånska städer. Om var jag kan tänka mig att bo, jobba etc. Tja, det är väl okej, om än inte så väl genomarbetat. Men jag börjar känna mig lite tveksam.

Och så kommer då den här frågan:Dåliga svarsalternativ

Här tar det stopp.

För jag har ärligt talat ingen aning om allt.

Jag är född och uppvuxen i Skåne, och har bott i Skåne i hela mitt liv bortsett från ungefä fem år.

Helsingborg har jag haft på några mils avstånd under uppväxten. Men det är snart tjugo år sedan. Jag vet i princip inget om hur Helsingborg är idag. Jag kan, baserat på mina erfarenheter från den tiden, säga att jag tycker staden har (eller hade) en trevlig stadskärna och ett bra nöjes- och kulturutbud.

Kristianstad har jag varit i enstaka gånger, alla gångerna under de senaste femton åren. Aldrig mer än några få timmar åt gången. Alltid i jobbsammanhang; på stan har jag möjligen ätit lunch (det var nog tolv år sedan). Jag har ingen säger ingen uppfattning om Kristianstad.

Landskrona är staden man åkte på karneval till när jag var yngre, och staden man åker från när man ska till Ven. I övrigt vet jag två saker: de verkar jobba aktivt med miljöfrågor, och tidningarna skriver om sociala problem med invandrarkoppling (för att förenkla riktigt ordentligt). I övrigt har jag inte den blekaste.

Lund har jag bott i – under ett års tid. Det är länge sedan. Det var ett intensivt år, när jag egentligen var ganska lite i Lund (ja, trots att jag bodde där). Jag kan uttala mig om att det var en okej stad att plugga i (fast jag hann inte uppleva mycket av det), trevlig stadskärna och inte så jätteimponerande kulturliv från mitt perspektiv. Då. För femton år sedan.

I Malmö har jag bott, också ett knappt år. Malmö har jag också hunnit uppleva mer av, eftersom jag jobbar där sedan tio år. Men trots att jag alltså vistas där nästan varje vardag så kan jag inte uttala mig om mer än typ hälften av punkterna i listan. Och än mindre kan jag uttala mig om Malmö i jämförelse med de andra städerna i listan. Att jämföra något jag känner till med något jag inte alls känner till blir ju bara bisarrt. Meningslöst. Och framför allt, hur jag än gör det så blir det en lögn.

Men för att kunna gå vidare i undersökningen så måste jag göra just det. Jag ska bocka för vilka städer jag anser stämmer in på de olika påståendena.

Det finns inget ”Vet inte”-alternativ. Det finns bara bocka för eller inte bocka för. Och så alternativet att jag inte anser att någon av städerna stämmer in.

Så för de städer jag inte har en aning MÅSTE jag alltså ändå svara att jag antingen känner mig trygg i dem, eller att jag inte gör det. At de har prisvärda bostäder eller att de inte har det. Och så vidare. Annars kan jag inte delta i undersökningen.

Och det här används förstås sedan för att via vad folk tycker om de olika städerna. Skåningarna tycker si eller så om Landskrona. Bara XX % av skåningarna tycker att Kristianstad är en stad de känner sig trygga i. Och så vidare.

Det tas som sanningar. För det här är ju vad skåningarna har svarat!

Grejen är ju att de allra flesta förmodligen bara svarar för de städer de känner till. Vilket innebär att de städer folk inte känner till så bra får samma dåliga betyg som städer som folk faktiskt är missnöjda med. Eller, så tror jag folk gör. Men det kvittar egentligen. Poängen är att folk tvingas ta ställning till saker de inte vet eller tycker något om. Och då är det fruktansvärt illa att dra slutsatser av resultatet. För det kommer att dras slutsatser av resultatet, det är jag övertygad om :-(

Jag ställer i alla fall inte upp på det här. Anledningen till att jag ”gått med” i yougovs panel är att jag gärna vill vara med och tala om vad folk tycker är viktigt. Visst är det angeläget att ta chansen att tala om att jag tycker miljöfrågan är den viktigaste politiska frågan.

Men jag gör det INTE på bekostnad av att de ska tvinga mig att skapa mig fördomar i de fall jag inte har och inte kan ha en åsikt.

Så därför avbryter jag den här undersökningen. Samt hoppas att fler än jag kan tänka sig att uppmärksamma bristen på tillförlitlighet i den här sortens undersökningar.

 

Statistik och undersökningar – kan man lita på sånt?

Idag kan man läsa i olika tidningar om att svenskar blivit bättre på att panta burkar och flaskor – 2011 pantade vi mer än någonsin. Och så jämför man olika län och olika kommuner.

Fast det handlar bara om antal pantade burkar och flaskor. Det framgår ingenstans hur stor andel av sålda burkar och flaskor som pantas. Ökningen skulle alltså helt och hållet kunna handla om att folk köper fler burkar och flaskor. (Nej, det vet jag inte om folk gör. Det skulle kunna vara så.) Och de kommuner som har väldigt lågt antal pantade burkar per capita skulle kunna vara bättre på pantning, sett till andel, för deras låga siffra kan ju bero på att de köper färre burkar och flaskor.

Detta får vi inte veta. Det är mycket möjligt att Returpack inte har en aning, och det är förstås i vilket fall som helst inte deras sak att räkna på. Men det gör att jag egentligen inte alls kan veta om nyheten är bra eller dålig.

I dagarna har jag för övrigt fyllt i årets enkät från dagis (eller ja, från kommunen, angående dagis). Nu ska jag inte peka ut just dagis eller kommunen, jag har träffat på många lika dåliga enkäter, men det är det senaste tydliga exemplet på riktigt dålig enkät.

Bland annat hade den många många frågor där man skulle värdera något på en tiogradig skala. Tiogradig! Hur skiljer man på saker som får en sjua och en åtta? Varför är det alls motiverat att ha så många betygssteg? Speciellt när det handlar om saker som är väldigt svåra att bedöma. Som hur personalen hanterar tendenser till mobbing eller hur de bemöter mitt barns behov av ditten eller datten. Hur jag i slutändan väljer att sätta siffror på en så löjligt detaljerad skala beror ju på en massa saker. Inte minst mitt humör just för dagen, min allmänna livsinställning (optimist eller pessimist, försiktig eller mer framåt och katig) och inte minst den allmänna uttråkning som ökar ju fler meningslösa frågor av liknande slag man tvingats svara på.

Många av sakerna är ju dessutom saker som jag verkligen verkligen inte kan svara på. För att jag inte har en aning. För att det till exempel aldrig varit relevant. Hur svårt tycker jag att det är att nå förskolechefen på en skala på ett till tio? Ja, hur sjutton ska jag veta när jag aldrig försökt?! I andra frågor är jag istället osäker på hur frågan ska tolkas. Då behövs en möjlighet att kryssa ”Vet ej” eller nåt sånt. Det fanns det ingenstans i dagisenkäten (och det är tyvärr ganska vanligt). Ingenstans i enkäten (tyvärr lika vanligt) fanns det fritextfält, så jag kunde inte heller skriva en allmän beklagan eller förklaring kring osäkerheten i mina svar.

Det finns alltså ingen möjlighet att fylla i enkäten på ett korrekt sätt.

Det hemska är att utifrån den här sortens enkäter dras det en massa slutsatser! Trots att tillförlitligheten är lika med noll.

Det är skrämmande. Dåligt utformade enkäter kan användas till att bevisa precis vad som helst.

Enkäten som var underlig till rapporten om klimatosäkerheten i kommuner verkade på det hela ha varit ganska genomtänkt. Man hade grunnat länge på frågeställningar och hur de skulle användas och hur det skulle bli jämförbart med andra undersökningar. Ändå blev det inte helt lyckat. Ett av påståendena enkätbesvararna skulle ta ställning till var ”Det finns inget tvivel om att klimatet förändras”. Väldigt öppet för tolkning. Rapportförfattarna avsåg tydligen tvivel hos den som svarade på enkäten. Men de som svarade kan ju lika gärna ha svarat på om det överhuvudtaget i världen finns tvivel=folk som tvivlar. och det gör det ju. (Det finns mer att säga om tolkningarna av denna enkät, men jag har redan skrivit om det, så det får räcka.)

Jag tycker  annars att det kan vara väldigt kul att svara på undersökningar, och jag ser (som kanske ibland märks) en poäng med att min åsikt syns. Därför gick jag för ett tag med i Yougov:s panel.

Deras enkäter är i de flesta fall verkligen usla. Väldigt ofta inga vettiga svarsalternativ, ingen möjlighet att kommentera, inget vet ej/ingen åsikt-alternativ, och så vidare. Och värst av allt: många av undersökningarna är inget annat än dåligt förtäckt reklam :-(

Häromsistens skulle jag till exempel svara på frågor om vilket knäckebröd jag skulle välja om jag stod i affären, och så fanns det en vy med olika knäckebröd i en knäckebrödshylla. Men de hade förstås inte alla de knäckebrödssorter som finns i affären. Och inget normalt ekologiskt knäckebröd. Ändå var man tvungen att svara på vad man skulle ha valt.

Det stod också att man skulle kunna ”plocka ner” dem från den virtuella ”hyllan” för att titta på dem, precis som i affären. Men det innebar bara att få paketet i förstoring. Det gick inte att vända på det för att läsa innehållsförteckningen – vilket ju är det jag normalt sett gör när jag plockar ner ett paket från hyllan för att titta närmre på det. Det skulle jag normalt sett alltid göra. Det är ju inte designen som är relevant. Men de förväntar sig alltså att jag ska köpa saker i blindo.

Slutligen ville de att jag skulle svara på ett stort antal frågor om det här märkets olika knäckebrödssorter. Det var väldigt uppenbart att de ville tvinga mig att titta närmre på alla deras sorter. Och ingenstans i ”undersökningen” fanns möjlighet att hoppa över frågorna, eller svara att jag inte skulle köpa någon alls av dem.

Den här modellen med hylla, tvånget att välja produkter bland ett ickeautentiskt utbud, och så vidare, är en återkommande variant i yougov:s undersökningar. Tydlig produktplacering och reklam. Men de kör också ett antal andra varianter som också helt uppenbart mer handlar om att nöta in utseeendet på förpackningar än att de faktiskt vill veta något.

Jag tycker det är fult. Mycket fult. Därför ignorerar jag numera mejl om undersökningar från Yougov. Jag betraktar dem inte som ett seriöst undersökningsföretag.

För att nu försöka knyta ihop detta röriga inlägg en aning (jag måste snart sova) så ska jag nu återvända till statistik.

Låt oss ta till exempel utsläppsstatistik. Utsläpp som fördelas per kommun, och sedan dessutom per capita i kommunen. Utsläpp som man från kommunernas sida jobbar hårt på att få ner.

Och så har vi två grannkommuner – den ena med jättebra siffror, som de är stolta över, den andra med rätt dåliga siffror. Och så plötsligt flyttar ett stort företag över kommungränsen och tar med sig alla utsläppen. Över en natt har den tidigare jättebra kommunen blivit skitdålig, och den skitdåliga jättebra. – Då kan man ju fråga sig hur användbar statistiken egentligen är, när den är utformad på det sättet.

Kontentan?

Var skeptisk till undersökningsresultat. Och vågra vägra svara på dåliga enkäter.