Tag Archives: enkäter

När det neutrala kuvertet och loggan triggar ångest

Häromveckan fick jag ett brev från Region Skåne. Ett sånt där fönsterkuvert med hål dels för min adress, dels för deras logga.

Adresserat brev från Region Skåne. Det innebär i princip alltid något från vårdcentralen. Vad kunde det vara? Någon sorts kallelse? Några provsvar från något jag glömt? Något… läskigt?

Ja, det var där tankarna hamnade, väldigt kvickt. Givet utformningen – så där väldigt neutralt – var liksom det sannolikaste någon sorts brev från läkare. Och sådana kommer ju inte om de inte har något väldigt angeläget att säga.

Så jag hann tänka mååånga tankar under den där väldigt korta stunden innan jag öppnade brevet.

Det var info om en enkät de vill att jag ska besvara. Inloggningsuppgifter och klämkäck info i grönt. “Du har blivit slumpmässigt utvald…”

Det där att ha blivit smått skräckslagen under en kort stund gör inte att man känner sig mer lockad att gå in och svara på en enkät, faktiskt.

Av en händelse såg jag en facebookvän skriva något motsvarande. Han verkar ha fått samma utskick och hunnit tänka liknande tankar.

Nu häromdagen kom ett nytt likadant till mig. Och jag hann reflexmässigt hamna i samma tankebanor, innan tanken slog mig att det här skulle kunna vara något liknande. Och så var det just en påminnelse.

Men alltså: om man nu är en organisation som huvudsakligen skickar brev till privatpersoner när det är något från vårdcentralen, något som kan trigga jobbiga tankar, så kanske man ska fundera på att göra utskickets utseende mindre neutralt, liksom?

Det har gått någon sorts hysteri i utvärderingar

Vissa webbsidor kan man nästan aldrig gå in på utan att det poppar upp ett litet fönster framför, där jag – innan jag ens hunnit hitta in till något mer än startsidan – ombeds svara på min upplevelse av sidan. Vad sökte jag? Hittade jag det? Vad tycker jag om designen och strukturen på sidan? Och i vilken av alla mina möjliga roller var jag här just den här gången?

Går jag till vårdcentralen kommer det några veckor senare ett brev hem med frågor om hur jag upplevde besöket, bemötandet, just den läkaren, och så vidare. Svarar jag inte så kommer det en påminnelse ytterligare några veckor senare.

Ringer man försäkringsbolaget för att anmäla att man behöver använda assistansersättningen för bilen (dvs något ytterst okomplicerat) så kommer det också ett brev några veckor senare, där man ska svara på frågor om hur man bemöttes av någon i telefon.

Åker man på konferens ska det fyllas i utvärderingar om högt och lågt. Och efter att jag igår i jobbet skickade en fråga till en supportavdelning (externt) så får jag nu ett mejl där de vill att jag sätta betyg på servicen på supporten.

Ja, visst är det bra att ni vill veta om kunderna är nöjda. Men jag har annat att göra! Både privat och i jobbet har jag trots allt en begränsad mängd tid, och ännu viktigare en begränsad mängd ork. Och jag pallar faktiskt inte med alla dessa utvärderingar överallt och hela tiden. Jag vill ägna mig åt annat!

Och eftersom jag vet att de ju bara menar väl, så lägger jag breven åt sidan och låter mejlen ligga kvar i mejlboxen och tänker att jag kanske hinner någon annan dag – och så spär de istället på det konstanta dåliga samvetet.

Måste vi verkligen utvärdera så mycket hela tiden?

Uppföljning undersökning

Fortsättning medborgarundersökning.

Jag mejlade faktiskt till undersökningssupporten och förklarade att jag inte kunde komma förbi fråga 2. Och jag fick svar! Tydligen ingår just den frågan i ett urval av frågor från VTI om hållbart resande 2014, och frågorna från VTI är med för att kunna jämföra skåningarnas svar med resultat från andra håll. Så den dåliga frågan var inte Region Skånes fel :-) Dessutom fick jag veta att de så gärna vill att jag faktiskt svarar på enkäten att de faktiskt lovar att manuellt plocka bort mitt svar på just den frågan (eftersom jag inte ansåg den gick att svara på med de alternativen) efter att jag svarat klart och innan den avidentifieras.

Med det engagemanget fortsatte jag förstås att svara :-)

Den här frågan kan man ju tycka borde vara en drömfråga – men jag lämnade i slutändan blankt på den, för jag kunde inte alls komma på vad jag faktiskt skulle tycka skulle göra riktigt stor skillnad:
ga

Den här frågan hade jag också lite svårt för. Om jag skulle börja cykla till jobbet – en resa på grovt räknat 5 mil enkel resa – så är inte den relevanta frågan hurpass acceptabelt det är utan hur galen jag är :-)

Skärmbild_2015-11-04_19-49-21

Men men. Nu har jag i alla fall gjort mitt och svarat på undersökningen.

Statistik och undersökningar – kan man lita på sånt?

Idag kan man läsa i olika tidningar om att svenskar blivit bättre på att panta burkar och flaskor – 2011 pantade vi mer än någonsin. Och så jämför man olika län och olika kommuner.

Fast det handlar bara om antal pantade burkar och flaskor. Det framgår ingenstans hur stor andel av sålda burkar och flaskor som pantas. Ökningen skulle alltså helt och hållet kunna handla om att folk köper fler burkar och flaskor. (Nej, det vet jag inte om folk gör. Det skulle kunna vara så.) Och de kommuner som har väldigt lågt antal pantade burkar per capita skulle kunna vara bättre på pantning, sett till andel, för deras låga siffra kan ju bero på att de köper färre burkar och flaskor.

Detta får vi inte veta. Det är mycket möjligt att Returpack inte har en aning, och det är förstås i vilket fall som helst inte deras sak att räkna på. Men det gör att jag egentligen inte alls kan veta om nyheten är bra eller dålig.

I dagarna har jag för övrigt fyllt i årets enkät från dagis (eller ja, från kommunen, angående dagis). Nu ska jag inte peka ut just dagis eller kommunen, jag har träffat på många lika dåliga enkäter, men det är det senaste tydliga exemplet på riktigt dålig enkät.

Bland annat hade den många många frågor där man skulle värdera något på en tiogradig skala. Tiogradig! Hur skiljer man på saker som får en sjua och en åtta? Varför är det alls motiverat att ha så många betygssteg? Speciellt när det handlar om saker som är väldigt svåra att bedöma. Som hur personalen hanterar tendenser till mobbing eller hur de bemöter mitt barns behov av ditten eller datten. Hur jag i slutändan väljer att sätta siffror på en så löjligt detaljerad skala beror ju på en massa saker. Inte minst mitt humör just för dagen, min allmänna livsinställning (optimist eller pessimist, försiktig eller mer framåt och katig) och inte minst den allmänna uttråkning som ökar ju fler meningslösa frågor av liknande slag man tvingats svara på.

Många av sakerna är ju dessutom saker som jag verkligen verkligen inte kan svara på. För att jag inte har en aning. För att det till exempel aldrig varit relevant. Hur svårt tycker jag att det är att nå förskolechefen på en skala på ett till tio? Ja, hur sjutton ska jag veta när jag aldrig försökt?! I andra frågor är jag istället osäker på hur frågan ska tolkas. Då behövs en möjlighet att kryssa “Vet ej” eller nåt sånt. Det fanns det ingenstans i dagisenkäten (och det är tyvärr ganska vanligt). Ingenstans i enkäten (tyvärr lika vanligt) fanns det fritextfält, så jag kunde inte heller skriva en allmän beklagan eller förklaring kring osäkerheten i mina svar.

Det finns alltså ingen möjlighet att fylla i enkäten på ett korrekt sätt.

Det hemska är att utifrån den här sortens enkäter dras det en massa slutsatser! Trots att tillförlitligheten är lika med noll.

Det är skrämmande. Dåligt utformade enkäter kan användas till att bevisa precis vad som helst.

Enkäten som var underlig till rapporten om klimatosäkerheten i kommuner verkade på det hela ha varit ganska genomtänkt. Man hade grunnat länge på frågeställningar och hur de skulle användas och hur det skulle bli jämförbart med andra undersökningar. Ändå blev det inte helt lyckat. Ett av påståendena enkätbesvararna skulle ta ställning till var “Det finns inget tvivel om att klimatet förändras”. Väldigt öppet för tolkning. Rapportförfattarna avsåg tydligen tvivel hos den som svarade på enkäten. Men de som svarade kan ju lika gärna ha svarat på om det överhuvudtaget i världen finns tvivel=folk som tvivlar. och det gör det ju. (Det finns mer att säga om tolkningarna av denna enkät, men jag har redan skrivit om det, så det får räcka.)

Jag tycker  annars att det kan vara väldigt kul att svara på undersökningar, och jag ser (som kanske ibland märks) en poäng med att min åsikt syns. Därför gick jag för ett tag med i Yougov:s panel.

Deras enkäter är i de flesta fall verkligen usla. Väldigt ofta inga vettiga svarsalternativ, ingen möjlighet att kommentera, inget vet ej/ingen åsikt-alternativ, och så vidare. Och värst av allt: många av undersökningarna är inget annat än dåligt förtäckt reklam :-(

Häromsistens skulle jag till exempel svara på frågor om vilket knäckebröd jag skulle välja om jag stod i affären, och så fanns det en vy med olika knäckebröd i en knäckebrödshylla. Men de hade förstås inte alla de knäckebrödssorter som finns i affären. Och inget normalt ekologiskt knäckebröd. Ändå var man tvungen att svara på vad man skulle ha valt.

Det stod också att man skulle kunna “plocka ner” dem från den virtuella “hyllan” för att titta på dem, precis som i affären. Men det innebar bara att få paketet i förstoring. Det gick inte att vända på det för att läsa innehållsförteckningen – vilket ju är det jag normalt sett gör när jag plockar ner ett paket från hyllan för att titta närmre på det. Det skulle jag normalt sett alltid göra. Det är ju inte designen som är relevant. Men de förväntar sig alltså att jag ska köpa saker i blindo.

Slutligen ville de att jag skulle svara på ett stort antal frågor om det här märkets olika knäckebrödssorter. Det var väldigt uppenbart att de ville tvinga mig att titta närmre på alla deras sorter. Och ingenstans i “undersökningen” fanns möjlighet att hoppa över frågorna, eller svara att jag inte skulle köpa någon alls av dem.

Den här modellen med hylla, tvånget att välja produkter bland ett ickeautentiskt utbud, och så vidare, är en återkommande variant i yougov:s undersökningar. Tydlig produktplacering och reklam. Men de kör också ett antal andra varianter som också helt uppenbart mer handlar om att nöta in utseeendet på förpackningar än att de faktiskt vill veta något.

Jag tycker det är fult. Mycket fult. Därför ignorerar jag numera mejl om undersökningar från Yougov. Jag betraktar dem inte som ett seriöst undersökningsföretag.

För att nu försöka knyta ihop detta röriga inlägg en aning (jag måste snart sova) så ska jag nu återvända till statistik.

Låt oss ta till exempel utsläppsstatistik. Utsläpp som fördelas per kommun, och sedan dessutom per capita i kommunen. Utsläpp som man från kommunernas sida jobbar hårt på att få ner.

Och så har vi två grannkommuner – den ena med jättebra siffror, som de är stolta över, den andra med rätt dåliga siffror. Och så plötsligt flyttar ett stort företag över kommungränsen och tar med sig alla utsläppen. Över en natt har den tidigare jättebra kommunen blivit skitdålig, och den skitdåliga jättebra. – Då kan man ju fråga sig hur användbar statistiken egentligen är, när den är utformad på det sättet.

Kontentan?

Var skeptisk till undersökningsresultat. Och vågra vägra svara på dåliga enkäter.

DN presenterade de resultat som fanns i webbnyheten – rapporten fanns ännu inte att tillgå

Igår kunde man läsa i DN om att 6 av 10 kommunpolitiker och liknande är klimatskeptiker och 1 av 10 klimatförnekare:

Kommunpolitikerna tvivlar på klimathotet

Publicerad 2012-05-07 06:46

Sex av tio svenska kommun- politiker och chefer är klimatskeptiker. En av tio förnekar dessutom den globala uppvärmningen helt. “Det är klart att det inte är bra. De här personerna känner ju att de inte behöver ta ansvar för miljöarbetet i sin kommun”, säger Annika Carlsson-Kanyama, FOI.

Global uppvärmning är ett säkerhetsproblem för Sverige, det måste alla ta på allvar, anser hon. Det handlar till exempel om att planera för översvämningar.

Totalförsvarets forskningsinstitut, FOI, har gjort en stor undersökning om hur kommunala beslutsfattare ser på klimatförändringen.

Resultatet blev en kraftig överraskning för rapportförfattarna: totalt 70 procent av de svarande tvivlar starkt på klimatförändringen – drygt 9 procent är klimatförnekare och hela 61 procent är tveksamma till om människan orsakat jordens uppvärmning.

Och det trots att “observationer entydigt pekar på att klimatet förändras, och att de ledande klimatforskarna är helt överens om att den förändring som skett är i huvudsak orsakad av människan”, skriver FOI i rapporten.

I klartext: Sammantaget sju av tio kommunala beslutsfattare tror inte på vetenskap i det här fallet.

Annika Carlsson-Kanyama är forskningschef för klimat- och energifrågor på FOI och står bakom rapporten.

-“‰Jag kan bli arg på att det finns grupper som sprider uppfattningen att forskning om klimatet inte går att lita på, säger hon.

Klimatförnekare är ofta “en man i en liten kommun med konservativ hållning” medan “den klimatövertygade” är “kvinna i en större kommun och är miljöpartist”, enligt rapporten.

Kommunala chefer och politiker ser dessutom mindre allvarligt än allmänheten på utmaningarna för Sverige och ännu mindre allvarligt på utmaningarna för kommunen. Det mönstret är detsamma för både klimatförnekare och klimatövertygade.

Den som är skeptisk är förstås mindre benägen att göra något för att minska utsläppen av koldioxid i sin kommun, enligt FOI. “Förnekarna är de som gjort minst”, skriver myndigheten. Ändå är klimatanpassning på kommunal nivå oerhört viktig för samhället, enligt FOI.

Lägger man ihop uteblivna åtgärder från klimatförnekare i hela landet blir förstås effekten tydlig, anser Annika Carlsson-Kanyama.

-“‰Att chefer och politiker inte ser sitt ansvar för Sverige, det har jag faktiskt svårt att förstå, säger hon.

Enkäten gick till politiker och chefer i 63 svenska kommuner. 2″‰389 personer svarade.

Idag får DN kritik från skilda håll kritik för att detta inte stämmer med rapportens innehåll. Supermiljöbloggen skriver:

Siffrorna kommer ifrån en ny rapport ifrån Försvarets Forskningsinstitut FOI, som gav tre påståenden till kommunpolitikerna:

1. Det finns inget tvivel om att klimatet förändras

2. Jag tror att det sker en klimatförändring

3. Människan påverkar klimatet i betydande omfattning

De ombads svara på en skala från 1 till 5 där 1 var “instämmer inte alls” och 5 var “instämmer helt”. Bara de som svarade 5 på samtliga tre frågor räknades som övertygade. De som hade ett medel under tre räknades som förnekare och de som låg mellan tre och fem räknades som osäkra. Du kunde alltså markera två femmor och en fyra och ändå räknas som osäker och enligt DN vara en av de 70 % som “tvivlar starkt på klimatförändringen”.

Nu är det visserligen så att de tre frågorna enkäten ställde råder det väldigt lite tvivel om. Men om vi tänker oss att många politiker inte är så insatta och därför satte en fyra för att hålla öppet för att hen inte vet allt så framträder en annan bild. Närmare 80 % hade svarsalternativ 4 eller 5 på alla frågor, alltså instämmer helt, eller till stor del på påståendet.

Rapporten ger ännu fler exempel på att politikerna faktiskt bryr sig. Politikerna och tjänstemännen pekar ut klimatförändringarna som det näst allvarligaste hotet i världen just nu, efter brist på mat och dricksvatten. Runt 40 % tycker att det är för lite fokus på klimatfrågor i sin kommun, nästan ingen tycker det är för stort.

Den bild som framställts i media är alltså klart vinklad, och dessutom cirkulerar det direkt felaktiga uppgifter, som när DN skriver att 60 % av kommunpolitikerna är klimatskeptiker. I rapporten används inte termen klimatskeptiker, de pratar om förnekare och osäkra. Förnekarna utgör cirka 10 % av gruppen.

I rapportens sammanfattning står det att 70 % inte är helt övertygade om att klimatet förändras (alltså har kryssat i 1 – 4) på någon av de tre frågorna. Den här uppgiften i rapporten väljer DN att omtolka från “är inte helt övertygade om att klimatet förändras” till “tvivlar starkt på att klimatet förändras”. Ganska stark glidning där kan man lugnt säga.

Men det som är viktigt att notera är att det inte är DN som hittat på siffrorna och tolkningen. Informationen är hämtat från FOI:s webbnyhetstext:

Kommuner ser olika på klimatförändringarna

[2012-05-07]

FOI-programmet Climatools kommer nu med en ny rapport om synen på klimatförändringarna. Rapporten bygger på en enkätundersökning till kommunpolitiker och chefer i svenska kommuner.

Synen på förändringarna i klimatet, klimatanpassning och behovet av klimatinformation skiljer sig åt. I enkätundersökningen har chefer och kommunala politiker delats in i tre grupper; klimatövertygade (30 procent), osäkra (61 procent) och de som inte tror på klimatförändringar (9 procent) utifrån hur de ser på klimatförändringen och människans roll i den.

Det finns ett tydligt samband mellan synen på klimatförändringarna och de åtgärder kommunerna vidtar för anpassning till ett förändrat klimat. Kommunala chefer och politiker tar generellt sett klimatförändringarna i världen som helhet på ett större allvar än klimatförändringarna i Sverige.

Rapporten snart klar

Rapporten “Kommunpolitikers och kommunchefers syn på klimatförändring och anpassningsbehov” huvudförfattare Annika Carlsson Kanyama, publiceras i tryckt format senare i denna vecka.

Senare under dagen igår lades rapporten ut.  Och när man läser rapporten får man alltså den info som supermiljöbloggen nu presenterar. Men grejen är att denna info fanns inte att tillgå när DN skrev sin artikel.

Visst, DN kunde gjort bättre research. Men de verkar ju ha talat med Annika Carlsson-Kanyama?

Det som är tveksamt i den här historien är faktiskt FOI:s tolkning av enkätundersökningen så som resultatet beskrevs i webbnyheten. Tycker jag.

(Och det här med dåliga enkäter och övertolkningar av resultaten har jag ändå tänkt skriva om. Det börjar kanske bli dags att skriva det inlägget.)