”The data detective”, Tim Harford

Oavsett vilken roll eller bransch vi pratar om blir världen mer och mer datadriven i takt med att allt kvantifieras. Inte nog med att dagens ledare får in mer statistik från verksamheten, de förväntas kunna tolka den för att säkerställa att kort- och långsiktiga beslut kan betraktas som databaserade. 

Även om boken är skriven för en global och allmän publik (Harford är trots allt en populärvetenskaplig rockstjärna) så drabbar många av de problem han tar upp i boken även chefer. För det första anser Harford att det finns alldeles för lite bra undervisning inom statistisk, både på grundskolenivå och på universitetsnivå. För det andra tar alla människor ibland tankemässiga genvägar när de tolkar information de får. För det tredje kommer det bara fler och fler aktörer som vill manipulera våra beslut genom att rama in information som objektiva data, när den egentligen är designad för att få mottagaren att komma till en viss slutsats.

Trots att de flesta av oss sedan länge lärt oss att skilja på korrelation och kausalitet, faller många fortfarande för detta enkla tankefel. Exempelvis förstärktes myten om att det är storkar som levererar barn, för mer än 200 år sedan, av det faktum att många såg ett samband mellan just mängden barn och mängden storkar i ett land. Den bakomliggande variabeln var det faktum att stora europeiska länder tenderar att ha både många storkar och barn.

Men även i modern tid har människans fallenhet för att blanda ihop vad som samvarierar (korrelation) och orsakar olika utfall (kausalitet) använts för att förvilla. Under förra århundrandet, när hälsoriskerna med rökning ännu inte klarlagts, användes just argumentet ”blanda inte ihop korrelation med kausalitet”, av tobaksindustrin – som inte ville kännas vid att deras produkter faktiskt just orsakar lungcancer. 

Här krävdes det två ihärdiga brittiska forskare vid namn Richard Doll och Austin Bradford Hill för att visa att rökning verkligen har ett kausalt samband med för tidig död. I en omfattande studie följde forskarna rökande läkare hela vägen till graven, och följde noga upp huruvida de slutade röka eller rökte ända fram till dess att de så att säga drog sitt sista bloss. 

Precis som skedde här i Sverige såg bokens författare Tim Harford hur covid-pandemin fick många människor världen över att ge sig in i statistiska debatter. Ordet hobbyepidemiolog florerade i fler länder än i Sverige. När allt fler utsattes för uppenbara manipulationsförsök kände Harford att han måste skriva en manual – och ett försvarstal – till ämnet som gjort honom känd. Nog för att uttrycket ”lögn, förbannad lögn och statistik” har en motsvarighet på många språk, men statistik kan också vara ett fantastiskt verktyg för den som vill fatta objektiva beslut, fria från fördomar och tankevurpor.

Det är den rollen Harford vill återupprätta genom att lära läsaren att utvärdera statistik med nyfikenhet och sund skepticism. Bra statistik är nämligen inte ett trick, utan ett verktyg som hjälper oss att se världen klarare. 

Här får du en sammanfattning av de mest användbara metoderna, med chefens vardag i åtanke.

Människan är konstruerad för att misstolka data

Innan vi går in på författarens tumregler för sunt användande av statistik är det på sin plats att förklara varför vi behöver den här boken. Människans hjärna har nämligen en tendens att själv fylla i luckor i information, vilket innebär att vi ofta ser och hör vad vi förväntar oss att se och höra. Det gäller också hur vi tolkar och minns data och statistik. Vi har en tendens att filtrera information baserat på våra förväntningar och känslor, vilket kan leda till att vi missförstår eller minns fel om faktiska data.

Det är en orsak till att det är lätt att tycka sig se trender som i själva verket inte finns där. Det kan handla om ett fenomen man hört om på en konferens som sedan tycks dyka upp i vart och vartannat samtal. Är det dessutom så att detta fenomen rimmar med en uppfattning du själv har sedan tidigare, då är det ännu större risk att du filtrerar bort andra data så att fenomenet i fråga upplevs som objektivt sett väldigt vanligt, så kallad bekräftelse-bias. Ledare som inte omger sig med personer av olika bakgrund och personer som inte vågar ifrågasätta, kan därför lätt fatta beslut som grundar sig i ett tankefel snarare än på objektiva fakta.

När vi människor dessutom ställs inför obekväma sanningar kan vi till och med omedvetet minnas fel för att undvika obehag. Vi kan till exempel minnas våra egna prognoser som mer korrekta än de faktiskt var. Våra känslor kan leda oss att filtrera bort även den mest grundläggande informationen. 

Nog för att det finns ledare som skrytsamt hävdar att de såg en trend långt innan den var uppenbar för alla, men det behöver inte vara ett tecken på extrem självgodhet. För de flesta av oss är det något av en överlevnadsmekanism att omedvetet skydda oss från alla de gånger vi haft fel genom att helt enkelt sålla bort minnet av dem.

Faktum är att till och med experter är dåliga på att se trender och sia om framtiden. Det beror delvis på att de har svårt att skilja mellan mer och mindre förutsägbara händelser, delvis på att de ofta missminner sig om sina egna förutsägelser. Det finns till och med ett akademiskt fält som följer just experter som, trots hjärnans alla svagheter, lyckats med konststycket att gång på gång göra korrekta bedömningar om framtiden. Självklart en färdighet som alla goda ledare borde ha, men hur?

Forskning visar att det inte behöver vara så svårt att bli en ”superbedömare”. Visst, det kräver att man är en öppensinnad person, men en av många egenskaper som dessa bedömare har gemensamt är en grundläggande förståelse för statistik, vilket du också strax ska få. De ser också sina åsikter som hypoteser att testa, snarare än sanningar de måste skydda – de är villiga att ändra sina åsikter i ljuset av ny bevisning eller nya argument. 

Nu ska vi se vad du behöver kunna för att själv bli en superbedömare.

1. Börja med att granska dina känslor

Tim Harford konstaterar alltså att vi människor har en tendens att tro på det vi vill tro på, oavsett faktaunderlag. I boken får berättelsen om Han van Meegeren, en nederländsk konstnär och författare, illustrera detta mänskliga drag. 

Van Meegeren gjorde sig en förmögenhet under andra världskriget genom att sälja tavlor av den nederländska konstnären Vermeer, vars mest kända verk är Flickan med pärlörhänge. Trots att van Meegerens hemland var ockuperat av Nazityskland levde konsthandlaren gott, eftersom hans kundgrupp bestod av ledare för nazistpartiet. 

Nu var det ju bara det att van Meegeren var förfalskare och hade alltså själv målat varenda en av de Vermeer-tavlor som köptes av bland andra Hermann Göring. Historien om van Meegeren illustrerar på flera sätt hur människor ogärna misstror en bra historia. 

Till att börja med var det ingen som gjorde jobbet att granska tavlornas äkthet. När kriget väl tog slut och väldigt många i Nederländerna ifrågasatte van Meegerens historia, vände han sin kappa efter den vinden. Han hade stått väldigt nära ockupationsmakten, men hävdade nu att hans förfalskningar var ett sätt att tyst revoltera mot ockupanterna. Van Meegeren blev därmed sedd som nationalhjälte och slapp också straff. 

På senare tid har det dock tydligt framkommit att han verkligen var en inbiten nazist och landsförrädare. Men i ett Nederländerna som slickade såren efter andra världskriget var det så många som behövde en hjältehistoria att de valde att bortse från alla sådana bevis för att i stället hylla van Meegerens ”konstkupp”.

Känslor är boven i dramat i den här historien, som så ofta när människors försök till en objektiv bedömning går fel. När vi ställs inför nya uppgifter måste vi därför alltid börja med att fråga oss själva: ”Hur får detta mig att känna?” På samma sätt som många i Nederländerna 1946 kände att van Meegerens egen förklaring gjorde dem lite stoltare, är det lätt att bli arg eller glad när vi möts av statistik. Att notera dessa känslor är viktigt – om vi inte gör det kommer vi omedvetet att använda statistiken för att få våra känslor att framstå som logiska.

I forskningssammanhang har man hittat flera exempel på det här draget hos människan, exempelvis genom studier där människor fått ta del av fakta om dödsstraff, klimatförändringar och ”fake news”. Deltagarna fick först uppge sina värderingsmässiga ståndpunkter. I studien visade det sig att dessa fungerade som ingångsvärden för hur de tolkade uppgifter om till exempel den globala uppvärmningen. Den som var klimatskeptiker hittade snabbt saker som stödde hens övertygelse i de texter deltagarna fick läsa, och vice versa. Alla kan falla offer för det här, men vi kan lära oss att kontrollera våra känslor och tänka klarare om vi är medvetna om hur bekräftelse-bias fungerar, när vi reagerar på ny information.

Precis som våra känslor påverkar bedömningar vi gör, påverkas vi också av de sociala konsekvenser som följer av en bedömning. Vi kan känna oss pressade att tro på vissa saker för att passa in bland kolleger, i ledningsgrupper och andra sammanhang. Människan är en social varelse och vår önskan att passa in och hålla en god stämning i gruppen är ofta starkare än vår önskan om att få uppgifter och tolkningar rätt. Även i en sådan situation är det värt att stanna upp när man möts av nya uppgifter och fråga sig hur man känner inför siffrorna, men också vilken tolkning ens kolleger helst vill att man ska göra.

2. Håll koll på dina erfarenheter

Ibland kan statistik ge oss en bättre förståelse för världen, men ibland kan den vilseleda oss. En risksituation är när statistik ger en bild av verkligheten som absolut inte stämmer överens med hur man själv upplever den. Vi behöver därför lära oss att se hur statistik kan strida mot vår erfarenhet.

Till exempel kan det bli problem när vi råkar ha erfarenhet av ett fenomen som är väldigt ovanligt. Här skapar vår upplevelse en konflikt med objektiva data. När personlig erfarenhet och statistik står i konflikt, kan en närmare titt på situationen visa varför personlig erfarenhet sannolikt är en opålitlig guide i det större sammanhanget. 

Boken lyfter fram fenomenet ”naiv realism”, vilket vem som helst kan drabbas av. Begreppet handlar om den där känslan att vi ser verkligheten som den verkligen är. Vi får för oss att vi är ofiltrerade, objektiva tolkare av världen, en inställning som lätt kan leda till oönskade överraskningar. Ett exempel är att vi blir förvånade när ett politiskt val inte faller ut som vi trott, trots att ”alla” i vår omgivning trodde på samma utfall – hur kunde resten av landet rösta annorlunda? 

Naiv realism är en kraftfull illusion, som kan få den mest rutinerade och resursstarka organisationen att bli tagen på sängen.

Varför begår vi så ofta detta fel? Psykologen och ekonomipristagaren Daniel Kahneman menar att när en människa ställs inför en svår fråga tenderar hen att ofta omedvetet i stället svara på en lättare fråga. I stället för att exempelvis svara på frågan: ”Är vi i en lågkonjunktur?” svarar man på den lite enklare frågan: ”Har jag nyligen hört någon säga att vi är i en lågkonjunktur?” 

En orsak till att vi så ofta går till våra erfarenheter i stället för till statistik är att det helt enkelt är svårt att förstå och minnas siffror, medan det är lättare att förstå känslor, bilder och upplevelser. Vill du hjälpa kolleger att inte drabbas av naiv realism bör du som ledare tänka till lite extra inför alla sammanhang när du kommunicerar just statistik. 

Författaren lyfter fram den svenske läkaren Hans Rosling som är en av vår tids bästa vetenskapskommunikatörer. Rosling värderade fakta högst av allt, men förstod att det var berättelsen han skapade utifrån statistiken som fick bland andra politiker att agera. Han kallade siffror för ”långsam statistik” och berättelserna för ”snabb statistik” och såg alltid till att få med båda. Det finns ingen enkel lösning för att hitta den perfekta balansen mellan den långsamma, rigorösa och torra insikt vi får från sifferstatistik, och de rika men smala lärdomar som kommer av våra erfarenheter. Vi måste helt enkelt fortsätta påminna oss själva om vad vi kanske missar. När det handlar om att förmedla statistik fungerar hård logik och personliga intryck bäst när de förstärker varandra. Förhoppningsvis hittar vi, likt Hans Rosling, ett sätt att kombinera det bästa av båda.

3. Definitionen före siffrorna

Statistik är ett kraftfullt verktyg för att förstå vår värld, men det är också komplicerat och kan lätt missförstås eller missbrukas. En av de största utmaningarna med statistik är att förstå vad som faktiskt mäts. Det kan till exempel verka som om det finns stora skillnader när vi jämför spädbarnsdödligheten i olika länder. Gräver vi djupare kan vi upptäcka att dessa skillnader beror på hur vi definierar ”levande födslar”. I vissa fall kan en graviditet som slutar vid 22 veckor räknas som en levande födelse följd av en tidig död, medan den i andra fall räknas som ett sent missfall. Detta kan skapa en illusion av skillnader där det egentligen inte finns några.

Samma fenomen uppstår när vi hör påståenden som ”barn som spelar våldsamma videospel är mer benägna att vara våldsamma i verkligheten”. Här måste vi fråga oss vad som menas med ”våldsamma videospel” och ”vara våldsamma i verkligheten”. Definitionerna av dessa termer kan variera kraftigt. Utan att förstå exakt vad som mäts kan vi inte bedöma sanningshalten i påståendet.

Den som inte lär sig att fråga efter de exakta definitionerna bakom statistiska påståenden kan lätt bli lurad. Även framstående välgörenhetsorganisationer, som brittiska Oxfam, har på senare år anklagats för att använda definitioner som gynnar deras kamp för en värld med minskade sociala klyftor. Även om Oxfams ändamål är nobelt, fick sig deras trovärdighet en törn när några statistiker synade en av deras mer spridda kampanjer där organisationen påstod att ”de 85 rikaste människorna besitter lika mycket rikedom som den fattigaste halvan av världen”. Nog för att klyftorna har vuxit, men siffran 85 kunde organisationen bara komma fram till genom en mycket snäv definition av rikedom. Bland annat fokuserade de väldigt mycket på lån, som bostadslån och studielån, och mindre på månadslön, vilket gjorde att många högavlönade personer med studieskulder och utan eget ägt boende hamnade i kategorin ”fattiga”.

Författarens rekommendation till läsaren är därför att vänta med att prata siffror. Börja aldrig ett föredrag med ett stycke statistik. Hjälp i stället läsaren att förstå sammanhanget, var öppen med hur du definierar olika variabler och kom sedan in med data som får fram din poäng. När du själv tar del av statistik använder du självklart samma metod: Fäst dig inte vid siffrorna för snabbt.

4. Zooma ut riktigt ordentligt 

Det är lätt att både skapa och falla för dramatiska rubriker som utgår från ett stycke fängslande statistik. Tim Harford berättar exempelvis i boken om en dag 2018 när nyheten spreds världen över att Londons mordfrekvens nu översteg New Yorks. Brittiska domedagsprofeter var inte sena med att förfasas, och många fick stort medieutrymme där de gång på gång använde statistiken för att bekräfta vad många kände – att saker och ting i Storbritannien går utför. På andra sidan Atlanten användes samma statistik av en helt annan grupp: De som tog tillfället i akt att hylla denna milstolpe i New Yorks kamp mot brottsligheten.

Problemet var bara att ingen av dem zoomade ut ordentligt. Hade de tittat på utvecklingen i ett längre perspektiv, skulle det snabbt ha blivit uppenbart att New York hade en väldigt bra månad, medan London hade en väldigt dålig. Just denna månad var det 14 som mördats i New York, men 15 i London. Om mordstatistiken hade presenterats som ackumulerade mord över en 12-månadersperiod, skulle det varit tydligt att New York har långt ifrån samma låga mordfrekvens som London. Författaren uppmanar läsaren att alltid zooma ut när hen möts av ny statistik. 

Samtidigt kan den som vill övertyga dig om något, exempelvis för att sälja något till dig, naturligtvis använda det här med utzoomning till sin fördel. Att sätta nya siffror i relation till historiska data om andra länder, branscher, enheter behöver inte vara en opartisk metod. Precis som vi människor gärna svarar på en enklare fråga när vi ställs inför en svår fråga, försöker vi göra statistik begriplig genom att sätta det i relation till något. Men detta något kan vara information som används med det enda syftet att vilseleda dig. Du gör därför rätt i att alltid zooma ut åt flera håll när du möts av siffror, och var kritisk när du gör det. Låt inte avsändaren ha kontrollen över jämförelserna.

5. Red ut bakgrunden först, reagera sen 

I denna tid, när allt fler verksamheter ska utgå från evidensbaserade metoder och se till modern forskning i sitt beslutsfattande, är det på sin plats att säga något om hur korrekt, modern forskning faktiskt går till. 

2005 slog det ner som en bomb när Stanfordprofessorn och meta-forskaren (alltså någon som forskar på forskning) John Ioannidis publicerade artikeln Why most published research findings are false. 

I korthet har Ioannidis och hans forskarkolleger visat hur vitt spridda forskningsresultat – som att människor ”paralyseras” av stora utbud, att vår uppmärksamhet är som en muskel som tröttas ut och hur man kan ”primea”, det vill säga prägla, människor – inte alls vilar på så solida fynd som man kan tro. Just ”priming” är ett begrepp som fått stor spridning inom marknadsföring. Det innebär att människors bedömning kan påverkas genom att de får se bilder eller ord som på ett omedvetet sätt styr deras associationer åt ett visst håll. Detta forskningsfynd har visat sig vara falskt.

I The data detective vill Tim Harford peka på två vanliga fenomen som kan få oss att luras av statistik. 

Det första är hämtat från den akademiska forskningen, men det återfinns också i arbetslivet. HARK är en akronym som står för ”hypothesizing after results known”. Bra forskning, oavsett om den är akademisk eller sker ute i samhället, går ut på att skapa en hypotes som sedan testas. Alltså: först hypotes, sedan test. De som ägnar sig åt så kallad ”harking” ställer antingen upp en mängd hypoteser, varpå de oftast hittar någon sorts resultat i de data som samlats in, eller så skapar de sin hypotes först när datainsamlingen är klar. 

Metaforskare har visat att väldigt mycket av den forskning som når allmänheten kommit fram just genom ”harking”, det gäller inte minst samhällsvetenskaplig forskning. Du gör därför klokt i att inte grunda viktiga beslut på forskning innan du gjort en noggrann genomgång av hur resultaten kom till.

Det andra fenomenet fångas av uttrycket ”historien skrivs av vinnarna”. På statistikspråk kallas fenomenet överlevnads-bias, och fångar just det faktum att det är de framgångsrika exemplen som får mest utrymme. Att dra alltför stora växlar på andra vinnande strategier, policyer på framgångsrika företag eller idéer som blivit virala, innebär en risk för att blanda ihop bra idéer med fall där personer och organisationer råkade ha tajmningen på sin sida, eller där något annat var den egentliga nyckeln till framgång. Tumregeln här är att låta bli att dra för stora slutsatser av framgångssagor som inte förtäljer exakt hur många andra som hade en liknande idé och ett liknande utförande, men av olika anledningar inte tog konceptet hela vägen till toppen.

6. Begär alltid AI-transparens

Nästa tumregel har aldrig varit viktigare, men är också mycket svår att leva efter. I en tid när allt fler avancerade algoritmer drar slutsatser utifrån allt större datamängder, måste slutanvändare kräva transparens av de verktyg som levererar statistiska analyser åt oss. Även om världen just nu är i början av en helt ny våg av verktyg som bygger på artificiell intelligens (AI), har statistiska analyser länge genererats åt oss av enorma datamängder. 

Bland de tidigare och mer kända exemplen är Googles tjänst Google Flu Trends. Här visade företaget att de genom att analysera 50 miljoner sökbegrepp kunde få en skrämmande korrekt bild över var nästa influensautbrott skulle ske. Precis som modernare AI-modeller, hade Google skapat en metod som helt enkelt bara drog statistiska samband mellan sökbegrepp och historiska data. 

Problemet var att teamet bakom Flu Trends aldrig riktigt förstod hur verktyget fungerade, det handlade trots allt som miljontals rader data. Efter ett par år med framgångsrika bedömningar missbedömde verktyget till slut ett influensautbrott fullkomligt. Ingen förstod riktigt varför, varpå företaget tog beslutet att pensionera Flu Trends tills vidare.

Ett annat algoritmbaserat problem, som faktiskt gick att förstå i efterhand, uppstod på megaföretaget Amazon för ett par år sedan. Som arbetsgivare för hundratusentals anställda försöker företaget ständigt optimera allt som rör kunder och personal. 

Ett projekt handlade om att förbättra rekryteringen på företaget. Med cv:n från medarbetare som historiskt sett lyckats väldigt bra på Amazon som underlag försökte de skapa en algoritm som skulle hitta kandidater vars bakgrund liknade framgångsrika medarbetares.

Problemet med algoritmen blev uppenbart först när den testades skarpt. Eftersom Amazon historiskt verkar ha premierat män när det kommer till avancemang i företaget blev det underlag algoritmen sållade fram väldigt snabbt mansdominerat. Även denna idé fick läggas på hyllan.

Det är värt att notera att även människor kan begå samma urvalsfel och att det, precis som en algoritm, kan vara svårt att få en vettig förklaring till varför en kollega fattar beslut som i efterhand visar sig vara snedvridna. Det här innebär självklart inte att vi inte ska kräva fullkomlig transparens från både människor och maskiner som gör viktiga bedömningar. Snarare tvärtom.

Trots utmaningarna har algoritmer och stora datamängder blivit ett viktigt verktyg i många sektorer. Vi måste alla förstå vad de data som algoritmerna bygger på kommer ifrån, och hur de kan användas. Frågorna vi ställer kring dessa lösningar bör inkludera information om underliggande data, hur algoritmen har utvärderats och om även oberoende experter har fått möjlighet att utvärdera den. Men även här krävs en dos av skepticism. Inte minst när vi möter överdrivna påståenden och ogrundad hysteri kring så kallad ”big data” och algoritmer. 

Sammanfattning

Människans förmåga att tolka data och statistik är alltså begränsad. Erfarenheter, förväntningar och förutfattade meningar gör det svårt att korrekt analysera och reagera på statistik. Vi tenderar att se, höra och till och med lukta det vi förväntar oss, vilket kan leda till att vi missförstår eller missuppfattar information.

Människan, hur anpassningsbar hon än är, har med andra ord inte vad som krävs för att vara en objektiv analysmaskin i alla lägen. Även ledare för de största och mäktigaste organisationerna kan ibland låta sina erfarenheter och personliga preferenser färga hur de tolkar statistik, inte sällan med utfallet att de tycker sig se en trend som egentligen inte finns. 

Boken är skriven för att ge läsaren något att luta sig mot när data ska analyseras, eller när hen själv ska presentera statistik – för att inte förvilla andra eller själv förvillas. Författarens röda tråd är budskapet att vi ska vara nyfikna. En skicklig datadetektiv ställer frågor till – och krav på – den statistik hen möter.

I ett alltmer specialiserat arbetsliv är det lätt att förlita sig på inköpta rapporter och slutsatser från en analysavdelning. Harford ser risker med denna utveckling: Att uppdelningen mellan de som utför datainsamlingen, de som gör analysen och de som fattar besluten minskar diskussionen om de förhållanden statistiken visar, och det i stället premieras att alla ”gör det som de är anställda för att göra”. 

Förhoppningen är att boken och dess tumregler triggar mängder av nyfikna samtal om de data vi möts av på jobbet, via nyheter, på sociala medier och så vidare.

Att få i gång sådana samtal kräver bara att du lär dig zooma ut, lägga märke till hur du reagerar på statistik, jämföra data på olika sätt och att du vågar fråga varifrån de kommer. Med bokens enkla tumregler kan vi alla ha fler datadrivna dialoger, med bättre beslut som en rimlig konsekvens.