wordpress-21-09

”Brus”, Daniel Kahneman, Cass Sunstein, Olivier Sibony

Brus är alla saker som stör när du och din organisation ska göra en bedömning. I boken, som redan är en modern klassiker med sin tunga författartrio med Daniel Kahneman i spetsen, får du viktiga insikter om vår oförmåga att fatta bra beslut och varför. Men framför allt konkreta metoder för att undvika felbedömningar och reducera brus.

Engels titel: Noise.

Nyhet! Lyssna eller läs i Chefboken-appen

Du har väl inte missat nya Chefboken-appen? Appen ingår i din Chefboken-prenumeration och gör det enklare att läsa och lyssna, oavsett var du är. Du kan ladda ned ljudfiler för offlinelyssning och spara böcker i ditt personliga bibliotek. Det är enkelt att komma igång: Ladda ned appen ”Chefboken” i App Store eller Google Play – du loggar in precis som på Chef.se.
Läs mer om Chefboken-appen här.

Därför valde vi den här boken

Brus kommer sannolikt att bli en modern klassiker likt böckerna Nudge och Tänka snabbt och långsamt. Många arbetsuppgifter har sedan länge rationaliserats bort, vilket lett till att en specifik förmåga blivit allt viktigare för chefer: Att kunna göra goda bedömningar. Att fatta informerade beslut är centralt för ledare och organisationer. Kunskapen från denna bok hjälper läsaren att förstå sina begränsningar och vilka aspekter som riskerar att försämra ens beslut – men också vad vi kan göra för att fatta bättre beslut.

Tre saker du lär dig av att läsa boken

  1. Ett fenomen som har minst lika stor effekt på bedömningar och beslut som det mer välbekanta bias har.
  2. Hur du identifierar hur mycket brus som finns i din organisation, alltså hur stor den oönskade variabiliteten i era bedömningar är.
  3. Hur du skapar strukturer vid exempelvis rekrytering för att undvika att viktiga beslut påverkats av brus.

Om författarna – ett psykologiskt dream team

På många sätt behöver trion bakom denna bok ingen närmare beskrivning, då alla tre varit med och revolutionerat såväl beteendevetenskapen som organisationspsykologin. Daniel Kahneman (bild), av många ansedd som en av de viktigaste psykologerna någonsin, har exempelvis varit med och skapat forskningsfältet beteendeekonomi. I boken Tänka snabbt och långsamt delade han med sig av sina slutsatser, något som omfamnats av miljontals läsare.

Juridikprofessorn Cass Sunstein är inte bara världens mest citerade sådan, han är även medförfattare till boken Nudge (och ytterligare ett 30-tal). Det senaste decenniet har han agerat rådgivare till både president Barack Obama och president Joe Biden. På många sätt är det tack vare Sunstein som tillämpad beteendevetenskap fått en allt starkare position hos organisationer.

Olivier Sibony, ”doldisen” i sammanhanget, har även han tunga meriter i ryggen. I dag är han professor vid handelshögskolan HEC i Paris och hyllad författare av managementlitteratur. Innan han klev in i det akademiska finrummet hade han en 25 år lång karriär på McKinsey där han innehaft ledande befattningar i Paris och New York.

I ett samtal med en av sina medförfattare ska den alltid så blygsamma Daniel Kahneman ha sagt att han just nu gick och arbetade på en väldigt stor idé, kanske sin största någonsin. Ett koncept så stort att han var övertygad om att det var detta han skulle ägna resten av sitt liv åt.

Åtta år senare var han och hans medförfattare klara med boken Brus, som utforskar fenomenet med samma namn. Samtliga tre författare har alla bidragit till att göra begreppet bias till en vedertagen term.

En bias kan ses som ett systematiskt snedtänk, som på ett ganska förutsägbart vis påverkar våra bedömningar till det sämre. Personer som är övertygade om att en viss strategisk inriktning är den rätta kommer på ett närmast omedvetet sätt att bara notera information som bekräftar att de har rätt. De kan således anses ha drabbats av så kallad konfirmeringsbias.

En person som systematiskt bedömer kandidater av motsatt kön lägre drabbas å sin sida av en annan, mycket mer allvarlig bias.

Bias är lätt att förstå, lätt att ta på allvar, lätt att identifiera och således lätt att eliminera. Detsamma gäller tyvärr inte brus, menar författarna, trots att brus bidrar till minst lika mycket dåliga bedömningar. Bias är systematiskt och förutsägbart, brus är varierande och oförutsägbart. Bias är främst något som finns hos individer, medan brus är något som främst påverkar organisationer.

Men som du kommer att se längre in i sammanfattningen går det att reducera brus, något som är angeläget då brus påverkar alla typer av bedömningar – och mycket mer än du tror.

För att cementera skillnaden mellan bias och brus inleds boken med bilder på två olika piltavlor. Den första visar en piltavla med fem pilar. Ingen av dessa har träffat mitt i prick, utan har samlats i ett prydligt kluster strax utanför tavlans mitt. Den andra piltavlan, däremot, uppvisar i stället pilar som träffat tavlan lite huller om buller.

Tavla nummer ett symboliserar bias, alltså en typ av miss som sker på samma sätt, kast efter kast. Tavla nummer två symboliserar brus, med en rad missar utan något som helst mönster. Båda felen är viktiga att korrigera, men precis som med piltavlorna är det lättare att se när en bedömning lider av bias än av brus.

Ordet bedömning nämns frekvent i boken så en definition är på sin plats. När författarna talar om bedömningar så menar de ”en sorts mätning där instrumentet är det mänskliga intellektet”.

Med den definitionen i ryggen blir det uppenbart att bedömningar är en central del av chefers vardag. Oavsett roll, bransch eller erfarenhet finns det i dag mer brus i dina och dina medarbetares bedömningar än ni kan föreställa er.

Här är exempel på några av de brusfyllda bedömningar som författarna identifierat i sin forskning:

  • Brus återfinns i alla typer av bedömningar inom medicin, från diagnostisering av diverse cancerdiagnoser, till psykiatriska utlåtanden. Studier visar alltså att variationen mellan läkares bedömning av en och samma patient kan se helt olika ut.
  • Alla typer av prognoser är brusiga. När en grupp programutvecklare ombads skatta tidsåtgången för att utveckla en mjukvara varierade deras skattningar med i genomsnitt 71 procent!
  • Även asylbeslut är brusiga. I en stor studie som jämförde amerikanska domares beslut visade det sig att de hårdaste domarna beviljade asyl i fem procent av fallen medan de mest generösa godkände 88 procent av alla ansökningar.
  • Patentansökningar präglas också av samma typ av roulette (ett ord som författarna ofta använder för att beskriva brusiga bedömningar) eftersom om en ansökan godkänns eller inte beror på vilken handläggare som fattar beslutet.

Värt att notera är att de flesta studier som nämns i boken är amerikanska sådana, vilket inte på något sätt bör öppna upp för en diskussion om huruvida brus främst är något som drabbar amerikanska prognosmakare, domare, skadereglerare och så vidare. Där det sker bedömningar finns det brus, och mer än vi kan ana – oavsett i vilket land bedömningarna äger rum. 

Brusets beståndsdelar

Bias och brus påverkar alltså beslut negativt. Men det är mer komplicerat än så då just brus, ibland även kallat systembrus, i sin tur består av två typer av brus: nivåbrus och mönsterbrus. Det sistnämnda går dessutom att bryta ner i stabilt mönsterbrus och situationsbrus.

Du behöver inte kunna brusets beståndsdelar som ett rinnande vatten, men att ha definitionerna lättillgängliga gör det enklare att förstå exakt vilka problem din organisation eller arbetsgrupp har när det gäller bedömningar.

Här en kortare sammanfattning av brusets beståndsdelar:

  • Nivåbrus är den variation som sker i olika individers bedömningar. Vissa kolleger är till exempel betydligt mer optimistiska när de ska uppskatta tidsåtgång för ett projekt medan andra är mer negativa. Speciellt bedömningar där otydliga skalor används (exempelvis ”lite”, ”lagom”, ”mycket” eller ”0–7”) öppnar upp för nivåbrus då begreppens innebörd ofta är olika för olika individer.
  • Mönsterbrus handlar i stället om olika bedömares personliga reaktioner på en och samma situation. I studier utförda av bokens författare har de exempelvis kunnat visa hur domare (i USA) är olika stränga mot samma typ av brott: För vissa är snatteri mycket allvarligt medan andra är milda när de dömer snattare.
  • En del av mönsterbruset är stabilt, och kallas således för just stabilt mönsterbrus. Bruset är stabilt då det i viss mån går att förutse hur vissa bedömare kommer att reagera på specifika situationer eller på vissa fakta. En kollega kan exempelvis systematiskt övervärdera fakta som kommer från en specifik källa, medan en annan systematiskt avfärdar samma källa.
  • Slutligen brusets mest tillfälliga komponent – situationsbruset. Det är situationsbruset som ligger bakom de felaktiga bedömningar som Kahneman och de andra pekar på i sina studier kring hur domare dömer ut hårdare straff strax innan lunch och mot slutet av dagen. Det är också tal om situationsbrus när en kandidat får ett orimligt negativt omdöme av en rekryterare bara för att det regnade när rekryteraren var på väg till arbetet.

Brus och bias har alltså likvärdiga roller när det kommer till att förklara avvikelser och felaktiga bedömningar. Historiskt sett har det varit enklare och vanligare att bias används som den främsta förklaringsmodellen. Anledningen är att det är lättare att i efterhand se och acceptera en bias som förklaringsmodell. Att mena att en kvinnlig kandidat valts bort på grund av könsbias hos bedömarna är betydligt lättare att acceptera än förklaringar som har med brus att göra, menar författarna. För vem vill exempelvis tro att ledningsgruppens beslut delvis påverkades av det faktum att det under tiden för beslutet var exceptionellt vackert väder?

Arbetsgruppen – en brusförstärkare

Ett återkommande råd för att minska brus är att inte lämna viktiga bedömningar åt enskilda individer, utan i stället låta dessa göras av grupper. En sammanvägning av flera individers bedömningar är med andra ord alltid mer brusfri än enskilda bedömningar. Samtidigt och trots detta vill författarna lyfta ett varningens finger när det gäller just arbetsgruppen, på grund av att den också har en förmåga att på vissa sätt öka bruset.

Men hur kan kollektiva bedömningar både vara lösningen och en riskfaktor?

I mångt och mycket handlar det om hur gruppen går tillväga när de fattar viktiga beslut. Görs det fel kan två farliga psykologiska krafter släppas lösa:

Den första kraften går under namnet kaskader och handlar om hur en individs yttrande riskerar att färga vad nästa person kommer att säga, vilket i sin tur påverkar personen efter, och så vidare. Så kallade informationskaskader kan exempelvis uppstå i ett samtal kring en potentiell rekrytering. En grupp chefer ses för att diskutera de tre huvudkandidaterna. Den första som yttrar sig talar starkt för kandidat ett, vilket får nästa person på tur att bli lite osäker och då väljer att lita på den första talarens omdöme. Situationer som denna är med andra ord som gjorda för att innehålla en hel del situationsbrus.

Den andra kraften är så kallad gruppolarisering, ett välbeforskat tema inom socialpsykologin. Till skillnad från kaskader handlar det här inte om att en individs åsikt spiller över och färgar av sig på nästa. I stället är gruppen här redan av samma uppfattning och tenderar att skruva sina åsikter mot det mer extrema. Studier har exempelvis visat hur politiskt likasinnade tar fram varandras mer extrema åsikter och gruppen sluter således upp med en ståndpunkt mer extrem än respektive medlem hade innan frågan började diskuteras. Samma effekt har dokumenterats när juryer ska fatta beslut om skadestånd. Svarar medlemmarna individuellt blir skadestånden betydligt mindre än om medlemmarna ska diskutera sig fram till ett rimligt belopp.

Så även om kollektiva beslut är mindre brusfyllda än individuella, krävs det att gruppen har rätt process för att göra sina bedömningar för att undvika dessa fallgropar.

Vägen mot mindre brus och bättre bedömningar

Det moderna arbetslivet har sedan länge gått mot hyperspecialisering där experter och deras omdömen blir allt viktigare. Då experter just gör bedömningar, snarare än beräkningar, är det i princip omöjligt att göra bedömningar utan minsta lilla brus. En mer långsiktig lösning på problemet kan vara att överlåta vissa bedömningar åt algoritmer, något som beskrivs utförligare i slutet av denna bok.

Men då mer maskinbaserade lösningar både är dyra och för med sig vissa risker, är det rimligt att anta att de flesta organisationer alltid kommer att vara beroende av mänskliga bedömningar. Därför är den första åtgärden för alla organisationer att utföra en så kallad brusinventering.

Vi återkommer snart exakt till hur en sådan går till, men sammanfattningsvis handlar en brusinventering om en process där flera av organisationens medarbetare utför en och samma bedömning. Det kan exempelvis vara projektledare som uppskattar tidsåtgång för ett fiktivt projekt. Eller att en grupp handläggare utför en bedömning av ett och samma fall.

När arbetsplatsens brusinventering är klar blir det tydligt hur mycket brus som finns i bedömningarna. Nästa steg blir därför att vidta åtgärder som rensar bort bias respektive åtgärder som minimerar mängden brus.

Bias reduceras på två sätt:

  • Det första heter ex post, det vill säga att korrigera en bedömning i efterhand. En klassisk ex post är att de flesta team justerar upp bedömningar kring tidsåtgång. En justering eftersom de vet att många är oförmögna att förstå hur lång tid saker och ting egentligen tar, och att när vi planerar är vi lätt överoptimistiska.
  • Det andra heter ex ante, och innebär i stället att man åtgärdar problemet innan en bedömning utförs. Den här metoden kan dels innebära att beslutsfattare lär sig om hur olika bias kan komma att påverka framtida beslut. Det kan också handla om knep som rentav utnyttjar diverse bias. Knepen, som också kallas knuffar, kan exempelvis vara åtgärder som leder till att ett visst beslut lättare fattas. Att starta ett automatiskt månadssparande från en del av lönen åt nyanställda för öka sannolikheten att de regelbundet sparar, är ett av de kändaste exemplen på en ex ante-lösning.

Lösningen på brusiga bedömningar är att en rad olika aktiviteter införs för att uppnå god beslutshygien. Precis som en arbetsplats har rutiner för god hygien (tvätta händer, stanna hemma om du är sjuk, ställ undan din disk etc.) måste rutiner för beslutshygien också införas, menar författarna.

För att se till att din organisation har god beslutshygien bör följande tre råd följas:

  1. Sekvensering av information. Mer information är inte nödvändigtvis bättre, i synnerhet inte när en bedömare får all information serverad vid ett och samma tillfälle. Om bedömaren först måste ta sig igenom mer eller mindre relevant information innan den kan utföra en rad bedömningar ökar risken för brus. Lösningen? Försök att endast förse bedömaren med den information som är nödvändig för att utföra den aktuella delbedömningen.
  2. Fördröj intuition. Om man läser boken Brus slarvigt kan man få intrycket att människor och vår magkänsla aldrig går att lita på. Men så är inte fallet. Det är de snabba bedömningarna som författarna opponerar sig emot. Bedömningar som sker innan nödvändig information processats och som i stället då kommer att färga hur alla tillgängliga data tolkas. Intuition behöver inte förbjudas, men det är först när beslutet närmar sig som samtliga bedömare bör få yttra vad deras intuition säger.
  3. Inför regler och mekaniska förfaranden. En bedömning är som sagt inte samma sak som en beräkning. Det förstnämnda kommer således alltid att föra med sig en aning brus, medan det sistnämnda i princip kan vara brusfritt. Organisationer bör därför försöka införa så många mekaniska förfaranden som möjligt. Från enkla regler som ”vid x gör y”, till betydligt mer avancerade maskin-algoritmer.

Författarna är medvetna om att deras råd om att införa fler maskinstyrda regler kring beslut lätt väcker negativa känslor, vilket också är varför så få människor och organisationer låter algoritmer fatta viktiga beslut. Förklaringarna till ”regelskepsisen” är många (vi är rädda att ersättas av teknik, vi förstår inte tekniken, vi ogillar datorer och så vidare) men den viktigaste orsaken är att människor inte ställer samma krav på människor som de gör på algoritmer.

I mångt och mycket förväntar sig människor att maskiner ska vara felfria, vilket också är varför många faktiskt är villiga att testa att ta råd från en algoritm. Om ett sådant råd skulle visa sig vara felaktigt får algoritmen sällan en andra chans. Trots att mänskliga bedömare ofta är sämre har vi inte samma krav på korrekthet när det gäller våra medmänniskor som vi har på beslutsalgoritmer, är författarnas poäng.

 

Så gör du en brusinventering

För att synliggöra det brus som finns i just din organisation, uppmanar författarna att du gör en så kallad brusinventering. Detta kan ses som ett systematiskt och anonymt förfarande där ett stort antal anställda får utföra en bedömning kring ett konstruerat, men verksamhetsrelevant, praktikfall.

Syftet är att upptäcka hur stora skillnaderna är i bedömningar mellan organisationens experter för att sedan, om dessa visar sig vara stora, göra något åt bruset.

Så går en brusinventering till:

  1. Börja med att utse alla relevanta roller, så som projektgrupp (ni som leder inventeringen), klienter (mottagarna av resultatet, förslagsvis ledningen) och bedömare (de anställda som utför själva bedömningen).
  2. Utforma ett praktikfall som de anställda ska bedöma. Det kan handla om en fiktiv rekrytering, att uppskatta kostnaden för en skada eller ett projekt, eller (för domare) straffsatsen för ett brott.
  3. Involvera klienterna och be dem uppge följande efter att ha läst praktikfallet: Hur stor oenighet förväntar ni er i de anställdas bedömningar? Hur mycket oenighet accepterar ni? Vad uppskattar ni att kostnaden av felaktiga skattningar kommer att vara?
  4. Låt de anställda bedöma praktikfallet – anonymt.
  5. Låt projektgruppen analysera resultatet för att ta reda på hur stora skillnader som finns i bedömningen.

Notera att utåt sett bör termen brus undvikas, i stället kan detta förfarande gå under namnet beslutsstudie, uppmanar författarna.

Bättre och brusfria rekryteringar

Ett exempel på en mycket viktig bedömning du som ledare gör, är vid en rekryteringssituation.

I all enkelhet kan syftet med rekryteringsförfarandet vara att bedöma huruvida en kandidat kommer att lyckas med jobbet som personen söker. En sammanställning av all modern forskning kring rekrytering visar att ostrukturerade anställningsintervjuer inte är rätt väg att gå för att lyckas med en sådan bedömning.

Själva intervjuförfarandet är fullt av såväl bias som brus. Korrelationen mellan två bedömares betyg av en kandidat är ofta mycket låg. Dels finns det mycket mönsterbrus i situationen eftersom olika bedömare reagerar olika på samma kandidat och dennes svar, bland annat utifrån tidigare erfarenheter. Det finns också mycket situationsbrus då man bland annat sett att det övergripande omdömet av en kandidat styrs av bedömarens första intryck, som påverkas av yttre tillfälliga faktorer, exempelvis tidpunkt och väder.

Rekryteringar kan bli bra mycket mindre brusiga, hävdar författarna. Lösningen är struktur och delbedömningar. Många av de praktiska råd som ges i boken är hämtade från Google, som just funnit att företagets anställningsintervjuer hade noll värde när det handlade om att förutse framtida arbetsprestation. För att åtgärda problemet skapade företaget tre principer för strukturering av komplexa bedömningar.

  • Till att börja med måste komplicerade bedömningar alltid brytas ner i delbedömningar. När det gällde rekryteringen hos Google bestod dessa av kognitiv förmåga, ledarförmåga, kulturell samhörighet och rollrelaterat ledarskap.
  • Princip nummer två innebär att varje delbedömning ska ske oberoende av de andra delarna. Rekryteraren ombeds således inte att efter en intervju skatta samtliga delar. I stället utför man strukturerade beteendeintervjuer där intervjuaren sätter betyg på en rad förutbestämda frågor som tillhör de olika delarna. Formen är mindre pratig än en traditionell intervju och påminner i stället närmast om ett förhör.
  • Den tredje principen vilar på ett av bokens mest återkommande råd: Förkasta inte intuition, men fördröj den. När bedömningen av en kandidat ska ske har det alltid gått ett par dagar sedan själva intervjutillfället. En beslutskommitté går då igenom samtliga betyg innan en slutgiltig rekommendation kring anställning ges.

 

Delbedömningsprotokollet – en teknik för god beslutshygien

Om metoden brusinventering syftar till att identifiera hur mycket brus en organisation präglas av, är syftet med delbedömningsprotokollet att därefter dämpa bruset. Användningsområdet är brett – från enklare sammanhang i syfte att utvärdera alternativ, till mer avancerade förfaranden. Oavsett är processen densamma:

  1. Dela upp ditt beslut i en rad mindre, så kallade delbedömningar. Här tar arbetsgruppen fram en uttömmande lista med alla de variabler som behöver bedömas innan en slutgiltig bedömning kan utföras.
  2. Se till att bedömningarna går att göra från ett utifrånperspektiv, det vill säga bedömningen ska gå att basera på externa fakta, snarare än på hur ni inom organisationen upplever hur saker och ting är.
  3. Se till att varje delbedömning utförs av olika analytiker för att säkerställa att bedömningarna är oberoende av varandra.
  4. Håll ett beslutsmöte där ni går igenom varje delbedömning för sig, och där varje deltagare sedan utför sin slutbedömning på egen hand.
  5. Gå slutligen igenom era resultat och ge nu deltagarna möjlighet att berätta vad deras intuition säger dem, innan ni som grupp fattar ett slutgiltigt beslut.

 

Är algoritmer lösningen?

Det är inte bara svårt att identifiera att en organisation innehåller brus, det är också svårt att reducera brus. Den optimala lösningen är som boken visar att införa mer regelstyrda bedömningar, inkludera fler bedömare i beslut och att gå mot att använda algoritmer och artificiell intelligens. Dessa åtgärder är tyvärr dyra. Tänk om exempelvis, skriver författarna, alla skolor skulle vidta nödvändiga åtgärder för att minska brus vid betygsättning, det vill säga att fler än en lärare skulle betygsätta ett och samma prov.

Trots detta avslutar författarna boken med att argumentera för fler maskiner när det gäller bedömningar. Algoritmer kan förvisso vara påverkade av bias, exempelvis om de bygger på snedvridna källdata eller om de bygger sina prediktioner på variabler som kön och etnicitet. Men de kan också vara helt brusfria och därmed ha en viktig funktion att fylla.

I väntan på mer maskin-algoritmer på arbetsplatsen bör du och din organisation utföra en brusinventering för att se hur stor variation som finns i era bedömningar. Därefter bör ni vidta nödvändiga åtgärder för att minska bruset i era bedömningar.

Men – räkna inte med att vare sig ni eller världen någonsin kommer att bli helt brusfri, är slutordet från bokens författare.


Dags att logga in för fortsatt läsning!

Artikeln du vill läsa är låst. Logga in som Chefboken-prenumerant (eller bli prenumerant idag!) för att fortsätta läsa.

Chefboken appen
Lyssna eller läs till över 150 sammanfattade böcker
De främsta böckerna, noga utvalda och översatta
Ny sammanfattning varje månad
Rabatt på Adlibris
Rabatt på månadens bok i sin helhet
Chefboken appen
Lyssna eller läs till över 150 sammanfattade böcker
De främsta böckerna, noga utvalda och översatta
Ny sammanfattning varje månad
Rabatt på Adlibris
Rabatt på månadens bok i sin helhet