Nate Silver: The signal and the noise

Det har varit en tuff inledning på det här millenniet. Vägen har kantats av den ena oförutsedda katastrofen efter den andra.

”Må vi resa oss från dessa katastrofer, mörbultade men inte böjda, lite mer modesta i vår inställning till våra egna förmågor att göra prognoser och lite mindre beredda att upprepa våra misstag”, skriver Nate Silver, som slutkläm i sin bok ”The signal and the noise”.

Lite mer blygsamma när vi försöker förutse hur framtiden ser ut, alltså. Men låt oss ta det från början.

Presidenter och baseboll

Nate Silver har på senare år blivit statistikens superstjärna. Han finns med på listan över de hundra mest inflytelserika människorna i världen och väckte stor uppståndelse med sina prognoser i det amerikanska presidentvalet 2008.

Inför höstens presidentval var han kraftigt kritiserad, men lyckades smälla belackarna på fingrarna och bättra på sin egen stjärnglans ytterligare genom att prickade in rätt segrare i samtliga amerikanska delstater.

I bokens inledning redogör han för hur vägen fram till denna stjärnstatus har sett ut, och om hur han började arbeta med data och statistik för att göra förutsägelser.

Det var när han jobbade på ett stort konsultföretag som han – av ren uttråkning, verkar det som – tog fram ett system som förutsåg sannolikhetsmässig statistik hos spelare i den amerikanska basebolligan.

Genom att granska data kunde han förutse deras individuella prestationer över en längre tid. Denna metod, som Nate Silver kallade pecota, väckte stor uppmärksamhet i denna usa:s nationalsport.

Detta ledde till att han startade bloggen FiveThirtyEight, som har New York Times som hemvist, där han skriver om politik och statistik och som fungerar som hans plattform.

Konsten att göra förutsägelser

I Nate Silvers första bok, ”The signal and the noise”, samlar han sina tankar och erfarenheter kring ämnet förutsägelser.

Han ger sin syn på varför vi så ofta tror oss vara bättre på att prognostisera framtiden än vad vi i själva verket är. Det är en bok som handlar om information, teknologi, vetenskapliga framsteg, konkurrens, fria marknader och idéernas utveckling – och om hur alla dessa komponenter sammanstrålar i det som utgör konsten att göra förutsägelser.

”Det är en bok om hur vi bit för bit lär oss hur världen fungerar och varför vi ibland tar ett steg tillbaka”, skriver Nate Silver, som driver tesen att människan är smartare än datorn.

Författarens förhoppning är att boken ska få läsaren att uppnå lite mer insikt om hur framtiden kan planeras och hur vi i lite större utsträckning kan undvika att upprepa våra misstag.

Trendkänslighet styr våra trender

Vår syn på förutsägelser har förändrats genom åren. Ett enkelt sätt att mäta det är att räkna hur många gånger orden ”förutsägbar” och ”oförutsägbar” används.

I början av 1900-talet användes orden knappt alls.

Under depressionen och andra världskriget skenade användandet av ordet oförutsägbar. När världen återhämtade sig från dessa kriser blev ordet förutsägbar mer använt igen.

På senare år har det svängt tillbaka.

Våra uppfattningar om förutsägbarhet påverkas mer av trender inom forskning och vårt korta minne än av verkliga förändringar i vår förmåga att göra prognoser.

Hur bra vi tror att vi är på förutsägelser och hur bra vi verkligen är kan alltså stå i omvänd relation till varandra.

Under 1950-talet var världen fortfarande skakad efter kriget och tillvaron kändes osäker. Det var en tid av mer ekonomisk och vetenskaplig produktivitet än under exempelvis 1970-talet, då det rådde en större stabilitet och vi trodde att vi kunde förutse allting, men inte kunde.

”Den här boken handlar mindre om vad vi vet än skillnaden mellan vad vi vet och vad vi tror att vi vet”, skriver Nate Silver.

Informationslavinen

Grundstenen i alla förutsägelser är information, något som vi har tillgång till i överflöd.

Nate Silver går tillbaka till Gutenbergs tryckpress och beskriver sedan vägen fram till dagens informationssamhälle. Först blev det möjligt att fästa informationen på pränt och sprida den, sedan blev det billigare att både trycka och köpa böcker, sedan exploderade mängden information och kom att, mer eller mindre, tillhöra alla.

Det sägs att mängden information ökar med över 2,5 kvintiljoner (!) bytes varje dag. Men detta betyder inte att mängden användbar information ökar i samma utsträckning.

För det mesta är just brus.

Och mängden brus ökar snabbare än signalerna. Det finns så många hypoteser att testa, så många fakta att använda – men mängden objektiv sanning är konstant.

En undersökning som gjorts visar att ju mer information politikerna har om den globala uppvärmningen, desto mindre överens är man.

Information och isolering

Mängden information har alltså ökat mycket snabbare än vår förmåga att förstå vad vi ska göra med den, liksom vår förmåga att skilja användbar information från det som är osant.

Paradoxalt nog har mängden delad kunskap inneburit ökad isolering, till exempel för nationella och religiösa samfund. För instinkten säger oss att vi ska ta en genväg när vi har för mycket kunskap genom att välja selektivt ur den, plocka ut de delar som vi gillar och ignorera resten. Men instinkten säger också att vi ska förena oss med dem som har gjort samma val och gemensamt utse resten till fiender.

Mer information betyder med andra ord inte mindre bekymmer.

Vi kan inte flyga, men tänka

Biologiskt är det inte mycket som skiljer oss från våra förfäder. Men det som var styrkor på stenåldern har blivit svagheter under informationsåldern.

Vi har inte många sätt att försvara oss: vi kan inte flyga, vi är inte särskilt starka, vi är inte så snabba, vi kan inte kamouflera oss.

Däremot har vi skallen att tacka för överlevnad. Vårt förnuft. Vår förmåga att tänka snabbt. Vi letar snabbt upp mönster och svarar snabbt på möjligheter och hot utan att tveka.

Tyvärr leder de evolutionära instinkterna oss ibland till att se mönster som inte finns.

Vi väljer att se mönster i bruset.

Hjärnan kan lagra tre terrabyte information. Det är ungefär en miljondel av all information som sägs produceras i världen – varje dag.

Så vi måste vara väldigt selektiva med informationen som vi väljer att komma ihåg.

Julius Caesar och ödet

Nate Silver refererar återkommande till Shakespeares pjäs Julius Caesar. I pjäsen får den romerska kejsaren gång på gång varningssignaler av olika slag om att saker och ting inte står rätt till, att det finns en hotbild mot honom.

Gång på gång avfärdar han signalerna som trams. Det är någon annan som ska dö, inte han. För Julius Casear slutar det, som bekant, inte lyckligt. Han blir avrättad.

Hur kommer det sig att han, trots alla varningssignaler, inte kunde förutse att hans dagar var räknade? Jo, han avläste all fakta selektivt.

Den historia som all information berättar är den vi vill höra, menar Nate Silver. Och inte sällan ser vi till att den får ett slut som passar oss och som är lyckligt.

”Män konstruerar saker efter sitt eget tycke, befriat från tingens eget syfte”, varnas Julius Caesar av vännen och politikern Cicero i Shakespeares pjäs.

Att lära sig att se signalerna, oavsett om de varnar eller vägleder, är svårt i det så omfattande informationsbruset.

Ja, där har du förklaringen till bokens titel.

Om det är något som definierar amerikaner så är det deras tro på tanken om att de själva har förmågan att kontrollera sitt eget öde.

”Vår nations styrkor och svagheter bygger på vår orubbliga tro att vi väljer vår egen kurs”, skriver Nate Silver.

Inför attacken mot Pearl Harbour fanns alla signaler på plats, men de hade inte satts samman. Likaså vid terrorattackerna mot New York i september 2001.

Utan en ordentlig teori om hur terrorister fungerar och tänker var amerikanerna blinda inför fakta som faktiskt fanns.

Det var också bristen på förutsägelser som banade väg för den globala finanskrisen.

”Vår naiva tro på modeller och vår oförmåga att se hur bräckliga de är styr vårt val av antaganden. Jag upptäckte att vi är oförmögna att förutse en lågkonjunktur längre än ett par månader i förväg”, skriver Nate Silver.

Fördomar försvårar förutsägelser

I den första halvan av boken beskriver Nate Silver hur och varför förutsägelser misslyckas. Mycket faller tillbaka på våra politiska eller personliga fördomar och påverkar hur vi hanterar information som vi får. Våra förutsägelser blir mer övermodiga gissningar än genomtänkta prognoser, eftersom de inte baseras på sanningen (signalen) utan på det som distraherar dem från sanningen (bruset).

Den andra halvan av boken ägnas åt att belysa hur vi kan korrigera dessa inneboende fördomar och förbättra vår förmåga att göra förutsägelser.

För det går att göra, menar Nate Silver. Hans främsta verktyg är Bayes teorem, vilket han ofta återkommer till i boken.

Nate Silver, som kallar den matematiska formeln ”förbluffande enkel”, menar att den kan vägleda alla typer av sannolikhetsmässigt tänkande och bidra till att det ställs säkrare och mer tillförlitliga prognoser.

”Det är ett ovanligt kraftfullt sätt att ärligt bedöma en komplex verklighet baserad på aktningsvärda sannolikheter, och är kanske den viktigaste teorin i modern sannolikhetslära”, skriver han.

En översikt av verkligheten

Matematikern och prästen Thomas Bayes, som levde under 1700-talet, konstaterade att sannolikhetsmässig tro bildas när människor konfronteras med ny information om världen. Då skapar de en översiktsbild av verkligheten. Denna revideras sedan när nya bevis tillkommer. Vid varje revision kommer sanningen lite, lite närmare.

Bayes teorem kombinerar insamlade, statistiska data med andra informationskällor, till exempel ett expertutlåtande, en undersökning eller andra allmänt kända fakta.

Användandet kan uppnå en objektiv slutsats, som väger in både traditionell statistik och mer okonventionell information.

I sitt mest grundläggande utförande är Bayes teorem ett algebraiskt tal med tre kända variabler och en okänd, skulle man kunna säga. För att testa ett tankeexperiment eller ett antagande krävs tre faktorer:

En uppskattning av hur sannolikt det är att antagandet är sant.

En uppskattning av hur sannolikt det är att antagandet är falskt.

En tidigare sannolikhet, eller sannolikheten som skulle ha tilldelats förekomsten av det observerade fenomenet innan det faktiskt observerades.

Sannolikheten för otrohet

Nate Silver använder sig av ett enkelt, men lättbegripligt exempel för att beskriva Bayes teorem:

Du kommer hem från en affärsresa och upptäcker ett okänt par underkläder i din byrålåda. Utifrån detta frågar du dig själv: vad är sannolikheten att din partner är otrogen mot dig?

För att lista ut svaret sannolikhetsmässigt, måste du uppskatta några sannolikheter.

1. Den första paramentern, Y, är sannolikheten att underkläderna faktiskt är ett bevis för att du blivit bedragen. Om din partner är otrogen är det lätt att föreställa sig hur underkläderna kom dit. Å andra sidan, om din partner är otrogen borde du kunna förvänta dig att den ska vara mer försiktig. Låt oss därför säga att sannolikheten för att underkläderna finns där som en följd av otrohet är 50 procent.

2. Den andra parametern, Z, är sannolikheten att underkläderna inte är ett bevis för otrohet. Kanske är de en gåva, kanske har en vän övernattat och glömt dem, kanske är de en följd av att din partner har fått fel bagage på flygplatsen. Här anger Nate Silver sannolikheten som 5 procent.

3. Den tredje parametern, X, är tidigare sannolikheter. Hur stor hade sannolikheten varit att din partner är otrogen mot dig om du inte hade hittat underkläderna? Här tar Nate Silver stöd mot en undersökning som visar att omkring 4 procent av de som ingår i ett registrerat partnerskap är otrogna mot sin partner.

Sannolikheten att din partner är otrogen, sett utifrån det faktum att du hittat underkläderna kan sammanställas så här: XY/[XY+Z (1–X)].

I detta fall är sannolikheten 29 procent:

0,04×0,5/[0,04×0,5+0,05x(1–0,04)]=29,41.

Bayes teorem uppmuntrar oss att vara disciplinerade när vi värderar ny information. Om informationen är givande kan vi vara villiga att testa dem med hjälp av falska hypoteser och utsätta dem för en förutsägelse, som exemplet tidigare.

Springa på alla bollar

För det mesta har vi svårt att uppskatta hur brusig informationen vi får är och vi lägger därför – på grund av fördomar – mest vikt vid den senaste informationen.

Vi springer på den sist sparkade bollen.

Här klandrar Nate Silver främst ekonomijournalister och politiska reportrar, som han tycker slarvar när de gör prognoser. Men det skulle lika gärna kunna handla om alla som ägnar sig åt beslutsfattande.

Ibland blir vi fördomsfulla åt det motsatta hållet när vi blir för personligt eller professionellt engagerade i ett projekt och misslyckas med att ändra vår egen inställning när fakta ändras.

Testa idéer den bästa prognosen

Att sitta och vänta på att insikten eller kreativiteten ska slå ner som en blixt framför dig fungerar bara på film. Ju oftare du är villig att testa idéer, desto tidigare kan du börja undvika problem och lära dig av dina misstag.

De största företagen ägnar inte en massa tid åt att skapa modeller (ett tecken på att du tillbringar för mycket tid med att skapa modeller är att du använder ordet ”profetia” när du refererar till hur din modell passar till gammal kunskap) utan testar sina idéer direkt på verkliga kunder.

Människan talar för siffrorna

Statistik handlar om siffror. Men siffror talar inte på något sätt för sig själva. Det är människan som talar för dem. Vi fyller dem med betydelse.

Och precis som Julius Caesar konstruerar vi dem på ett sätt som tjänar oss i stället för en objektiv verklighet. Så innan vi kräver mer av våra data, måste vi kräva mer av oss själva.

Våra hjärnor är kopplade så att de uppfattar sanningen genom förenklade modeller av verklig-heten. Bayes teorem kräver att människor accepterar osäkerhet som en nödvändig del av tänkandet och beslutsfattandet.

Detta är en annan sak som Nate Silver ofta återkommer till: om vi blir bättre på att omfamna osäkerheten kommer våra prognoser och förutsägelser att bli bättre.

Image först, sanning sedan

I början av 2009, alltså flera månader efter den finansiella kollapsen, begick president Barack Obamas administration misstaget att återigen för-bereda allmänheten på möjligheten att det kunde bli ny osäkerhet, trots att den redan fanns med i alla makroekonomiska prognoser.

Barack Obama var för djärv, med andra ord.

Det är ett vanligt problem, menar Nate Silver, att många som gör prognoser sätter sin politiska, personliga eller professionella image först.

Skulle de erkänna sin egen osäkerhet skulle deras modell verka mindre noggrann och de själva mindre imponerande.

För att göra bättre förutsägelser måste människor erkänna att de är subjektiva och att deras tänkande utgår från en subjektiv synvinkel.

Vi gillar instinktivt självförtroende och precision, på samma sätt som vi ogillar osäkerhet. Men osäkerhet är en del av livet och således präglas också många prognoser av osäkerhet.

Många väljer att undvika osäkerheten, som till exempel när de ekonomiska prognosmakarna misslyckades med att varna amerikanerna för den kris som låg alldeles framför dem.

Det bästa man kan förvänta sig av sig själv, menar Nate Silver, är att fatta bästa möjliga beslut, särskilt genom att erkänna sina mänskliga begränsningar, i enlighet med Bayes teorem.

Maskiner med begränsningar

Att förlita sig på datorer när man gör statistik kan lyckas – och misslyckas. För i likhet med människan har datorer också begränsningar, menar Nate Silver.

Till exempel kan de inte tänka kreativt eller se helheten.

Datorer kan inte göra korrekta förutsägelser inom komplexa system. De är opålitliga oavsett om det gäller ekonomiska trender eller jordbävningar.

När datorer är som mest användbara – som till exempel när det gäller att göra väderprognoser eller att spela schack – är det för att sammanhanget har ett system som bygger på relativt enkla och lättbegripliga lagar, eftersom goda prognoser beror på förmågan att lösa repetitiva ekvationer mycket snabbare än en människa kan.

Väderprognoser

Just väderprognoser är ett av de många områden (andra är klimatförändringar, basket, poker och terrorattacker) som Nate Silver stannar upp vid i boken och för noggrant detaljerade debatter kring (”det kan inte förnekas att detta är en detaljerad bok – in part because that is often where the devil lies”). Han ägnar meteorologerna, kungarna och drottningarna bland prognosmakare, och deras dåliga rykte ett helt kapitel.

Över tid har väderprognoserna faktiskt blivit ganska mycket bättre, menar Nate Silver.

I dag kan till exempel meteorologerna förutspå exakt var en orkan ska möta land med en korrekthet som är tre gånger större än för 25 år sedan.

En förklaring till detta är att statistikmodellerna har blivit bättre samt att det används bättre data-källor – men också att väderprognoser allt oftare faktiskt även redovisar osäkerheterna i prognosen.

Väderprognoser måste uppfylla två grund-läggande kriterier. Det första är att prognosmetoden i fråga måste slå en persistensmodell – en prognos som säger att vädret i morgon blir som vädret i dag. Det andra kriteriet är att förutsägelsen måste slå det historiska genomsnittet ett givet datum.

De flesta kommersiella metoder klarar av det första villkoret, men redan efter tio dagar är det bättre att se till det historiska genomsnittet det datumet för en region än att se på väderprognosen, enligt Nate Silver.

Att inte se skogen för alla träden

Att missta bruset som en signal brukar kallas överanpassning. Det förekommer när en statistikmodell blir alltför komplicerad, med alltför många parametrar i förhållande till antalet observationer.

Då syns, så att säga, inte skogen för alla träden.

Som exempel väljer Nate Silver att beskriva hur en tjuv förbereder ett inbrott i elevernas skåp på en skola. Tjuven vill lära sig att kunna få upp ett lås varsomhelst, närsomhelst. Han ger sin kumpan tre lås; ett rött, ett svart och ett blått.

Efter några dagar kommer kumpanen tillbaka med låsen och säger ”nu har jag lösningen!”. Han förklarar att det röda låset har kombinationen 27-12-31, det svarta 44-14-19 och det blå har 10-3-32.

Kumpanen har helt misslyckats med sitt uppdrag, menar Nate Silver. Denne har visserligen hittat en lösning för att öppna just dessa tre lås, men inte något som förfinar teorin om hur man låser upp lås.

”Jag skulle hellre vilja veta om det finns någon särskild typ av gem som lätt öppnar lås eller något mekaniskt fel vi kan ha nytta av. Och om inte det, ifall det finns något särskilt sätt att lista ut låsets kombination: kanske finns det några typer av siffror som används oftare än andra?

Men i stället har jag fått en alltför specifik lösning på ett generellt problem. Överanpassning leder bara till sämre förutsägelser”, skriver Nate Silver och nämner bland annat de japanska seismologer som misslyckades med att förutse tsunamin som fick hela landets stillahavskust att översvämmas.

Barn i början

Verkar detta nedslående? Att vi är så dåliga på att göra prognoser och förutsägelser? Lugn, i början gör de flesta människor dåliga förutsägelser. Men det är, skriver Nate Silver, när vi saktar ner vårt tänkande och börjar fundera över vad våra egna fördomar – inte bara fakta – gör för våra analyser, som vi kommer att uppleva förbättringar.

Om vi vill skilja signalen från bruset – och hitta sanningen – behöver vi inte bara kunskap om vetenskapen, utan också större kunskap om oss själva, om våra fördomar och andra distraktioner.