lördag 12 december 2020

Ger domare oftare en fällande dom när de är hungriga?

Välkänd studie

Du kanske har hört talas om studien som tittar på mönstret hur juridiska domare dömer under olika tider på dagen, att de oftare ger fällande domar när de är hungriga före sina måltider? Den är citerad i flertalet böcker, bland annat i:

  • Thinking, Fast and Slow
    Delar upp hjärnan i två system, System 1 som är snabbt men slarvigt och System 2 som är korrekt men energikrävande. Studien passar in i tankarna i boken om att när energinivåerna är låga så sätter inte System 2 igång och System 1 tillåts ta slarviga beslut.

  • Black box thinking
    Handlar om förbättringsarbete och hur det försvåras när berörda personers självbild krockar med fakta, t ex en domares självbild som ofelbar. Studien används för att påvisa behovet av förbättringar inom rättsväsendet.

  • Life 3.0, Being Human in the Age of Artificial Intelligence
    Tar upp studien som ett exempel på var en AI skulle kunna göra ett bättre jobb, en robot-domare.

Jag tycker att det låter både troligt och otroligt på samma gång, men är studien tillförlitlig?

Om studien Extraneous factors in judicial decisions

Tre forskare, Shai Danziger, Jonathan Levav och Liora Avnaim-Pesso ville undersöka om det fanns någon sanning i talesättet justice is what the judge ate for breakfast. Är domare rationella eller påverkas de av yttre juridiskt ovidkommande faktorer som hunger eller mental utmattning när de dömer.

Deras forskningsartikel publicerades 2011 och handlade om en 10 månader lång studie där data samlats in under 50 dagar och täckte 1 112 domar, dömda av åtta domare. Domarna presiderade i två olika rättegångsnämnder för villkorlig frigivning som nyttjades av fyra större fängelser i Israel.

Dagarna delades upp i tre sessioner, med två måltider emellan. En domare dömde från 14 fall upp till 35 fall per dag, där ett fall i medel tog cirka 6 minuter.

Det de upptäckte var att andelen friande domar i början av varje session började på cirka 65 procent, för att sedan sjunka under sessionens gång och i slutet komma ner till nästan 0 procent friande domar! 
En fånge skulle ha 35 gånger större chans att få villkorlig frigivning om denne kommer först istället för sist i en session, enligt Andreas Glöckner.

Proportion of rulings in favor of the prisoners by ordinal position. Circled points indicate the first decision in each of the three decision sessions; tick marks on x axis denote every third case; dotted line denotes food break. Because unequal session lengths resulted in a low number of cases for some of the later ordinal positions, the graph is based on the first 95% of the data from each session.

Kan siffrorna stämma?

Studien har blivit populär och välkänd, men att "hungereffekten" eller "utmattningsseffekten" skulle ha så stor påverkan är det flera som har reagerat på. En motreaktion som inte alls fått samma genomslag.

Keren Weinshall-Margel och John Shapard har besvarat forskningsartikeln med ett brev, Overlooked factors in the analysis of parole decisions, där de - efter att ha intervjuat tre försvarsadvokater, en domare och fem fängelseanställda - tar upp några faktorer de tänker har förbisetts som kan ha påverkat utfallet.

Studien gjorde gällande att fallens ordning kom i slumpartad ordning. Men under intervjuerna framkom att det fanns flera saker som påverkade fallens ordning. Till exempel att alla fångar från ett fängelse skulle hinnas med innan man tog rast och efter rasten fortsatte man med fångar från ett annat fängelse. Inom varje session så var det vanligt att fallen med fångar som hade advokat hanterades före de som saknade advokat. Att företrädas av en advokat ökar sannolikheten till bifall från 15% till 35%.

En annan faktor var att både fall med avslag och fall som sköts upp räknades som avslag. Uppskjutning av fall förekom oftare senare i en session. Forskarna försvarade det med att för domaren innebar beslut om uppskjutning samma sak, att status quo bibehölls, ett lättare beslut att ta om man är trött. Totalt avslogs 64,2% av fallen, varav 48,4% var uppskjutningar.

Andreas Glöckner har också ifrågasatt studien och gjort simuleringar som påvisar att effekterna är övervärderade. En orsak han lyfter som påverkar de sjunkande kurvorna är att olika många fall hinns med i olika sessioner, vilket leder till att gruppstorleken minskar ju senare i en session de har hanterats. Så de domar för de senare fallen i en session med många fall får högre genomslag. Lägger man ihop det med att fall för fångar utan advokat kommer sist och att de fallen oftare får avslag så blir det i sig en sjunkande kurva.

Danïel Lakens avfärdar resultaten baserat på den orealistiska storleken av effekten med:
If hunger had an effect on our mental resources of this magnitude, our society would fall into minor chaos every day at 11:45 a.m. Or at the very least, our society would have organized itself around this incredibly strong effect of mental depletion. Just like manufacturers take size differences between men and women into account when producing items such as golf clubs or watches, we would stop teaching in the time before lunch, doctors would not schedule surgery, and driving before lunch would be illegal. If a psychological effect is this big, we don’t need to discover it and publish it in a scientific journal—you would already know it exists. Sort of how the “after lunch dip” is a strong and replicable finding that you can feel yourself (and that, as it happens, is directly in conflict with the finding that judges perform better immediately after lunch—surprisingly, the authors don’t discuss the after lunch dip).

Ja, vad ska man tro? Forskning och statistik verkar iallafall komplext :)

Referenser

Forskningsartikeln
Extraneous factors in judicial decisions 

Brevet
Overlooked factors in the analysis of parole decisions

Forskarnas svar på brevet
Reply to Weinshall-Margel and Shapard: Extraneous factors in judicial decisions persist

Andreas Glöckners simuleringar
The irrational hungry judge effect revisited: Simulations reveal that the magnitude of the effect is overestimated

Danïel Lakens bloggpost
Impossibly Hungry Judges

5 kommentarer:

  1. Om de här resultaten är så häpnadsväckande, varför forskas det inte mer? Kanske p g a såna här orsaker som beskrivs i Black box thinking:

    With regard to juries, things are even worse. It is illegal in the UK to even conduct a study on how juries go about their deliberations. The unstated rationale for this prohibition is that if the public find out how juries operate, they might lose confidence in the system. It is an ‘ignorance is bliss’ approach. But this is as intellectually fraudulent as removing the black box from an aeroplane to ensure that people won’t ever find out about pilot error. The result is inevitable: the same mistakes will be made, over and over.

    SvaraRadera
  2. Här är en senare analys av studiens data. Tyvärr greppar jag inte betydelsen...

    The Status Quo Theory of Depletion Does not Explain the Israeli
    Parole Decisions
    https://psyarxiv.com/y49h8/download/?format=pdf

    SvaraRadera
    Svar
    1. It was suggested in the paper that the cyclical parole frequencies could be explained by a status quo theory of depletion, but it did not test the theory in the data. We first show that the statistical model used in Danziger et al. (2011a) can be interpreted as a behavioral model of a depletion process. Under this interpretation, the status quo theory is inconsistent with the reported results. The statistical model however imposes a restrictive assumption of depletion processes that are uniform across judges.

      Radera
  3. Här är ett klipp där en av forskarna, Jonathan Levav, själv förklarar studien.

    Jonathan Levav discusses how justice can depend on eating a sandwich:
    https://youtu.be/TtFr-_muub0

    SvaraRadera
  4. Judicial Behavior on the European Court of Human Rights

    https://ecpr.eu/Filestore/paperproposal/b5f5e87c-b2a6-4ffe-b6fa-4d2238e15276.pdf

    Since in many European countries there is little or no research of judicial behavior, judges in many countries are completely unaware of the research done on judicial decisionmaking. They often believe and insist that their decisions are based on the law exclusively and other factors do not affect their decisions.

    SvaraRadera