Misvisende sammenligninger

Vi forestiller os, at en eller anden hårdnakket påstår, at føddernes størrelse har indflydelse på unges uddannelsesforløb. For at tilbagevise dette åbenlyse vrøvl spørger vi alle elever i en matematikerklasse og alle elever i en sproglig klasse om deres skonummer, og finder at matematikerne som helhed faktisk har større fødder end de sproglige.

For at sikre at resultatet ikke bare skyldes en tilfældighed, tager vi 9 andre matematikerklasser og sammenligner med 9 andre sproglige klasser, og hver gang finder vi, at matematikerne faktisk har større fødder.

Dette forsøg tyder åbenbart på en sammenhæng.

En anden måde at undersøge, om der er en sammenhæng mellem skonummer og uddannelsesforløb, vil være at sammenligne skonummer for sproglige drenge og matematikerdrenge hver for sig. Derefter gøre det samme for pigerne, og som forventet finde, at der ikke er nogen forskel. Derefter kan vi så konkludere, at skonummer ikke spiller nogen rolle for (denne del af) de unges uddannelsesforløb.

Den ovenfor beskrevne situation er forholdsvis let gennemskuelig. Alle ved, at køn i høj grad er bestemmende for uddannelsesvalg. Alle ved, at køn og skonummer hænger sammen, men ingen tror, at passende doser væksthormon til den danske ungdom vil afhjælpe den svigtende tilgang til de naturvidenskabelige uddannelser, selv om det ville medføre, at de unge fik større fødder. Skonummer har nemlig i sig selv ingen virkning på uddannelsesvalg.

Når det alligevel kommer til at se sådan ud i undersøgelsen ovenfor, er det fordi drenge og piger ikke er jævnt fordelt mellem sproglig og matematisk linie. Mens der er nogenlunde lige mange drenge og piger i matematikerklasserne, så er kun en fjerdedel af eleverne i de sproglige klasser drenge. Der er altså en overvægt af piger i de sproglige klasser, og derfor har de sproglige også i gennemsnit mindre fødder, når man ikke tager hensyn til køn.

Selv om skonummerets betydning for uddannelsesvalget er et spøgefuldt eksempel, så møder man ofte den slags fejlslutninger, hvor der konstateres betydningsfulde sammenhænge mellem to faktorer, og hvor sammenhængen i virkeligheden skyldes påvirkning fra uobserverede størrelser.

Nederst på siden er der links til en række eksempler på dette formuleret som fiktive avisnotitser. De strækker sig fra det let gennemskuelige (kræft og hoftebrud) til det knapt så indlysende (alder og arbejdsløshed). Præsenteret sådan her kan de virke overdrevne. Men det er kun til man får øjnene op for, hvad man bliver udsat for i virkeligheden.

I eksemplet med hoftebrud og kræft har de to grupper, man sammenligner en helt forskellig alderssammensætning. Og da de udfald, man studerer: kræft og hoftebrud, begge er noget der oftest forekommer hos ældre mennesker, vil der være en tilsyneladende sammenhæng. Man får imidlertid ikke færre kræfttilfælde ved at forhindre hoftebrud, sådan som bandagist NN foreslår, for der er ingen årsagssammenhæng mellem de to betragtede størrelser.

I hospitalseksemplet kan man også godt se, hvad det drejer sig om, nemlig at patienter på intensivafdelingen er dårligere end patienterne på de ortopædkirurgiske afdelinger. Så selv om intensivafdelingen var fremragende og behandlingen på ortopædafdelingen var elendig, ville man stadig have større dødelighed på den intensive afdeling. Og indlæggelse af alle patienter på ortopædkirurgisk ville næppe fremme overlevelsen i amtet. Eksemplet med de arbejdsløse er lidt sværere at gennemskue, men man kan se fx i Statistisk Årbog, at den aktuelle arbejdsløshed er højest blandt ufaglærte. Der er af gode grunde langt flere ufaglærte blandt de 16-18-årige i arbejdsstyrken end blandt de 30-35-årige. Hvis man meningsfyldt vil udtale sig om overarbejdsløshed i en bestemt aldersgruppe, må der bl.a. kontrolleres for, hvordan gruppens uddannelsesniveau er.

Det er vigtigt at inddrage relevante baggrundsvariable, hvis man vil undersøge sammenhængen mellem to variable. Spørgsmålet er så, hvordan man inddrager baggrundsvariable i sin analyse. Og hvad er relevante baggrundsvariable.

I nogen tilfælde kan almindelig sund fornuft fortælle en, at en (tænkt) baggrundsvariabel ikke kan influere undersøgelsen. Skonummer, hvis man skal undersøge uddannelsesvalg og køn, og fregner, hvis man skal sammenligne to hospitalsbehandlinger. Men i enhver undersøgelse er der mange mulige baggrundsvariable og man kan ikke altid forudse, hvad man kan se bort fra.

Fiktive avisnotater

Nedlægger intensiv afdeling
Hoftebrud medfører forhøjet kræftrisiko
De helt unge har foruroligende stor arbejdsløshed