Spørsmålet som kommer på hver eneste runde
Det spørsmålet jeg får oftest fra kursdeltakere, er enkelt: hvor sikker kan jeg egentlig være på det jeg leser ut av en graf? Svaret er sjelden ja eller nei. En graf viser et utsnitt, og utsnittet er laget av noen som har valgt utvalg, tidsrom og skala. Det betyr ikke at tall er upålitelige, bare at de skal leses med de valgene i bakhodet.
Når vi begynner på modulen om datatolkning uten overdrivelser, ber jeg deltakerne skrive én setning om hva en graf viser, før de får vite noe om hvem som har laget den. Mange skriver mer enn det grafen bærer. Den øvelsen gjør det synlig hvor lett vi leser inn årsaker og utvikling som ikke står der.
Denne artikkelen tar for seg selve usikkerheten: hva den består av, hvordan du finner den og hvordan du omtaler den i en rapport. Resten av modulen går dypere i metode, men dette er et godt sted å starte hvis du skal tolke tall ved siden av jobb eller studier.
Hva usikkerhet faktisk består av
Usikkerhet har flere kilder, og de blandes ofte sammen. Den første er utvalget: en undersøkelse blant noen hundre respondenter sier noe om dem og bare omtrent noe om alle andre. Den andre er målingen: hvordan spørsmålet ble stilt, og hvem som svarte når det kom til stykket. Den tredje er tolkningen, altså det du og jeg legger til når vi forklarer hvorfor tallene ser ut som de gjør.
Den siste kilden er den vi har mest kontroll over, og den vi oftest undervurderer. En økning fra 31 til 34 prosent kan være reell, men kan også ligge innenfor det tilfeldige svingninger i utvalget gir. Uten å vite hvor mange som svarte, bør du ikke skrive «økningen viser at». Skriv heller «tallene peker mot en økning, men forskjellen er liten».
I kurset øver vi på å spørre tre ting ved hver tabell: hvem er med, hvem er ikke med, og hvor stor er forskjellen i forhold til hva som er vanlig å se mellom to målinger. Svarene trenger ikke være presise for å være nyttige.
- Utvalg: hvem er faktisk spurt
- Måling: hvordan ble spørsmålet stilt
- Tolkning: hva legger du selv til
Skalaen kan fortelle en annen historie enn tallene
En graf der aksen starter på 30 i stedet for null får en liten endring til å se dramatisk ut. Det er sjelden gjort i ond tro, ofte er det bare programmets standardinnstilling. Likevel er det en av de vanligste årsakene til at lesere tar feil av størrelsen på en forskjell, og det er enkelt å sjekke.
Jeg ber deltakerne tegne den samme tabellen på to måter, én med akse fra null og én med beskåret akse, og så beskrive hva de ser. Mange blir overrasket over hvor ulikt de to bildene føles. Poenget er ikke at den ene er riktig, men at du som leser og skriver må vite hvilken du har foran deg.
Sjekk også tidsrommet. En kurve som slutter midt i en uvanlig periode, for eksempel en sesong med uvanlig mye eller lite medieforbruk, gir et skjevt inntrykk av utviklingen. Når du kan velge, vis lengre perioder og skriv ut hvilke år eller måneder grafen dekker.
Slik formulerer du forbehold uten å bli uleselig
Mange frykter at forbehold gjør en rapport vag. Det trenger ikke skje. Et godt forbehold er kort, konkret og står der leseren trenger det. «Tallene bygger på 412 svar fra et frivillig panel og kan avvike fra befolkningen som helhet» sier akkurat det som er nødvendig, og leseren vet hva hun kan stole på.
Unngå å samle alle forbehold i en tåkete fotnote bakerst. Plasser dem ved tallet de gjelder. Bruk ord som «tyder på», «er i tråd med» og «kan skyldes», og spar «viser» og «beviser» til det som virkelig er målt og kontrollert. Det gir et språk som er ærlig uten å være unnskyldende.
I rapportmodulen bruker vi en liten mal med tre linjer per hovedfunn: hva tallet er, hvor det kommer fra og hva det ikke kan fortelle oss. Etter noen runder skriver deltakerne dette uten mal, og rapportene blir tydelig lettere å stole på.
- Si hva tallet bygger på
- Plasser forbeholdet ved tallet
- Velg «tyder på» foran «viser»
Små øvelser du kan gjøre selv i høst
Du trenger ikke et eget kurs for å trene på dette. Ta en offentlig tilgjengelig tabell om mediebruk, gjerne fra en rapport du allerede har lest, og skriv tre setninger om hva den sier. Legg den fra deg i et par dager, og les setningene på nytt med tabellen ved siden av. Hvor mye av det du skrev står egentlig i tabellen?
En annen øvelse er å finne to kilder som omtaler samme tema, og se på hvorfor tallene ikke stemmer helt overens. Ofte ligger forklaringen i definisjoner: hva som regnes som daglig bruk, hvilken aldersgruppe som er med, eller hvordan spørsmålet ble stilt. Denne typen sammenligning lærer deg mer om data enn mange teoritimer.
Med de mørke kveldene foran oss er dette en rolig tid å øve på. Alt materiale vi bruker er informativt, og ingen av øvelsene dreier seg om investeringer eller anbefalinger. Målet er å lese tall på en måte du kan stå inne for.
Det ærlige svaret på spørsmålet er at du kan være så sikker som utvalget, målingen og skalaen tillater, og ikke mer. Det er ingen svakhet å skrive det ut. Rapporter som sier hva tallene bygger på, blir lettere å bruke og vanskeligere å misforstå. Start med å spørre hvem som er med og hvem som mangler, og la forbeholdet stå der det hører hjemme.
