Da Anita ville vite om tallene hun leste faktisk sa noe

Anita jobber med kommunikasjon i en mindre organisasjon i Nord-Norge, og tok kurset ved siden av en full stilling. Da hun begynte på modulen om datatolkning, hadde hun nettopp fått en tabell fra en kollega som viste at lytting til et bestemt programtilbud hadde «økt kraftig» det siste året. Tabellen så ryddig ut, og hun var klar til å bruke den i en intern presentasjon.

Jeg følger deltakerne i oppgavene, og jeg la merke til at Anita stilte et spørsmål som mange hopper over: hvor mange personer ligger egentlig bak disse prosentene? Det var utgangspunktet for en liten gjennomgang som hun senere tillot meg å fortelle om, uten fullt navn og uten detaljer som kan peke ut arbeidsgiveren.

Historien er ikke spesiell fordi noe gikk galt. Den er nyttig fordi den viser hvordan en vanlig arbeidsdag møter et vanlig tall, og hvordan et par rolige grep endret hva hun turte å si i møtet.

Det første Anita gjorde, var å skrive ned tre ting ved siden av tabellen: hvem som hadde samlet inn dataene, hvilken periode de gjaldt, og hvor mange som hadde svart. Det tok ti minutter. Kollegaen kunne bare svare på to av tre, og det i seg selv var verdt å vite.

Utvalget viste seg å være lite. En økning fra tolv til atten svar gir «femti prosent vekst», men det er seks personer. På kurset kaller vi dette å lese tallet i sin egen størrelse. Prosenten er ikke feil, den sier bare mindre enn den gir inntrykk av.

Anita sa at hun nesten ble litt flau, men det trenger man ikke. Dette er en av de vanligste feilene, og den rammer erfarne og nye like ofte. Poenget med øvelsen er å gjøre spørsmålet til en vane, slik at det kommer av seg selv neste gang en tabell lander i innboksen.

• Hvem samlet inn dataene, og hvordan?
• Hvilken periode og hvilket utvalg gjelder tallet?
• Hva er grunnlaget bak prosenten?

Etter at Anita hadde forstått hvor lite grunnlaget var, var neste utfordring å formulere det uten å gjøre hele presentasjonen svak. Mange tror ærlighet om usikkerhet betyr å si at man ikke vet noe. Det er det motsatte: man sier hva man vet, hvor sikkert det er, og hva som ville gjort det sikrere.

Hun skrev om setningen sin tre ganger. Fra «lyttingen har økt kraftig» til «i dette utvalget på atten svar ser vi flere lyttere enn i fjor, men grunnlaget er lite, og vi bør ikke trekke store slutninger ennå». Den siste versjonen er lengre, men den tåler spørsmål fra salen.

I kurset øver vi på akkurat slike omskrivinger, med korte tekster som deltakerne bytter på og kommenterer. Det virker enkelt, men det er her mange merker at språket de bruker til daglig, ofte låner mer sikkerhet enn dataene har dekning for.

Anita ville også vite om økningen kunne skyldes noe annet enn det kollegaen antok. Vi gikk gjennom noen enkle spørsmål: Var det en uvanlig uke i perioden? Hadde antall tilgjengelige episoder endret seg? Ble spørsmålet stilt likt begge år? Ett av disse svarte hun på ved å ringe kollegaen, og det viste seg at undersøkelsen ble sendt ut til en litt annen gruppe i år.

Da var sammenligningen mellom årene i praksis en sammenligning mellom to ulike grupper. Det betyr ikke at tallet var verdiløst, men det betyr at det ikke kunne brukes som bevis for en trend. Det er en viktig forskjell, og den gjelder langt utover dette ene eksempelet.

Jeg pleier å si til deltakerne at målet ikke er å avvise data, men å plassere dem riktig. Et svakt tall som er godt beskrevet, er mer nyttig enn et sterkt tall som er feil brukt.

• Ble spørsmålet stilt likt begge ganger?
• Var gruppen som svarte den samme?
• Finnes en enklere forklaring enn den første?

På møtet viste Anita tabellen, men la til en kort linje under: antall svar, periode og en setning om at gruppen var litt ulik fra året før. Hun foreslo at organisasjonen heller følger samme gruppe over tid, og at man venter med å kalle det en trend.

Reaksjonen, fortalte hun, var rolig. En kollega sa at han hadde lurt på det samme, men ikke hadde villet bremse stemningen. Ingen følte seg tråkket på, og forslaget om en mer lik undersøkelse ble tatt med videre.

Dette er et lite utfall, og jeg vil ikke gjøre mer ut av det enn det var. Men det illustrerer noe jeg ser ofte: de fleste rundt bordet er glade for at noen stiller det åpenbare spørsmålet, så lenge det gjøres vennlig og med et forslag i andre hånd.

Du trenger ikke statistikkbakgrunn for å gjøre det Anita gjorde. Du trenger tid, en notatblokk og viljen til å stille spørsmål som kan virke små. I modulen om datatolkning legger vi vekt på at disse spørsmålene er et håndverk som kan øves, ikke en medfødt egenskap.

Når du får en tabell, kan du starte med de samme tre notatene som Anita: kilde, periode og grunnlag. Deretter kan du prøve å skrive hovedpoenget to ganger, først slik tallet kan friste deg til å si det, og så slik dataene faktisk tåler. Forskjellen mellom de to versjonene er ofte lærerik i seg selv.

Alt kursmateriell hos oss er informativt og er verken investeringsråd eller anbefalinger. Det handler om å lese medietall ansvarlig, og det er dette Anita øvde på i høst mellom jobb og kvelder hjemme.

• Skriv ned kilde, periode og grunnlag først.
• Skriv hovedpoenget to ganger og velg den ærlige.
• Foreslå alltid hva som kunne gjort tallet sikrere.