Sjekkliste før du bestemmer deg for en publikumsundersøkelse

Det første jeg spør kursdeltakere om, er hva de skal bruke svarene til. Mange begynner med metoden og tenker at en spørreundersøkelse alltid er en god idé. Det er den ikke. En undersøkelse som ikke skal påvirke noen beslutning, ender som en pen rapport ingen leser. Skriv derfor ned én setning om hva du må vite for å handle annerledes, og test den: hvis svaret blir akkurat det du allerede tror, hva gjør du da?

Denne høsten ser jeg at mange deltakere har travle uker med jobb og kurs ved siden av. Da er det ekstra viktig å velge et lite og konkret formål. Et spørsmål som «hvordan bruker lesere under førti nyhetene våre om morgenen» er mulig å besvare. «Hva mener folk om oss» er det ikke, i hvert fall ikke på en måte som gir noe å gå videre med.

Hvis du ikke klarer å skrive formålet på én linje, er du ikke klar ennå. Det er helt greit. Bruk heller en kveld på å snakke med to eller tre personer i målgruppen før du bestemmer deg. Du får ofte vite mer om hva som egentlig er spørsmålet enn noe skjema kunne gitt deg.

• Hvilken beslutning skal svarene støtte?
• Hva gjør du hvis svaret blir uventet?
• Kan formålet skrives på én linje?

En målgruppe er ikke «alle som bruker medier». Den er en gruppe du kan beskrive med noen få kriterier og faktisk nå: alder, bosted, hvilke kanaler de bruker, kanskje hvor ofte. I kurset øver vi på å skrive en målgruppebeskrivelse på tre til fire linjer, og så spørre oss selv hvor vi ville møtt disse menneskene på en vanlig tirsdag.

Det neste spørsmålet er hvem som ikke er med. Hvis du sender skjemaet via et nyhetsbrev, får du bare svar fra dem som allerede leser nyhetsbrevet. Det er ikke feil, men det er en begrensning som må stå i rapporten. Jeg ber alltid deltakerne skrive én setning om hvem som mangler i utvalget, og hvorfor det kan spille inn.

Til slutt: hvor stor er gruppen, og hvor mange svar trenger du? Du trenger ikke et fancy regnestykke for en liten undersøkelse, men du bør vite om du snakker om femti personer eller femti tusen. Det styrer hvor forsiktig du må være med konklusjonene.

• Beskriv målgruppen med tre til fire kriterier
• Skriv ned hvem som sannsynligvis faller utenfor
• Anslå omtrent hvor stor gruppen er

Gode spørsmål er korte, har ett tema og lar ikke svaret ligge i formuleringen. «Hvor fornøyd er du med vårt fantastiske tilbud?» styrer mot et bestemt svar. «Hvor ofte har du brukt tjenesten den siste måneden?» er konkret og kan besvares uten å gjette. Gå gjennom hvert spørsmål og spør deg selv om en trøtt person på mobil ville forstått det på første lesning.

Se også etter spørsmål som egentlig er to. «Er innholdet nyttig og lett å finne?» kan ikke besvares ærlig hvis det er nyttig men vanskelig å finne. Del det opp. Sjekk dessuten at svaralternativene dekker det folk faktisk kan mene, med en mulighet for «vet ikke» der det passer.

Det beste jeg vet om, er å la to personer utenfor prosjektet svare på et utkast og fortelle hva de trodde du spurte om. Tre av fem ganger finner de noe du aldri ville sett selv. Det tar en halv time og sparer deg for et datasett du ikke kan bruke.

• Ett tema per spørsmål
• Ingen ledende formuleringer
• La en utenforstående prøvesvare utkastet

Spørreskjema er bare én av flere enkle metoder. Korte intervjuer gir deg forklaringer og nyanser, men færre stemmer. Et skjema gir bredde, men lite dybde. Enkel observasjon, for eksempel å se på hva som faktisk leses på en nettside, forteller hva folk gjør, ikke hva de sier de gjør. Velg metoden ut fra spørsmålet, ikke ut fra hva du har brukt før.

Vær ærlig om tid og krefter. Et intervju på tjue minutter høres lite ut, men ti intervjuer betyr transkribering, gjennomlesing og sammenstilling. Spør deg selv hvor mange timer du har, og lag en plan som holder selv om uka blir travlere enn tenkt. En liten undersøkelse som blir ferdig, er mer verdt enn en stor som stopper halvveis.

Tenk også på hvor svarene skal oppbevares og hvem som får se dem. Har du bedt om personopplysninger, må du ha en grunn til det. Ofte klarer du deg fint med anonyme svar, og da blir både innsamling og tillit enklere.

• Skjema gir bredde, intervju gir dybde
• Regn ut timene før du velger
• Samle ikke inn mer personinfo enn du trenger

Før du starter, bør du vite hvordan resultatene skal presenteres. Hvis du får fire svar fra tretti mulige, kan du ikke skrive «folk flest mener». Du kan skrive «et fåtall av de som svarte». Bestem på forhånd hvilke formuleringer du holder deg til, og hvilke forbehold som alltid skal stå i teksten, som utvalgets størrelse og hvordan det ble trukket.

I kurset kobler vi dette til datatolkning: tall uten kontekst lurer både leseren og deg selv. En undersøkelse viser et øyeblikksbilde fra et bestemt utvalg, ikke en sannhet om hele markedet. Det betyr ikke at den er verdiløs, bare at den må leses med riktig størrelse på konklusjonene.

Husk også at alt materiale vi lager på kurset er informativt. Det er ikke investeringsråd, og det bør heller ikke brukes som grunnlag for å love noen resultater. En god undersøkelse gjør deg klokere på publikum, ikke sikker på framtida.

• Avklar utvalgsstørrelse og forbehold først
• Skriv ned hva resultatene ikke kan brukes til

Når alt over er på plass, gjør jeg en siste runde med fem korte spørsmål. Vet jeg hvorfor jeg gjør dette? Vet jeg hvem jeg spør? Er spørsmålene prøvd av andre? Passer metoden til tiden jeg har? Vet jeg hva jeg kan og ikke kan si til slutt? Svarer jeg ja på alle fem, er jeg klar. Svarer jeg nei på én, retter jeg den før jeg går videre.

Det kan virke omstendelig, men hele gjennomgangen tar sjelden mer enn en time. Den tiden er billig sammenlignet med å samle inn svar som viser seg å være ubrukelige. Mange av deltakerne våre skriver sjekklisten ut og legger den ved siden av skjermen første gang.

Hvis du vil øve først, har kursplanen en modul som tar deg gjennom nøyaktig dette, med maler og oppgaver du kan gjøre i eget tempo.