Hun som hadde rett

Mens de andre meningsmålerne bommet, traff Ann Selzer igjen blink med sin meningsmåling for det amerikanske presidentvalget. Hva var det hun så, som de andre overså?

På valgnatten, onsdag 4. november, var meningsmålerne tilsynelatende USAs mest utrydningstruede arbeidstakere.

Det er på tide at meningsmålerne finner seg noe annet å drive med, twitret Meghan McCain og fikk støtte både til venstre og i sentrum. Målingsmetodene har vært utdatert i flere tiår, skrev blant andre magasinet Jacobin under overskriften Polling Is Dead.

Dødsdommene over meningsmålerne var muligens forhastede, men en ting står seg: Mange av pollsterne bommet. Igjen. 

Og igjen var bommertene nokså gjennomgående i Trumps disfavør. Hadde de ikke lært noe siden sist? Var de fortsatt ikke i stand til å fange opp de rurale Trump-velgerne?

I Des Moines satt imidlertid en pollster med æren i behold. Mens 5.38 hadde aggregert seg fram til at det var så godt som dødt løp mellom Biden og Trump i vippestaten Iowa, hadde Ann Selzer foreslått at Trump lå an til å vinne med 7 prosentpoeng. For dette fikk hun mye tyn, men etterhvert som resultatene tikket inn, krøp David Axelrod og andre ekspertkommentatorene til korset og konstaterte at Selzer igjen hadde tatt innersvingen på dem.

Iowa-kvinnen har nemlig vært i utakt med røkla før og forutså blant annet Obamas caucus-seier i hjemstaten i 2008. Meningsmålingene til Selzer & Co har følgelig blitt kalt "meningsmålingenes gullstandard".

Jeg slo derfor på tråden til Selzer noen dager etter valget får å få rede på hva hemmeligheten er. 

– Du spådde en 7 prosentpoengs seier til Trump i Iowa mens de andre byråene spådde dødt løp. Trump vant med åtte prosentpoeng. Hva var det du fanget opp, som de andre gikk glipp av?

– Jeg bruker en metode som jeg kaller "polling forward". Dette innebærer at jeg konsentrerer meg om det som skjer her og nå. Jeg er for eksempel opptatt av hva respondentene svarer når jeg spør om de vil stemme. Er de helt sikre på at de vil stemme? Er de ganske sikre? Er de usikre? Disse svarene veier tungt for meg når jeg prøver å finne ut hva som er en sannsynlig velger. Mange av de andre pollsterne er nokså bakoverskuende på dette området. De vier mye oppmerksomhet til om respondentene stemte for fire år siden eller ei. Dette er for så vidt ingen dum ting å bry seg om, da velgerhistorikk har predikasjonskraft, men man fanger samtidig ikke opp det unike ved hvert valg. Eller, som jeg bruker å si, man ser ikke godstoget som kommer klamprende imot seg, hvis man ser seg bakover. Godstoget i år var pandemien, og det hadde stor innvirkning på valgdeltagelsen. 

– Du sto alene mot røkla også i forkant av caucus-valget i Iowa i 2008. Var godstoget den gangen Obama-crazen blant unge?

– Ja, godstoget var økt valgdeltagelse blant førstegangsvelgere på demokratisk side. Jeg beregnet at 60 prosent av velgerne ville være førstegangsvelgere og ble møtt med hoderyst. De andre meningsmålerne sa at det ikke fantes noe historisk belegg for at noe slikt ville skje, og de lurte på hvordan jeg kunne fremme en slik antagelse. Jeg svarte som sant var at det ikke var en antagelse, men hva dataene fortalte meg. Senere kom det fram at 57 prosent av caucus-velgerne var førstegangsvelgere. 

– I 2016 ble det snakket om såkalte "Shy Trump Voters", altså velgere som angivelig ikke ville tilkjennegi sin Trump-støtte da gallupbyråene ringte. Etter hva jeg har skjønt, ble hypotesen langt på vei tilbakevist. Er det noe som tyder på at det er hold i den i 2020? 

– Det er en besnærende hypotese, som tilsynelatende forklarer mye, men det er ingenting i tallmaterialet mitt som tyder på at Trump-velgerne er spesielt engstelige for å tilkjennegi sine politiske sympatier. Når vi ringer rundt, spør vi folk også om hva de stemte i 2016. På dette punktet er det ikke noe iøyenfallende avvik mellom andelen som vedkjenner at de stemte på Trump, og andelen som beviselig stemte på Trump. Dermed må man spørre seg: Hvorfor skal folk være åpenhjertige om at de stemte på Trump i 2016, men samtidig skamfulle og sjenerte over at de stemte på ham i 2020? 

– Etter 2016 ble det også snakket om at de rurale velgerne var underrepresentert. Har man gjentatt denne feilen i år? 

– Det anser jeg som mer sannsynlig. Temaet har blitt hyppig diskutert i fagmiljøet de siste årene og mye tyder på at vi ikke får et representativt utvalg av rurale velgere når vi ringer rundt, selv når vi plukker ut randomiserte telefonnumre. Noe av dette knytter seg til noe så trivielt som mobildekning. Folk i rurale områder er oftere utenfor dekningsområde og mottar sjeldnere oppringninger. 

– Du publiserte kun en meningsmåling i år, som var fra hjemstaten din. Tror du at du hadde klart å gjenta treffsikkerheten i de 49 andre delstatene og D.C.? 

– Folk tenker ofte at jeg er flink til å forutse valgresultatet i Iowa fordi jeg er fra Iowa, og det har blitt foreslått at alle delstater bør ha en Ann Selzer, altså en pollster med lokalkunnskap. Men det er ingenting med modellen min som er unikt for Iowa. Jeg vekter ikke inn noen Iowa-variabel, altså mener jeg at jeg ville vært like treffsikker andre steder, hvilket jeg også har vært ved tidligere presidentvalg. Ved dette presidentvalget gjorde jeg også flere private meningsmålinger og jeg traff nokså bra, men ikke perfekt. Noen delstater er jo vanskelige å spå, som for eksempel Florida. 

– Ja, mange av meningsmålerne var jo virkelig på jordet i Florida. Jeg bet meg blant annet merke i at 538 aggregerte seg frem til at Biden var knepen favoritt, men her innkasserte altså Trump en tidlig og komfortabel seier på mer enn tre prosentpoeng. Hva gjør Florida så vanskelig? 

– Noe av det skyldes at marginene er så små mellom partienes popularitet, hvilket skaper en egen dynamikk. En annen ting er at Florida er en delstat med mye tilflytning. Mange av innflytterne bevarer telefonnumrene sine fra gamlestaten når de slår seg ned der, og det kan simpelthen være vanskelig for oss å vite hvem de er, hvor mange de er og hva de stemmer. 

– Mange av meningsmålerne bommet også stygt i Wisconsin. Den mest hårreisende enkeltmålingen var antagelig fra ABC News og Washington Post, som foreslo, bare dager før valget, at Biden hadde et 17 prosentpoengs forsprang på Trump i Wisconsin. Her var det til slutt et fattig prosentpoeng som skilte kandidatene. Hvordan går det an å bomme så fatalt?

– Wisconsin er en interessant case for dette valget. Noe av grunnen til at delstaten var vanskelig å spå , skyldtes at man hadde to veldig aktive kampanjer på begge sider, der demokratene oppfordret sine sympatisører til å stemme tidlig, mens republikanerne oppfordret sine folk til å stemme på valgdagen. Da meningsmålerne ringte like før valget, fikk de dermed kontakt med mange demokrater som hadde stemt, og mange republikanere som ikke hadde stemt. Her måtte meningsmålerne beregne hvor sannsynlig det var at respondentene som ikke hadde stemt, ville stemme. Vanligvis får slike beregninger, eller i dette tilfellet feilberegninger, små utslag, da det ikke er enorme avvik mellom hvor mange republikanere og demokrater som ikke har stemt, men i år var det altså et stort sprik basert på partilojalitet. Igjen tror jeg den overhengende feilen pollsterne gjorde var at de så bakover. Dermed fikk de ikke øye på mobiliseringen som skjedde her og nå. 

– Mange slaktet meningsmålingene etter dette presidentvalget. Hvor ille var de, samlet sett, etter din mening? 

– Folk har parafrasert Shakespeare og sagt: First thing we do, let's kill all the pollsters. Men jeg mener det er å kaste barnet ut med badevannet. Flere av meningsmålingene i år var helt greie og oppfatningen om at meningsmålingene var dårlige, skyldes nok at mange fester stor lit til at nettsidene som aggregerer meningsmålingene er presise. Sannheten er at aggregeringsmetoden til Nate Silver og co bare er et av flere verktøy man kan anvende for å skape oversikt i vrimmelen av meningsmålinger. Det er ikke nødvendigvis slik at disse gjennomsnittsmålingene gir en bedre pekepinn enn enkeltstående målinger.

– Vi hadde Brexit i 2016, senere Trumps valgseier. Og nå enda en nestenoverraskelse. Er meningsmålinger generelt sett mer usikre enn de var før?

– Det kommer litt an på hva du mener med "før". Det er ingen tvil om at vi hadde enklere arbeidsforhold den gangen det kun fantes fasttelefoner. Da slo retningskodene fast hvor faktisk oppholdt seg og man hadde mer kontroll på velgerne. Nå kan en person med telefonnummer fra Minnesota bo i Iowa, og en enkeltperson kan i tillegg stå oppført med flere telefonnumre. En annen utfordring er at responsraten er synkende. Årsaken til dette er mangslungen, men det er verdt å merke seg at det er stadig flere byråer i bransjen og dette innebærer at velgerne oppsøkes oftere, hvilket igjen medfører en viss slitasje og trøtthet. I denne bransjen er vi avhengig av folks samarbeidsvillighet og samarbeidsviljen er synkende. 

– Er det en bransje i krise?

– Både ja og nei. Etterspørselen stiger, så sånt sett er vi i medvind. Men vi møter på en rekke utfordringer. Likevel mener jeg det er fullt mulig å gjennomføre kvalitetsmålinger, hvilket jeg mener vi fortsatt gjør. 

– Hver gang meningsmålingene slår feil, er tallknuserne snare med å si at meningsmålinger ikke er spådommer, men øyeblikksbilder av en gitt velgermasse på et gitt tidspunkt, fortrinnsvis på et tidligere tidspunkt enn det avgjørende tidspunktet, nemlig valgdagen. Er det på tide at publikum rekalibrerer forventningene til meningsmålinger?

– Ja, det vil jeg si. Samtidig bør nok flere også rekalibrere forståelsen sin av hvem meningsmålerne er og hva de driver med. Mange snakker som om meningsmålerne har et slags samfunnsoppdrag, men sannheten er at det er en privat industri og det er en industri i stor vekst. Da Nate Silver begynte å aggregere meningsmålinger hadde han omlag 30 aktører å velge fra. Nå har han over 300. Ettersom etterspørselen har økt, har aktørene blitt flere og mange benytter seg av nokså billige datainnsamlingsmetoder, som for eksempel robocall. Dette gjør nok at den kvalitetsmessige spredningen mellom aktørene er større enn før. 

– Hva tenker du om de nasjonale målingene, som fortsatt vies mye oppmerksomhet? Kandidaten med flest stemmer, får jo ikke automatisk flest valgmenn, da de amerikanske presidentvalget i realiteten er 51 ulike valg. Er det på tide å droppe de nasjonale målingene en gang for alle?

– Jeg brukte å tenke det selv, men etter at jeg hadde en kunde som ba meg om å gjøre en nasjonal måling endret jeg litt oppfatning. Ja, en nasjonal måling gir ofte et uklart bilde om hvem som blir president, men det er likevel en temperaturmåler på stemningen i befolkningen. Slike ting er det vanskelig å se tydelig om man til enhver tid skal se på 51 ulike målinger. 

Denne saken sto på trykk i Minerva.