Valsundersökningar står inför ännu en uppgörelse efter sina ojämna resultat i årets val.
Och även om utgången av presidentvalet 2020 förblev osäker dagen därpå var det uppenbart att opinionsundersökningarna överlag inte lyckades ge amerikanerna tydliga indikationer på hur valet skulle gå till.
Och detta missgrepp lovar att ge genklang inom undersökningsområdet, som fick stryka på foten för fyra år sedan när Donald Trump tog hem delstater som Wisconsin, Michigan och Pennsylvania, där opinionsundersökningarna visade att han nästan inte hade någon chans att vinna. Framstående, opinionsundersökningsbaserade statistiska prognoser gick också snett 2016.
Dessa misslyckanden fördjupade pinsamheten för ett område som har lidit av – men överlevt – en rad olika bortfall och överraskningar sedan mitten av 1930-talet. Många av dessa misstag och misslyckanden beskrivs i min senaste bok, ”Lost in a Gallup:
Kritiken var intensiv på vissa håll i onsdags. Politicos mycket uppmärksammade nyhetsbrev ”Playbook” var särskilt svidande. ”Opinionsundersökningsindustrin är ett vrak”, förklarade det, ”och bör sprängas i luften”.
Många överraskningar
Men även om den bedömningen verkar extrem, särskilt med tanke på opinionsundersökningars motståndskraft under årtionden, så gick den opinionsdrivna förväntningen att förre vicepresidenten Joe Biden skulle leda Demokraterna i en svepande ”blå våg” inte i uppfyllelse. Biden kan fortfarande vinna presidentposten, men det kommer inte att ske i ett jordskred.
Bidens totala ledning i opinionsundersökningarna, som sammanställts av RealClearPolitics.com, uppgick till 7,2 procentenheter på morgonen på valdagen. Ett drygt dygn senare var hans försprång i den nationella folkomröstningen nästan 3 procentenheter.
Mätningsinstitut söker ofta tröst, och skydd, från kritiker genom att hävda att undersökningar före valet inte är förutsägelser. Men ju närmare valet de kommer, desto mer tillförlitliga borde opinionsundersökningarna vara. Och ett antal enskilda opinionsundersökningar inför valet låg pinsamt långt ifrån målet.
Ett anmärkningsvärt exempel var den sista Washington Post/ABC News-mätningen i Wisconsin, som publicerades förra veckan, och som gav Biden en fantastisk ledning på 17 punkter. Utfallet där var fortfarande oavgjort på onsdagsmorgonen, men marginalen kommer säkerligen inte att vara nära 17 poäng.
Och överraskningarna i opinionsundersökningarna var många och omfattade bland annat senatsvalen i Maine, där republikanen Susan Collins tycks ha avvärjt en välfinansierad utmanare och vunnit en femte mandatperiod, och i South Carolina, där republikanen Lindsey Graham ganska lätt vann omval trots att opinionsundersökningarna pekade på ett mycket närmare lopp. Graham förklarade efter sin seger: ”Till alla opinionsundersökare där ute, ni har ingen aning om vad ni håller på med.”
Det verkar som om republikanerna kommer att behålla kontrollen över den amerikanska senaten trots förväntningar, underblåsta av opinionsmätningar, om att det var troligt att kontrollen av överhuset skulle övergå till demokraterna.
Problem med opinionsundersökningar är inte nya
Valet 2020 kan utgöra ytterligare ett kapitel i de kontroverser som med jämna mellanrum har omgärdat valundersökningar sedan George Gallup, Elmo Roper och Archibald Crossley inledde sina stickprovsundersökningar under presidentvalskampanjen 1936. Det mest dramatiska misslyckandet med opinionsundersökningar i amerikanska presidentval inträffade 1948, när president Harry S. Truman trotsade opinionsundersökarna, experterna och pressen och vann omvalet över den kraftigt favorittippade republikanska kandidaten Thomas E. Dewey.
Överraskningen i år är inte det minsta lik det episka opinionsundersökningsmisslyckandet 1948. Men det är slående hur missar i opinionsundersökningar är så varierande och nästan aldrig likadana – ungefär som Leo Tolstoj sa om olyckliga familjer: var och en ”är olycklig på sitt eget sätt.”
Faktorer som gav upphov till årets förlägenhet kommer kanske inte att vara tydliga på veckor eller månader, men det är ingen hemlighet att opinionsundersökningar i samband med valen har ställts inför flera utmaningar som är svåra att lösa. En av dem är den sjunkande svarsfrekvensen för telefonundersökningar som genomförs av operatörer som använder sig av slumpmässig uppringningsteknik.
Den tekniken brukade betraktas som den gyllene standarden för undersökningsundersökningar. Men svarsfrekvensen för telefonbaserade undersökningar har sjunkit under flera år, vilket har tvingat undersökningsorganisationerna att titta på, och experimentera med, andra provtagningsmetoder, inklusive internetbaserade tekniker. Men ingen av dem har framstått som den nya gyllene standarden för opinionsundersökningar.
En av opinionsundersökningarnas mest anmärkningsvärda innovatörer var Warren Mitofsky, som för flera år sedan påminde sina kollegor om att det finns ”mycket utrymme för ödmjukhet inom opinionsundersökningar”. Varje gång man blir kaxig förlorar man.”
Mitofsky dog 2006. Hans råd är fortfarande giltiga.