Farer ved afstemning i valg '08

af Scott Keeter, Jocelyn Kiley, Leah Christian og Michael Dimock, Pew Research Center for People & the Press


Analysen af ​​totalundersøgelsesfejl har udviklet sig i mange årtier til at overveje en lang række potentielle trusler, herunder bekymring over bidraget fra både bias og varians og opmærksomhed på fejl i både observation og ikke-observation (Groves 1989). Gyldigheden af ​​meningsmåling i præsidentvalget i 2008 blev anset for at være alvorligt truet af en lang række af disse potentielle fejl. Blandt disse var dækningsfejl på grund af væksten i den eneste trådløse befolkning, ikke-fejl, der potentielt var forårsaget af forskellig manglende respons blandt republikanere og racistisk konservative vælgere, og målefejl, der potentielt kunne være et resultat af racerelateret underdrivelse af støtte til den republikanske kandidat og større end -vanlige vanskeligheder med at forudsige valgdeltagelse og identificere sandsynlige vælgere.

På trods af disse forhindringer fungerede afstemningerne meget godt, hvor 8 af 17 nationale afstemninger forudsagde den endelige margen i præsidentvalget inden for et procentpoint, og de fleste af de andre kom inden for tre point. Både på nationalt og statsligt niveau svarede nøjagtigheden af ​​afstemningerne til eller oversteg den i 2004, hvilket i sig selv var et godt år for afstemningerne. Udførelsen af ​​valgmålinger er ikke blot et trofæ for valgmålgruppen, for troværdigheden for hele undersøgelsesfagets profession afhænger i høj grad af, hvordan valgmålingerne matcher den objektive standard for valgresultaterne. Konsekvenserne af en dårlig præstation blev dramatisk demonstreret i reaktionen på de primære meningsmålingers unøjagtige forudsigelse om, at Barack Obama ville vinde i New Hampshire, portrætteret som en af ​​afstemningens store fiaskoer i den moderne politiske æra (AAPOR 2009).


Vi undersøger udfordringerne ved potentiel dækningsforstyrrelse fra at ekskludere mobiltelefoner og potentiel måling og manglende respons på grund af race i detaljer ved hjælp af data fra en bred vifte af kilder, herunder en sammenfattende analyse af statslige og nationale afstemninger før valget, seks telefonundersøgelser udført blandt både fastnet- og mobiltelefonprøver og en sammenligning af en undersøgelse foretaget af fastnet med tilbageholdende og undvigende respondenter med en undersøgelse udført på samme tid med en ny prøve ved hjælp af standardmetodologi. Vores konklusion er, at nogle af truslerne var meget reelle, men blev overvundet af de teknikker, der normalt blev anvendt i undersøgelser til at tackle potentiel bias fra forskellige fejlkilder, mens andre trusler viste sig at være mindre alvorlige end nogle forventede.

I. Afstemningsnøjagtighed

Afstemninger før valget, der blev foretaget pr. Telefon, klarede sig meget godt med at forudsige resultatet af valget i 2008. Dette var tilfældet for afstemninger, der bruger live-interviewere, og dem, der blev foretaget med optagede stemmer. Det var sandt for dem, der kun var baseret på faste interviews og dem, der omfattede mobiltelefoner. Den grundlæggende metode i telefonundersøgelsen er fortsat robust i lyset af de mange udfordringer, som denne form for dataindsamling nu står over for.

Vores vurdering bruger data og skøn udarbejdet af National Council on Public Polls (NCPP), som evaluerede 17 nationale præsidentvalg og 236 statslige afstemninger, der blev gennemført i den sidste uge af kampagnen, der dækkede præsidentens stemme og stemmer for det amerikanske senat og guvernør. Dens mål for nøjagtighed var den gennemsnitlige kandidatestimatfejl, defineret som halvdelen af ​​forskellen mellem den faktiske valgmargen minus afstemningens margin.



For de 17 nationale telefonundersøgelser, der blev evalueret, var den gennemsnitlige kandidatansøgningsfejl mindre end 1 procentpoint fejl for hver præsidentkandidat (0,8%). Blandt de 11 nationale meningsmålinger, der kun var fastnet, undervurderede fire Obamas støtte, fem overvurderede den, og to havde margenen nøjagtigt korrekt. Den absolutte gennemsnitlige kandidatfejl for disse fastnet-undersøgelser var 0,8%. Blandt de seks dobbeltrammeundersøgelser undervurderede en Obamas margin og fire overvurderede den; man havde margenen nøjagtigt rigtig. Den gennemsnitlige fejl for kandidatestimat for undersøgelserne med dobbeltramme var også 0,8%.


Afstemningsfejl på statsniveau var større, men stadig relativt små. NCPP indsamlede statslige afstemningsdata om præsidentvalget fra 146 afstemninger foretaget fra 27. oktober 2008 til valgdagen med en gennemsnitlig kandidatfejl på 1,6 procentpoint. Inkluderet yderligere statslige løb for senat og guvernør for i alt 237 løb var den gennemsnitlige kandidatfejl for disse løb 1,9 procentpoint, omtrent det samme som i 2004 (1,7 procentpoint). Af alle statsløb, der blev foretaget via fastnettelefon og sporet af NCPP med de fleste interviews foretaget 27. oktober eller senere (237), havde flere fejl, der favoriserede den republikanske kandidat (125) end demokraten (86). Men den gennemsnitlige fejl i hver retning var omtrent den samme (ca. 2,0% for hver). Den gennemsnitlige fejl blandt IVR-afstemninger (1,7%) var lidt lavere end blandt dem med live-interviewere (2,1%).

Mens afstemningsfejlene var større på statsniveau end på nationalt plan, var det faktum, at de var lidt ændret fra 2004, bemærkelsesværdigt i betragtning af den kraftige stigning i procentdelen af ​​amerikanere uden fasttelefon og vores formodning om, at alle eller næsten alle den statslige afstemning blev udført blandt fastprøver. Naturligvis er fastnet ikke-dækningsgraden ikke ensartet i alle stater. Skøn over forekomsten af ​​voksne, der kun er trådløse i 2007 af National Health Interview Survey (NHIS) og State Health Access Data Assistance Center (SHDAC) ved University of Minnesota varierede fra 4,0% i Delaware til 25,1% i Oklahoma og 25,4% i District of Columbia (Blumberg et al., 2009). Således er potentialet for bias større steder end andre.


II. Den ikke-dækkende trussel: En lille, men reel skævhed i fastnetprøver

Mobiltelefonproblemet i telefonundersøgelsesundersøgelser er veldokumenteret. Så mange som voksne ud af en valgfri alder bor i husstande, der kun er trådløse, og der er bredt bevis for, at de ikke kun er demografisk adskilte, men også adskiller sig i visse opførsler - især dem, der er relateret til sundhed. (Blumberg og Luke 2009). Ud over det kun trådløse dækningsproblem tyder beviser på, at nogle voksne er 'hovedsageligt trådløse' og vanskelige at få adgang til via fasttelefoner, at dækningsproblemer kan være endnu mere udbredte. Når det kommer til politiske holdninger og afstemningsmønstre, er beviset for, at voksne i husholdninger, der kun er trådløse, adskiller sig væsentligt fra deres kolleger med fasttelefoner, er mindre endelige, især når demografiske egenskaber holdes konstant (Pew Research Center 2008). Som et resultat, mens der er et klart dækningsproblem i undersøgelser, der kun er fastnet på fastnet, forbliver spørgsmålet om, hvorvidt effektiv demografisk vægtning af kun fastnetundersøgelser effektivt kan reducere eller eliminere eventuelle resulterende bias, åben.

En analyse af seks Pew Research-undersøgelser, der blev gennemført fra september til weekenden før valget, viser, at estimater, der kun er baseret på faste interviews, vægtet til grundlæggende demografiske parametre, sandsynligvis vil have en lille pro-McCain-bias sammenlignet med estimater baseret på både fastnet- og mobiltelefoninterviews vægtet på samme måde. Andre undersøgelsesorganisationer rapporterede om et lignende resultat.

Men forskellen, selvom den var statistisk signifikant, var lille i absolutte tal - mindre end margenen for prøveudtagningsfejl i de fleste afstemninger. Obamas gennemsnitlige føring på tværs af de seks undersøgelser var 9,9 point blandt registrerede vælgere, da interviews og mobiltelefoner blev kombineret og vægtet. Hvis estimater kun havde været baseret på de vægtede fastnetprøver, ville Obamas gennemsnitlige føring have været 7,6 point, en gennemsnitlig bias på 2,3 procentpoint på margenen eller ca. 1,2 point udtrykt som kandidatfejl. At begrænse analysen til sandsynlige vælgere snarere end alle vælgere gav lignende resultater. Obamas gennemsnitlige føring blandt sandsynlige vælgere var 8,2 point på tværs af alle seks dual frame-undersøgelser versus 5,8 point (eller 1,2 point som kandidatfejl), når fastnetprøverne analyseres alene. (Se tillægget for en detaljeret beskrivelse af prøveudtagning og vægtning anvendt i denne analyse.)

Mens estimater, der kun er baseret på fastnetinterview, typisk udviste en pro-McCain-bias, var mønsteret ikke ensartet. Fire af de seks undersøgelser, der blev foretaget efter augustkonventionerne, passer til mønsteret; den største forskel var i den sidste valgundersøgelse, hvor Obama førte McCain med 11 point i prøven med dobbelt ramme, men med seks point, hvis man kun overvejede fastnetinterviews. Alligevel holdt dette mønster ikke i to af de seks undersøgelser. I slutningen af ​​september og slutningen af ​​oktober var Obamas føring lidt smallere i den kombinerede fastnet- og celleundersøgelse end i fastnetundersøgelsen alene. Dette indikerer, at det overordnede mønster, selvom det er vigtigt, ikke var stort nok til at overvinde normal udsving i sampling.


Det faktum, at bias relateret til telefonstatus var relativt lille, på trods af de store demografiske forskelle mellem de celle-eneste og fasttelefoner, der er tilgængelige, er en funktion både af andelen af ​​alle vælgere, der kun er celle (dvs. den relative størrelse af den eneste cellepopulation) og virkningerne af demografisk vægtning. Vægtning hjælper med at minimere denne skævhed, så længe vægtningsvariablerne, der er korreleret med telefonstatus, også er relateret til de politiske mål af interesse for både celle-eneste og fastnet-tilgængelige vælgere. Sagt på en anden måde: vælgere, der kan nås via fastnet, der deler visse demografiske karakteristika med kun cellevælgere, ligner mere politisk cellevælgere end andre fastnetvælgere.

Ikke alle de variabler, der er stærkt forbundet med telefonstatus og politisk adfærd, bruges i øjeblikket i typiske vægtningsprotokoller; blandt disse er civilstand, børns tilstedeværelse i husstanden, familieindkomst og boligejerskab. Dette antyder, at der er uudnyttet mulighed for yderligere reduktion i celle-kun bias ved brug af yderligere vægtningsvariabler, forudsat at disse kan måles pålideligt, og at passende parametre er tilgængelige. En måde at vurdere den potentielle effektivitet af vægtning er at estimere virkningen af ​​celle-kun status på afstemningen med og uden disse kontroller.

Logistisk regression blev brugt til at estimere sandsynligheden for at stemme på Obama blandt fastnetvalgere og kun cellevalgere. Som forventet er forskellen stor; den forudsagte sandsynlighed for at stemme på Obama er 16 point højere for celle-eneste vælgere end for fastnetvalgere. Tilføjelse af de fleste af de demografiske standardvariabler, der anvendes i vægtning (f.eks. Alder, køn, race, latinamerikansk uddannelse og region) til modellen (mærket 'standardmodellen' i tabel 3) reducerer denne forskel til 11 point, hvilket er et resultat, der er i overensstemmelse med forestillingen om, at vægtning hjælper med at reducere, men ikke eliminere potentialet for ikke-dækningsforstyrrelse. Inkluderet indkomst, civilstand og boligejerskab i modellen reducerer forskellen yderligere til 5 point. Når disse ekstra demografiske oplysninger er inkluderet i modellen, er det kun længere at være mobiltelefon en væsentlig forudsigelse for kandidatstøtte, som det var i de to første modeller.

Selvom bevisene fra valget i 2008 indikerer, at celle-kun respondenter kan udgøre en relativt mindre trussel om bias for de fleste telefonundersøgelser, tiltrak en beslægtet trussel også opmærksomhed: respondenter, der hovedsagelig stoler på deres mobiltelefoner og dermed kan være vanskelige at nå via fastnet selvom de har en. Spørgsmålet er, om den trådløse gruppe for det meste er tilstrækkeligt repræsenteret af fastnet respondenter, der har både en mobiltelefon og en fastnet, men mest stoler på deres mobiltelefon.

Data indsamlet under valgkampagnen i 2008 tyder på, at mens det trådløse hovedsageligt nås via mobiltelefon er noget forskelligt fra dem, der nås via fastnet, adskiller de kombinerede prøver af trådløse for det meste vælgere fra begge samplingsrammer sig kun lidt fra de trådløse, som hovedsagelig nås via fastnet efter standard demografisk vægtning. Med hensyn til spørgsmålet om kandidatpræference understøttede 55% af samtlige trådløse-mest-vælgerinterviews i de seks undersøgelser fra Pew Research før valget Obama til præsident sammenlignet med 51% af det trådløse hovedsagelig fra fastprøven; forskelle i parti, ideologi og politisk engagement var mindre.

Gyldigheden af ​​denne generalisering afhænger af en ukendt mængde, nemlig hvilken andel af interviews af den celle-mest gruppe skal komme fra hver ramme for at producere den mest gyldige repræsentation af gruppen. I vores undersøgelser kommer ca. 40% af cellegruppen hovedsageligt fra den trådløse ramme. Men uanset den bedste blanding er potentialet for bias på det samlede skøn over undersøgelsen beskedent i betragtning af det faktum, at de fleste trådløse respondenter kun udgør ca. 15% af alle voksne (Blumberg og Luke 2009), og indtil videre tyder de fleste undersøgelser på, at de er tilgængelige ved fastnetundersøgelser.

Problemer med meningsmålinger før valget i biracialvalget i 1980'erne og begyndelsen af ​​1990'erne rejste spørgsmålet om, hvorvidt skjult racisme forblev en hindring for sorte kandidater (Keeter og Samaranayake 2007; Hopkins 2008; Hugick 1990)). Hvide kandidater i mange af disse løb klarede sig generelt bedre på valgdagen end de gjorde i afstemningerne, mens deres sorte modstandere havde en tendens til at ende med omtrent det samme niveau af støtte som afstemningerne viste, at de måske. Dette fænomen, der ofte kaldes 'Bradley-effekten', blev først bemærket i 1982-løbet om guvernør i Californien, hvor Los Angeles borgmester Tom Bradley, en sort demokrat, tabte snævert for republikaneren George Deukmejian, på trods af afstemninger, der viste ham med et forspring fra 9 til 22 point.

Nøjagtigheden af ​​afstemningerne ved parlamentsvalget og - med den bemærkelsesværdige undtagelse af primærvalget i New Hampshire - giver den lange række af demokratiske primærvalg mere end tilstrækkelig afvisning af en Bradley-effekt i præsidentvalget i 2008, i det mindste i en størrelsesorden, der kunne alvorligt underminere nøjagtigheden af ​​afstemningerne før valget. Faktisk antydede beviser fra fem statlige valg i 2006, der involverede sorte og hvide kandidater, hvor afstemningen var ret nøjagtig, kraftigt antydet, at Bradley-effekten ikke længere var potent (Keeter og Samaranayake 2007). Det var stadig ukendt, om Bradley-effekten ville spille en anden rolle i en konkurrence om formandskabet end i et statsløb eller et senatløb, og muligheden for alvorligt partiske afstemninger i 2008 var et hyppigt emne for politisk diskussion.

På trods af nøjagtigheden af ​​de primære afstemninger i 2008 i bakspejlet konkluderede vi, at det var klogt at dissekere de mulige mekanismer, hvormed Bradley-effekten kunne fungere og evaluere potentialet for en bias, så der kunne træffes forholdsregler.

Bradley-effekten kan være resultatet af to forskellige fænomener: racistisk konservative meningsmålinges modvilje mod at sige, at de har til hensigt at stemme imod den sorte kandidat, eller en større modstand blandt racekonservative vælgere, der skal interviewes. Den første af disse - målefejl på grund af en 'social ønskværdighedsforstyrrelse', der manifesterer sig i mange følsomme emner i undersøgelser - kan studeres indirekte ved brug af sådanne teknikker som 'listeeksperimentet' og en sammenligning af interviews foretaget af hvide og sorte interviewere. For at teste dette analyserede vi forskelle i svar fra race af interviewer for at vurdere graden af ​​racemæssig følsomhed i spørgsmål om Obamas kandidatur og andre spørgsmål, der måler racemæssige holdninger.

Den anden kilde til potentiel bias er fra manglende responsfejl relateret til opmærksomhedens eller karakteren af ​​undersøgelsens emne eller den formodede sponsor ('mainstream media'). Dette kan opdages ved at sammenligne afstemningsrespondenter, der blev opnået i en normal undersøgelse, med dem, der oprindeligt nægtede at deltage eller var meget vanskelige at nå til et interview. Bias mod reaktion påvirkede nøjagtigheden af ​​exit-afstemningerne i både 2004 og i primærvalget og parlamentsvalget i 2008. For at teste for denne anden fejlkilde gjorde vi en indsats for at nå tilbageholdende respondenter og sammenligne dem med prøver, der blev opnået ved hjælp af vores normale interviewprotokol.

Race of Interviewer Analysis

Vi fandt kun få tegn på racemæssig følsomhed i svarmønstrene baseret på respondentløb og interviewerløb. I modsætning til tidligere valg, der involverede hvide og sorte kandidater (Guterbock, Finkel og Borg 1991), er der lidt, der tyder på, at vælgernes svar blev væsentligt påvirket af løbet af den person, der interviewede dem over telefonen. Blandt hvide ikke-spansktalende registrerede vælgere i de seks afstemninger inden valget Pew Research Center, der begyndte i midten af ​​september, var der ingen systematiske forskelle i kandidatstøtte efter race af interviewer, hverken blandt alle hvide ikke-spansktalende vælgere eller blandt hvide demokratiske vælgere. (Demokrater og demokratiske skæve uafhængige). Der var heller ingen systematiske forskelle blandt sorte vælgere (ikke vist), der overvældende støttede Barack Obama.

I løbet af disse seks afstemninger blev der kun fundet en betydelig race af interviewereffekt en gang. I modsætning til forventningen om en social ønskværdighedseffekt i midten af ​​september var hvide demokratiske vælgere, der talte med sorte interviewere, 8 procentpoint mindre tilbøjelige til at udtrykke støtte til Obama. I senere undersøgelser var forskellene efter race af intervieweren hverken konsistente i hverken retning eller signifikant.

Multivariat analyse bekræfter dette fund; logistiske regressioner på kandidatstøtte fandt ingen signifikant virkning af race af interviewer på støtte til hverken Obama eller McCain, hverken blandt alle hvide ikke-spansktalende vælgere eller blandt hvide ikke-spansktalende demokratiske vælgere. Resultaterne i tabel 7 er for valghelgens afstemning; virkningen af ​​race af intervieweren var ligeledes ikke-signifikant indvirkning på de to andre store afstemninger før valget (midten af ​​september og midten af ​​oktober).

Mens der kun er få beviser for, at respondenterne var mere tilbageholdende med at udtrykke modstand mod Obama, når de blev interviewet af afroamerikanske interviewere, end når de blev interviewet af hvide interviewere, var der en lille forskel i sammensætningen af ​​prøverne, der blev interviewet af hvide og sorte interviewere; denne forskel er i overensstemmelse med teorien om, at tilbageholdende hvide måske har valgt selv ud af interviews med sorte interviewere.

Sorte interviewere var mindre tilbøjelige end deres hvide kolleger til at interviewe hvide respondenter (og hvide demokratiske respondenter) på de fleste af de seks valgmålinger i Pew Research Center, og disse forskelle var signifikante på de næstsidste og sidste undersøgelser før valget. F.eks. Var der i valghelgen blandt de interviewede demokratiske respondenter 66% af dem, der blev udført af hvide ikke-spansktalende interviewere, med hvide ikke-spansktalende respondenter sammenlignet med kun 59% af interviewene foretaget af sorte ikke-spansktalende interviewere. Den foregående uge var dette hul endnu større (68% mod 51%). Et lignende mønster gælder for den samlede hvide prøve på disse undersøgelser.

At afroamerikanske interviewere var mindre tilbøjelige til at gennemføre interviews med hvide respondenter, kunne yde støtte til hypotesen om, at racekonservative hvide er mere tilbageholdende med at svare på afstemninger foretaget af ikke-hvide interviewere og dermed bidrage til en mulig bias i resultaterne. Imidlertid kan dette fund også tilskrives andre forskelle mellem hvide og sorte interviewere, der kan forveksles med race.

For eksempel var der en noget ujævn kønsfordeling (procentdelen af ​​mænd blandt sorte interviewere var lidt højere end blandt hvide interviewere) og nogle forskelle i tidsplanerne for hvide og sorte interviewere, der kan have påvirket blandingen af ​​respondenter, de interviewede (f.eks. Sort interviewere var mere tilbøjelige til at arbejde i weekenden). Det faktum, at sorte interviewere var mere tilbøjelige til at interviewe sorte respondenter, kan også være resultatet af sorte respondenters større modtagelighed over for anmodninger om interviews, når de kaldes af en sort interviewer snarere end hvide respondenters større modstand mod at blive interviewet af sorte interviewere.

Er tilbageholdende respondenter mere racemæssigt konservative?

Bevis for, at modvillige respondenter er mere racemæssigt konservative, er blandet. Pew Research Centers 1997-ikke-responsundersøgelse viste, at de sværeste at interviewe respondenterne var lidt mere racemæssigt konservative end dem, der var lettere at interviewe (Pew Research Center 1998). Men en opfølgende undersøgelse udført i 2003 fandt ikke et sådant mønster.

For at evaluere denne opfattelse i forbindelse med 2008-kampagnen gennemførte vi en genkontaktundersøgelse af svære tilgængelige husstande fra tidligere undersøgelsesprøver. For at gøre dette konstruerede vi en stikprøve af fastnettelefoner baseret på husstande, der enten havde nægtet at blive interviewet, eller hvor mindst fem opkaldsforsøg var blevet foretaget uden afslutning i afstemninger foretaget af Pew Research mellem januar og maj 2008. Rekontaktinterviews blev gennemført 31. juli - 10. august 2008 med 1.000 respondenter. Resultaterne fra disse interviews blev sammenlignet med en ny national undersøgelse udført på samme tid blandt en fast stikprøve på 2.254 respondenter.

I den almindelige valgkamp var der ingen signifikante forskelle i valg af stemme eller styrke af støtte mellem svær at nå vælgere og den sammenlignelige prøve i slutningen af ​​august. McCain og Obama var bundet til 44% blandt de svære at nå; McCain havde en snæver 46% til 44% føring i august-prøven. I både afstemningen i august og den samtidige svære tilgængelige stikprøve modtog Obama mere stærk støtte end McCain, og disse andele var næsten identiske i de to prøver. Svært tilgængelige nåere har muligvis været lidt mere tilbøjelige til at svinge vælgere, men forskellen var ikke statistisk signifikant (35% mod 32% i den sammenlignelige stikprøve fra august).

Et område med klar forskel mellem den vanskelig tilgængelige stikprøve og den samtidige undersøgelse var i primær kandidatstøtte blandt demokratiske og demokratisk-lænkende vælgere:I den vanskelig tilgængelige stikprøve var demokratiske vælgere betydeligt mere tilbøjelige til at have støttet Hillary Clinton i deres partis nomineringskonkurrence. Clinton havde en føring på 48% til 43% blandt de svært tilgængelige stikprøver, mens Obama havde 51% til 41% føring blandt den sammenlignelige prøve fra august. Hvis analysen er begrænset til hvide demokrater og leanere, er størrelsen af ​​forskellen ens.

Disse bivariate resultater blev understøttet af en multivariat analyse, der kontrollerede for køn, alder, uddannelse, region og, hvor det var relevant, race og fest (ikke vist). En logistisk regression, der forudsagde hvide, ikke-spansktalende demokrater og demokratiske leaners nomineringspræferencer, fandt en stærk og signifikant effekt af at være i den svære tilgængelige stikprøve på støtte til Hillary Clinton snarere end Barack Obama. En lignende regressionsanalyse fandt ingen signifikant forskel i de generelle valgpræferencer, hverken for alle registrerede vælgere eller for hvide demokrater og demokratiske leanere. At forskelle er tydeligere i den primære konkurrence kan antyde en større vilje for racistisk konservative demokratiske vælgere til at rapportere modstand mod en sort kandidat uden at skulle overvinde partiets identifikation; sagt anderledes, en afstemning af en demokrat for en hvid kandidat mod en sort kandidat i en partikonkurrence bør være mindre stigmatiserende eller dissonant end en valgafstemning, hvor den demokratiske vælger får valget mellem en hvid republikansk kandidat frem for en sort Demokratisk kandidat.

Som med kandidatpræferencer fandt vi også noget blandede resultater af racemæssige holdninger. Svært tilgængelige respondenter var lige så sandsynlige som fastnetrespondenter i en undersøgelse fra juni 2008 for at sige, at det er okay for sorte og hvide at datere hinanden (79% i den vægtede svære at nå undersøgelse mod 81% i juni) . Og ligesom fastnetrespondenterne i en Pew Research-undersøgelse fra september 2006 var svær at nå respondenterne delte om, hvorvidt indvandrere styrker USA eller er en byrde for landet.

Men svære tilgængelige respondenter var mere tilbøjelige end en fast stikprøve i juni 2008 til at være enige med udsagnet 'Vi er gået for langt i at skubbe lige rettigheder i dette land.' Omkring en tredjedel (34%) af dem i juni-afstemningen var enige i erklæringen; 43% i den vægtede svære tilgængelige prøve aftalt. Mønstrene blandt hvide demokrater og demokratisk-tilbøjelige respondenter svarede til mønstrene blandt alle respondenter.

Et fund, der er i overensstemmelse med tidligere forskning, er, at svære tilgængelige respondenter udviser mindre interpersonel tillid (Keeter et al. 2000). Blandt de svære at nå sagde næsten seks ud af ti (57%) 'du kan ikke være for forsigtig' i forbindelse med mennesker; 39% sagde, at de fleste mennesker kan stole på. I en Pew Research-undersøgelse fra oktober 2006 sagde 50%, at du ikke kan være for forsigtig, og 45% sagde, at de fleste kan stole på.

Men i adskillige andre sammenligninger fandt vi, at den vanskelige prøve og standardprøver ikke kunne skelnes. De vanskelige at nå adskiller sig lidt om tilfredshed med nationale forhold, lykke med deres personlige liv eller politiske interesse og engagement.

Mens undersøgelsen af ​​tilbageholdende husstande viser tegn på potentialet for bias, er størrelsen af ​​en sådan bias sandsynligvis ret lille. Forskellene i demokratiske vælgers nomineringspræferencer mellem standardprøven og den modvillige respondentsprøve var store (en forskel på 15 procentpoint i margenen). Men der kan være mindre her, end det ser ud til. Det var slet ikke klart, at alle disse vælgere ikke ville stemme på Obama ved parlamentsvalget; modvillige respondenter antydede faktisk, at de ville stemme på ham til priser, der kunne sammenlignes med demokratiske vælgere i standardundersøgelsen. Yderligere ville enhver potentiel bias fra alle disse muligvis racistisk konservative vælgere, der undlod at stemme eller stemme republikanere, have været ret beskeden i betragtning af denne gruppes relativt lille størrelse.

IV. Diskussion

På trods af bekymring over de voksende problemer, som meningsmålingerne står over for og de særlige udfordringer ved et historisk valg, klarede de fleste meningsmålinger før valget i 2008 sig ganske godt med at forudsige resultatet af både præsidentvalget og statslige løb for guvernør og senator. Nogle gange giver afstemninger de rigtige resultater af de forkerte grunde, men det faktum, at mange slags afstemninger i forskellige løb og steder klarede sig godt, tyder stærkt på, at den underliggende metode til valgmåling stadig er robust.

Ved parlamentsvalget blev der ikke noget alvorligt skævt fra den såkaldte Bradley-effekt. Hvide vælgers støtte til Obama varierede ikke signifikant med løbet af interviewet, og mens vores undersøgelse af tilbageholdende husstande viser tegn på potentialet for en bias, er størrelsen af ​​en sådan bias sandsynligvis ret lille. Selvom det ikke er et fokus for den nuværende undersøgelse, viste præsidentens primære meningsmålinger, skønt de var mindre nøjagtige end de almindelige valgundersøgelser, heller ikke tegn på en systematisk bias på trods af de yderligere udfordringer, der ligger i den primære afstemning. Pro-Obama-forspændinger havde en tendens til at være relativt beskedne i størrelse, og de fleste af de fejl, der opstod, var undervurderinger af Obamas præstation.

Ikke-dækningsforstyrrelser som følge af øget afhængighed af mobiltelefoner er et voksende problem og kan påvirke nøjagtigheden af ​​afstemninger i fremtiden, da procentdelen af ​​vælgere, der kun kan nås via mobiltelefonstigninger. Selv med cirka 20% var den eneste cellepopulation ikke tilstrækkelig forskellig fra andre vælgere til at skabe en stor bias i de samlede undersøgelsesestimater, når normal demografisk vægtning blev anvendt. Men en lille bias var tydelig og kan vokse efterhånden som størrelsen af ​​den eneste cellepopulation udvides. Et flertal af celle-eneste vælgere er i alderen 30 år og ældre, og demografisk adskiller de sig mere fra deres fastnet-tilgængelige aldersgrupper end de celle-eneste vælgere under 30 år. Mindre klart er, om der findes en lignende bias med hensyn til den del af befolkningen, der både har fastnet og mobiltelefon, men som mest afhænger af mobiltelefonen.

Endelig skal vi være opmærksom på, at valget i 2008 udgjorde særlige udfordringer med at identificere sandsynlige vælgere, et af de almindelige problemer, som valgmålerne står over for. Niveauet for vælgerengagement syntes at være ekstremt højt gennem hele kampagnen, og i store dele af året var demokrater lige eller mere engagerede end republikanerne, en usædvanlig omstændighed. Desuden havde Barack Obama, som en amerikaner med blandet race og en forælder, der var muslim, ingen præcedens blandt kandidater til nationens højeste embede. Han var især populær blandt unge vælgere og afroamerikanere, to grupper med historisk lavere valgdeltagelse sammenlignet med ældre vælgere og hvide. Og tilføjelsen til nyheden i 2008 blev det forudsagt - korrekt - at langt flere vælgere ville stemme ved fravær eller tidlig afstemning end nogensinde før. På trods af disse omstændigheder var meningsmåleres metoder til at identificere sandsynlige vælgere (Perry 1960; Perry 1979) åbenbart tilstrækkelige til opgaven på trods af store variationer i tilgange og metoder, der blev brugt til at gøre det (AAPOR 2009).

Denne kommentar er baseret på en præsentation på det årlige møde i American Association for Public Opinion Research, Hollywood, Florida, den 14.-17. Maj 2009.

Find referencer og et tillæg, der beskriver metode og datakilder i den medfølgende PDF.