• Vigtigste
  • Nyheder
  • Spørgsmål og svar: Hvad New York Times 'valgbeslutning betyder

Spørgsmål og svar: Hvad New York Times 'valgbeslutning betyder

New York Timesog CBS News kom med store nyheder i afstemningsverdenen i weekenden, da de meddelte, at de vil begynde at bruge online undersøgelsespaneler fra YouGov som en del af deres valgdækning. YouGov, et britisk-baseret forskningsfirma grundlagt i 2000, bruger sådanne paneler snarere end traditionelle telefonundersøgelser; paneletTiderog CBS bruger har mere end 100.000 medlemmer. DetTider,med henvisning til bekymring over manglen på ikke-partidige undersøgelsesdata af høj kvalitet, især på statsniveau, siger det planlægger at inkludere YouGov-resultater som en del af 'en forskellig række undersøgelser, der anvender forskellige metoder'.


Keeter

Mens paneler længe har været brugt af markedsforskere, er de relativt nye inden for meningsforskningsfeltet, og synspunkter om dem er skarpt opdelt. Vi bad Scott Keeter, Pew Research Centers direktør for undersøgelsesforskning, om at forklare de spørgsmål, der står på spil og give os hans indledende tanker.

Hvad er forskelligt ved YouGov-panelundersøgelserne fra de undersøgelser, der tidligere blev brugt af Times, CBS og Pew Research?


Der er to store forskelle. Den ene er, at disse udføres helt online blandt internetbrugere. Folk, der ikke bruger internettet, er ikke inkluderet (mere om dette nedenfor). Den anden - og uden tvivl den største - forskel er, at prøverne til disse undersøgelser udvælges ved hjælp af såkaldte ikke-sandsynlighedsprøvetagningsmetoder. I årtier er kun sandsynlighedsprøver eller tilfældige prøver generelt blevet accepteret som en videnskabelig måde at producere nøjagtige, repræsentative prøver til undersøgelser på.

Forklar forskellen mellem en sandsynlighed og en ikke-sandsynlighedsprøve.

American Association for Public Opinion Research, den førende sammenslutning af fagfolk inden for undersøgelsesforskning, har forklaret det godt. Sådan formulerede deres taskforce for ikke-sandsynlighedsprøve det i deres store rapport sidste år: 'I en sandsynlighedsprøve har alle i befolkningen af ​​interesse (f.eks. Alle registrerede vælgere i en politisk afstemning) en chance for at blive udvalgt til en interview. At kende disse chancer er afgørende for at skabe gyldige statistiske skøn '. Ikke-sandsynlighedsprøver derimod 'er dem, hvor deltagerne vælges eller vælger selv, så chancen for at blive valgt ikke er kendt'.



Her er hvordanTimes 'Nate Cohn forklarede, hvordan YouGov sætter sit online panel sammen: Virksomhedens forsøg på at opbygge et stort, forskelligt panel og derefter matche sine paneldeltagere med demografisk lignende respondenter fra American Community Survey…. Dette trin er beregnet til at efterligne sandsynlighedsudtagning. Men det kan kræve betydelige antagelser om sammensætningen af ​​vælgerne, herunder partiskhed '.


De største fordele ved sandsynlighedsudtagning er (1) det faktum, at forskerne vælger respondenter, snarere end at lade respondenterne frivilligt deltage, og (2) at kendskab til chancerne for at vælge en person giver os mulighed for at estimere, hvor meget en given prøve er sandsynligvis adskiller sig fra, hvad vi ville have fundet, hvis vi havde interviewet alle i befolkningen. Det vises som en undersøgelses 'fejlmargin'. Der er ingen sammenlignelig fejlmargin for ikke-sandsynlighedsprøver.

Så hvorfor ville Times og CBS se på metoder, der ikke er sandsynlige? Har sandsynlighedsbaserede metoder som tilfældige cifferopkald (RDD) telefonundersøgelser deres egne problemer?


Det gør de faktisk. Som vores tidligere forskning om manglende respons på undersøgelser har vist, er det stadig sværere at nå ud til og interviewe mennesker. Men der er to vigtige punkter at komme med. For det første gjorde telefonafstemninger - inklusive vores - et generelt godt stykke arbejde med at forudsige valg i 2012 og i tidligere år. Vores prøver ligner fortsat meget befolkningen på de fleste indikatorer, for hvilke vi har pålidelige data fra folketællingen og andre kilder af høj kvalitet.

For det andet kan problemerne med en forskningsmetode ikke i sig selv bruges til at retfærdiggøre vedtagelsen af ​​et alternativ. Alternativet skal bevise, at det er nøjagtigt nok og præcist nok til de formål, som vi i øjeblikket anvender RDD-telefonundersøgelser til. Feltet ved en masse om forspændingerne og problemerne med vores nuværende metoder. Der er en langt mindre komplet forståelse af bias og problemer med ikke-sandsynlighedsmetoder, men jeg er håb om, at vi får den forståelse gennem en proces med omhyggelig eksperimentering

Hvad betyder det for journalistik og for undersøgelsesverdenen mere generelt, at Times og CBS fra alle nyhedsorganisationer har besluttet at bruge YouGovs panel? Vil du forvente, at andre nyhedsorganisationer følger nu, når disse to har brudt isen?

Dette er en meget stor aftale i undersøgelsesverdenen. Indtil nu har ingen større nyhedsorganisationer sat sit brand på at bruge undersøgelser baseret på ikke-sandsynlighedsmetoder. Flytningen har skabt en meget livlig debat på Twitter blandt journalister og meningsmålinger. Der er stærke meninger om spørgsmålet om ikke-sandsynlighedsprøver. Her er en visning fraWashington Postmeningsmåler Scott Clement:


Weekendens nyheder: @nytimes og @CBSNewsPoll opgiver årtier med kvalitetsforskningsmetoder.

- Scott Clement (@sfcpoll) 27. juli 2014

Og en anden opfattelse fra Amy Walter, national redaktør for Cook Political Report:

Her er virkeligheden: afstemningen om kun telefon / celle dør tæt på død. Den eneste Q er, hvad der erstatter den

- amy walter (@amyewalter) 28. juli 2014

Jeg kan ikke forudsige, hvad andre organisationer vil gøre, men jeg forventer, at dette vil anspore til flere eksperimenter - og det er en god ting for marken. FordiTiderog CBS News har et godt ry for gennemsigtighed, jeg forventer fuldt ud, at vi vil lære meget mere om YouGov-metoden i de kommende uger. Det er også en god ting.

Hvordan kan en undersøgelse, der kun er baseret på internetbrugere, give en nøjagtig repræsentation af hele offentligheden?

Det er værd at huske, at ikke alle er online: Ifølge vores seneste skøn bruger 89% af amerikanske voksne internettet. Den gode nyhed fra et afstemningsperspektiv er, at tallet stiger støt - det var 79% for blot fem år siden - så den potentielle bias fra at udelukke ikke-internetbrugere med at blive mindre og mindre.

Det er stadig tilfældet, at folk, der ikke bruger internettet, adskiller sig på mange måder fra dem, der gør det - især er de ældre, fattigere og mindre uddannede. Men deres svindende antal betyder, at deres fravær fra en undersøgelse ikke vil gøre en enorm forskel i resultaterne på de fleste spørgsmål. Alligevel synes vi, det er vigtigt at kunne beskrive vores prøver som 'nationalt repræsentative' og forsøge at sikre, at de er, når det er muligt.

Hvis dette viser sig at være en vellykket indsats for Times og CBS News, betyder det så, at andre meningsmålere vil omfatte ikke-sandsynlighedsprøveudtagning?

Ikke nødvendigvis. Det er vigtigt at huske på, at onlinepaneler uden sandsynlighed varierer i kvalitet, ligesom sandsynlighedsbaserede undersøgelser gør. Et af de vigtigste punkter i AAPOR Task Force-rapporten er, at der ikke er nogen enkelt konsensusmetode til udførelse af 'ikke-sandsynlighedsprøveudtagning'. Der er mange forskellige tilgange, og de fleste af dem har ikke den offentlige rekord for ydeevne, som YouGov har. YouGov har gennemført offentlige afstemninger ved valg i mange år. Som et resultat har de en track record, der kan sammenlignes med sandsynlighedsbaserede afstemninger. Indtil vi har flere organisationer, der foretager afstemninger inden valget og forklarer deres metoder i detaljer, tror jeg, at vedtagelse af ikke-sandsynlighedsprøveudtagning til politisk afstemning vil gå langsomt.

Bruger Pew Research ikke et online panel lige nu?

Vi har et panel - det hedder 'The American Trends Panel' - men det er meget forskelligt fra det, somTiderog CBS bruger. Det er baseret på en sandsynlighedsprøve, og mens de fleste af interviews gennemføres online, har vi også paneldeltagere, der ikke bruger internettet. Vi interviewer disse personer via mail eller telefon. Her er et link til flere detaljer.

Vil Pew Research nogensinde bruge den slags online-ikke-sandsynlighedspanel, som Times og CBS bruger?

Ja, det vil vi - men det virkelige spørgsmål er, hvad vi vil bruge det til. Vores nuværende standarder tillader brug af ikke-sandsynlighedsprøver til bestemte formål, såsom at gennemføre eksperimenter eller foretage dybdegående interviews. Derudover er vi gået i gang med et forskningsprogram for at hjælpe os med bedre at forstå de betingelser, under hvilke ikke-sandsynlighedsprøver kan give videnskabeligt gyldige data. Vi undersøger også, hvordan man bruger datakilder, der ikke er til undersøgelse, som i sagens natur har tendens til at komme fra 'prøver', der ikke er tilfældige. Men indtil vi forstår fordelene og ulemperne ved disse metoder meget bedre, vil vi være meget forsigtige med at integrere dem i vores forskning.