Hvor forskellige er folk der ikke reagerer på pollsters?

af Evans Witt og Jonathan Best, Princeton Survey Research Associates


til Pew Internet & American Life Project

I midten af ​​2007 gennemførte Princeton Survey Research Associates en større undersøgelse for Pew Internet Project og University of Illinois-Urbana-Champaign om, hvordan folk løser visse former for problemer.1Finansiering til denne undersøgelse blev leveret af et føderalt agentur kaldet Institute for Museum and Library Services.2Alle undersøgelser, der understøttes af den føderale regering, gennemgås af Det Hvide Huss kontor for ledelse og budget. I processen med at evaluere vores undersøgelse spurgte OMB-embedsmænd, om vi kunne udføre yderligere arbejde for at se, om ikke-respondenter til den oprindelige afstemning var forskellige fra dem, der svarede. Den følgende artikel uddrager de vigtigste resultater af denne yderligere analyse.


Resumé af resultaterne

I de sidste to årtier har forskerfaget stået over for et stigende antal amerikanere, der ikke gennemfører interviews. Niveauerne af en sådan manglende reaktion rejser spørgsmål om undersøgelsernes repræsentativitet og gyldighed og de data, de leverer. Den yderligere analyse, der blev produceret efter anmodning fra Det Hvide Huss kontor for ledelse og budget (OMB), havde tre elementer.

For det første blev interviewindsatsen på en delprøve af telefonnumre genereret ved hjælp af edb-tilfældige opkaldsmetoder (RDD) fordoblet. RDD er praksis for pollsters for at generere resultater fra en tilfældig, repræsentativ delmængde af en befolkning. Det oprindelige undersøgelsesdesign krævede maksimalt 10 opkald til hvert nummer. Vi valgte 1.500 af de telefonnumre, der ikke gav komplette undersøgelsesinterviews efter 10 opkald og ringede dem mindst 20 gange. Resultaterne af den ekstra indsats blev sammenlignet med resultaterne af den standard 10-opkaldsindsats.



For det andet blev der foretaget en analyse af undersøgelsesresultater fra det grundlæggende design med 10 opkald ved at segmentere interviews efter den mængde indsats, der faktisk kræves for at få resultater.


For det tredje blev den samlede stikprøve af telefonnumre og den delmængde, der leverede afsluttede interviews ved hjælp af 10-opkaldsdesignet, analyseret for at bestemme, hvilke slags samfund der var under- og overrepræsenteret i afsluttede interviews.

Resultaterne af analysen fandt:


    • Fordobling af interviewindsatsen til 20 opkald producerede 84 yderligere interviews. Resultaterne fra disse ekstraindsatsinterviews varierede kun lejlighedsvis og marginalt fra resultaterne i basisundersøgelsen.
    • Den ekstra interviewindsats trak svar fra dem, der normalt er sværere at nå i undersøgelser: Yngre voksne, arbejdende voksne og dem med universitetsgrader var en større andel af de afsluttede ekstraindsatsinterviews.
    • Analysering af den oprindelige undersøgelse efter niveauet for den krævede indsats for at opnå et interview afslørede få statistisk signifikante forskelle. Med andre ord var der få meningsfulde forskelle mellem dem, der blev nået i den første bølge af opkald, sammenlignet med dem, der blev nået i det niende eller tiende forsøg på et telefonnummer. Analyse af den komplette RDD-prøve og de 'ekstra indsats' afsluttede interviews efter samfundskarakteristika viste, at interviews er sværest at gennemføre i byområder og nemmest at gennemføre i landdistrikter. Mens der ikke synes at være nogen signifikante variationer på tværs af samfund efter gennemsnitlig husstandsindkomst, var områder med højere minoritetspopulationer (både latinamerikanske og afroamerikanske) mindre produktive med hensyn til samtaler, parallelt med fundet i byområder.

    Spørgsmålet om manglende svar på undersøgelsen

    Færre mennesker reagerer på undersøgelser nu end tidligere. Disse mangler ved at gennemføre interviews skyldes forskellige faktorer, men de største komponenter er berøringsfri (dvs. manglen på at nå frem til en person på det sted eller telefonnummer, der er angivet som en del af prøven) og afslag (resultatet af aktive eller passive aktiviteter for at undgå at gennemføre undersøgelsen). Således er spørgsmålet: Hvordan adskiller de mennesker, der ikke gennemførte undersøgelsen, sig fra dem, der gjorde det?

    Der har været en række fremragende resuméer af forskningen om manglende respons og potentiel bias fra manglende respons i undersøgelser, hvoraf den seneste erOffentligt opfattelse kvartalsvis, særlig udgave: Bias ved manglende reaktion i husholdningsundersøgelser.3DetPOQspecialudgave inkluderer en rapport om det seneste store eksperiment for at måle virkningen af ​​ekstra indsats for at gennemføre telefoninterviews.4Et centralt træk ved hvert af disse to eksperimenter var at sammenligne en standard RDD-undersøgelse gennemført over en fem-dages periode med en RDD-undersøgelse ved hjælp af det samme spørgeskema, det samme stikprøvedesign, prøvefelthuset, men en kaldeperiode, der strakte sig mere end seks måneder. PSRAI deltog i hvert af disse eksperimenter. Baseret på disse modeller blev dette eksperiment designet med de tre elementer beskrevet i resuméet ovenfor.


    Grundlæggende indsatsanalyse 1: Virkningen af ​​interviewindsats

    En variabel i tre kategorier blev beregnet for at hjælpe med analysen af ​​den krævede indsats for at gennemføre interviews.

      • 'Svært' at nå:Telefonnumre, der var blevet ringet op seks eller flere gange i den originale prøveoghvor potentielle respondenter nægtede at blive undersøgt, blev defineret som 'hårde', hvilket betyder, at det højeste niveau af faktisk interviewindsats var nødvendigt for at gennemføre et interview.
      • 'Let' at nå:Telefonnumre, der var blevet kaldt fem eller færre gange i den oprindelige prøve, og hvor ingen potentielle respondenter nægtede at deltage, blev defineret som 'let', hvilket betyder, at det laveste niveau af interviewindsats var nødvendigt for at gennemføre et interview.
      • Krævet 'medium' indsats:Alle andre telefonnumre blev defineret som 'medium' indsats, herunder respondenter, der blev kaldt seksellerflere gange eller havde nægtet at deltage i et interview, men ikke begge.

      Tabellen nedenfor sammenligner respondenternes demografiske eksempler i henhold til den indsats, det krævede for at gennemføre et interview. Det viser, at en større indsats viste sig at være positiv for at nå ud til yngre respondenter, især de 18-29 år. Ældre respondenter (65 år eller derover), der blev defineret som lette at nå, var overrepræsenterede sammenlignet med deres udbredelse i den almindelige befolkning; færdiggørelsesgraden er markant og meget lavere for mellemstore eller svært tilgængelige respondenter.

      Den større indsats, der blev brugt på at gennemføre interviews med hvide, var mest produktiv ved genkontakt med respondenter i den lette gruppe (som ikke havde nægtet deltagelse eller blev kaldt færre end seks gange tidligere), hvor 69% af prøven var hvid. Respondenter i mellemstore eller hårde kategorier var noget mindre tilbøjelige til at være hvide. Mere indsats førte til et større antal afsluttede interviews med afroamerikanere. Der var lille forskel ved indsats for at nå latinamerikanere.

      Figur

      Det viste sig at være sværere at gennemføre interviews med respondenter i mellemklasse og hårde kategorier, der var ansat på fuld eller deltid sammenlignet med respondenter, der sagde, at de var pensionister. Mens den større indsats betalte sig i højere gennemførelsesgrader blandt de ansatte i mellemstore og hårde kategorier, var ekstra indsats mindre frugtbar i at gennemføre interviews med pensionister i mellemstore og hårde kategorier (30% blandt let versus et gennemsnit på 22% for et aggregat af medium og hårdt).

      Effekter af indsats på demografiske distributioner på fællesskabsplan

      Vi testede også for at se, om mere indsats hjalp med at gennemføre interviews i samfund, der var sværere at nå. Typisk i RDD-telefonprøver er husstande i stærkt befolkede byområder underrepræsenteret. Disse husstande er også mere tilbøjelige til at have mindretalsbeboere.

      I nedenstående tabel sammenlignes de tre delprøver i forhold til befolkningstæthed og procentdelen af ​​et samfunds befolkning, der er mindretal. Der var ingen signifikante forskelle mellem færdiggørelsesgraden med hensyn til de krævede indsatsniveauer for at få respondenterne til at deltage. Der var ingen signifikant variation i at nå respondenter i områder med høj tæthed med hensyn til det indsatsniveau, der blev brugt til at gennemføre interviews.

      Figur

      Effekter af indsats på væsentlig fordeling af spørgsmålssvar

      Af særlig interesse for denne eller enhver forskning er den mulige effekt, som ekstra indsats kan have på de materielle resultater. Til denne analyse har vi valgt en undersæt af spørgsmål, der skal undersøges. De første spørgsmål, vi analyserede, var en serie om at besøge forskellige lokale institutioner i de sidste 12 måneder. Der er ringe variation blandt de bekræftende svar i denne serie. Ingen af ​​forskellene er statistisk signifikante.

      Figur

      På samme måde observerede vi en sammenligning af resultaterne af en række spørgsmål om computer- og internetbrug blandt respondenter i undergrupperne ingen statistisk signifikante forskelle i svar blandt indsatsområder.

      Figur

      Endelig undersøgte vi forskelle i en række spørgsmål, der blev stillet om ti situationer eller beslutninger, som folk måske har haft i de sidste to år. Der var statistisk signifikante forskelle mellem de tre undergrupper på kun to af de 10 emner på listen. De sværeste at nå respondenterne var mere tilbøjelige end andre i kategorierne let og mellemstore til at have truffet en beslutning om skolegang eller uddannelse (46% mod 40% for mellemstore og 34% for lette). Alder og forældrestatus er sandsynligvis de faktorer, der påvirker disse resultater. Yngre respondenter er typisk sværere at nå ud til, vises i prøven med højere indsats i højere proportioner end i den oprindelige undersøgelse og er i sagens natur mere tilbøjelige til for nylig at have truffet beslutninger om deres uddannelse.

      Den større sandsynlighed blandt respondenter, der er lette (48%) og mellemstore (51%) kategori for at have behandlet en alvorlig sygdom eller helbredstilstand, skyldes, at ældre og pensionister er lettere at kontakte.

      Figur

      Det næste trin var at analysere resultaterne på spørgsmål, der blev stillet om de kilder, som folk bruger til at få information eller hjælp. Her var resultaterne generelt ensartede blandt indsatskategorierne. Der var små statistisk signifikante forskelle med hensyn til dem, der brugte Internettet til at finde information eller hjælp til at løse deres problemer. Mellemstore og svære tilgængelige respondenter var lidt mere tilbøjelige til at bruge internettet (57% for hårde / mellemstore versus 53% for lette) end de respondenter, der var lette at nå til. Dette korrelerer med den større brug af Internettet af yngre mennesker, som igen er sværere at nå.

      Figur

      Grundlæggende indsatsanalyse II: Fællesskabsdemografi og afslag

      Den anden del af analysen af ​​potentiel ikke-respons bias inkluderer en undersøgelse af endelige prøve dispositioner af numre, der ringes op af samfundet for at vurdere over- eller underrepræsentation i den originale prøve. Dispositionskategorier inkluderer afsluttede interviews (afsluttede), en kombination af afslag og tilbagekald (afslag / tilbagekald) og opkaldte numre, hvor ingen potentiel respondent blev kontaktet (ikke-kontakter). Tabellen nedenfor sammenligner effekten af ​​region, samfundstype og om de, der blev udtaget stikprøve, bor i et Metropolitan Statistical Area (MSA)5eller ej, på svar.

      Figur

      Som det kan ses i ovenstående tabel ses forskelle i respons hovedsageligt blandt geografiske regioner, der er repræsenteret i stikprøven.

      En højere relativ andel af interviews med respondenter fra Midtvesten blev afsluttet (23%) sammenlignet med kun 15% i Vesten. Helt en tredjedel af stikprøven i den vestlige region kunne ikke kontaktes af PSRAI-interviewere. Tilsvarende kunne interviewere ikke kontakte en potentiel respondent for 33% af stikprøven, der kom fra byområder. Vestprøven selv var væsentligt skæv mod bysamfund, der udgør 54% af den samlede prøve for regionen.

      Indkomst, mindretalstæthed og respons

      I nedenstående tabel sammenlignes dispositionskategorierne med den gennemsnitlige husstandsindkomst og den procentvise tæthed for latinamerikanere og afroamerikanere inden for prøveblokke, der blev brugt til interview. Der er meget lille forskel mellem indkomstfordelingen for de tre stikprøvesegmenter. Mellem 35% og 40% af hvert segment kom fra områder med lavere husstandsindkomster, og mindre end 10% af hver gruppe kom fra områder med den højeste indkomst.

      Figur

      Interview var lettere at gennemføre i områder med færre spanske husstande. Næsten to tredjedele af alle afsluttede interviews (63%) kom fra områder med den laveste forekomst af latinamerikanske husstande. Kun ca. halvdelen af ​​prøven i de andre grupper kom fra disse latinske områder med lav forekomst (53% af afslag / tilbagekald og 46% af ikke-kontakter). Den samme tendens ses ikke, når man sammenligner de afroamerikanske områder med høj og lav densitet. Kompletter, afslag og ikke-kontakter blev distribueret omtrent det samme over de afroamerikanske lag.

      Ekstra indsatsanalyse III: Ekstra indsats, ekstra opkald

      I et forsøg på at analysere potentiel manglende responsforstyrrelse i undersøgelsesresultaterne blev en stikprøve på 1.500 telefonnumre, der var blevet kaldt 10 gange og stadig var levende numre, sat i et nyt projekt og ringet op til 10 gange mere for at forsøge at gennemføre en interview. Tallene inkluderet i opkaldet med ekstra indsats faldt i tre kategorier.

        • Ikke-kontakter:Tal, der ikke havde givet nogen kontakt med en person i den indledende undersøgelse. Disse tal var en kombination af intet svar / optaget / telefonsvarer til alle forsøg.
        • Afslag:Tal, der havde givet afslag på et af de første 10 forsøg, men ikke blev konverteret til et afsluttet interview.6
        • Afbrud:Tal, hvor respondenterne havde startet et interview, men ikke afsluttede.

        Yderligere 13.742 opkald blev foretaget til prøven med ekstra indsats, og yderligere 84 interviews blev afsluttet. Dette oversættes til et afsluttet interview for hvert 164 opkaldsforsøg.7

        Det er vanskeligt at gennemføre et interview, når et telefonnummer er blevet ringet op 10 gange uden succes. Tabellen sammenligner resultatet af ekstra indsatsnumrene ved det 10. forsøg (kolonnerne) med resultatet efter 20 eller flere opkald (rækkerne).

        Figur

        Som det fremgår af tabellen, var succesraten lav, idet kun 6% af sagerne med ekstra indsats gav afsluttede interviews. Konverteringskursen var højere for break-offs og callbacks, med henholdsvis 16% og 14% konverteret. De tal, der ikke var kontakter i de første 10 forsøg, havde den laveste konverteringsfrekvens (3%). Syv procent af afslagene blev konverteret efter det tiende forsøg.

        Effekt af ekstra indsats på demografi på personniveau8

        En måde at måle potentiel bias på ikke-svar er at sammenligne demografien for de adspurgte respondenter med den ekstra indsats med de interviewede uden ekstra indsats. Tabellen nedenfor sammenligner de grundlæggende eksempler på demografi for de to grupper. Befolkningsparametrene er også repræsenteret i tabellen for at sætte tallene i sammenhæng.

        Figur

        Kønsfordelingen af ​​de to prøver var næsten identisk, 39% og 40% mænd. Som det er almindeligt i de fleste telefonundersøgelser, er mænd underrepræsenteret. Der var en forskel i aldersfordelingen for de to prøver, hvor prøven med ekstra indsats gjorde et lidt bedre stykke arbejde med at nå yngre respondenter, især den 30-49 år gamle gruppe. Derudover gav den ekstra indsats en mere passende andel af ældre respondenter (13%) end den almindelige prøve (25%).

        Begge prøver overrepræsenterede universitetsuddannede og underrepræsenterede mennesker med mindre uddannelse. Imidlertid fik den almindelige prøve generelt set en lidt bedre samlet uddannelsesfordeling.

        Race / etnicitet for de to prøver var sammenlignelig. Den ekstra indsats betalte sig imidlertid for at nå ud til flere spanske respondenter end standardprøven. Ekstraindsatsprøven nåede også ud til flere beskæftigede respondenter end standardprøven (66% versus 55%) og repræsenterede ikke pensionister over, ligesom standardprøven.

        Effekt af ekstra indsats på udvalgte materielle spørgsmål

        Vi undersøgte forskelle i svar på spørgsmål om informationskilder, som folk brugte, da de konfronterede problemer for at se, om der var nogen forskelle mellem de intitale prøver og ekstra indsats. Resultaterne for de to prøver var meget ens med undtagelse af internetbrug til at finde information eller hjælp til at løse problemer. Signifikant flere mennesker i prøven med ekstra indsats rapporterede at bruge Internettet til at få information om eller hjælp til deres nylige beslutning eller situation (68% versus 55%).

        Figur

        En sidste note om potentiel bias

        Den ekstra interviewindsats havde den forventede effekt: De, der er sværere at nå generelt, var dem, der blev nået med ekstra indsats. Yngre voksne, arbejdende voksne og dem med universitetsgrader er sværere at nå og var således en større del af den ekstra indsats, der er afsluttet. Med hensyn til materielle spørgsmål svarer virkningen af ​​den ekstra indsats til de demografiske forskelle. De, der blev opnået med ekstra indsats, var mere tilbøjelige til at sige, at de har behandlet et uddannelsesspørgsmål (der afspejler de yngre voksne) og mindre tilbøjelige til at have behandlet et sundhedsproblem eller Medicare (hvilket afspejler den større andel af ældre voksne i den normale prøve). Selv når resultaterne var markant forskellige med gruppen med ekstra indsats, var indvirkningen på de samlede resultater lille. Overvej, at stikprøven på 1.500 ekstra indsatsnumre kun gav 84 afsluttede interviews. Da kun omkring 3.000 numre kvalificerede sig til ekstraindsatsundersøgelsen, selvom alle af dem var blevet ringet op yderligere 10 gange, ville det have tilføjet ca. 170 kompletter til hovedprøven på mere end 2.000. Selvom resultaterne af ekstra indsats adskiller sig væsentligt fra hovedprøven, ville der simpelthen ikke være nok af dem til at flytte de samlede undersøgelsesresultater.


        1 Informationssøgninger, der løser problemer. Leigh Estabrook, Evans Witt og Lee Rainie 30/30/2007 https://www.pewresearch.org/internet/PPF/r/231/report_display.asp 12/30/2007.

        2OMB Clearance Number, 3137-0070, udløbsdato 06.30.2010.

        3 Offentlig opfattelse kvartalsvis, Special Issue: Non-Response Bias in Household Surveys, 2006, Vol. 70, nr. 5.

        4 Måling af virkningen af ​​voksende manglende respons på skøn fra en national RDD-telefonundersøgelse, Keeter og. al.POQ70: 759-779. Dette opdaterede en anmeldelse foretaget iKonsekvenser af at reducere manglende reaktion i en stor national telefonundersøgelse, Keeter og. al.,POQ64: 125-48.

        5MSA'er er afgrænset på basis af et centralt urbaniseret område - et sammenhængende område med relativt høj befolkningstæthed. Amterne, der indeholder det centrale urbaniserede område, er kendt som de centrale amter i MSA. Yderligere omkringliggende amter (kendt som fjerntliggende amter) kan inkluderes i MSA, hvis disse amter har stærke sociale og økonomiske bånd til de centrale amter målt ved pendling og beskæftigelse. Bemærk, at nogle områder inden for disse fjerntliggende amter faktisk kan have landdistrikter.

        6Hårde afslag blev udelukket fra den ekstra indsats undersøgelse. Dette er telefonnumre, hvor de potentielle respondenter har nægtet at samarbejde på en usikker måde.

        7Forskellen i at kalde produktivitet mellem de to prøver er endnu mere udtalt, hvis man mener, at mange af de ikke-fungerende telefonnumre blev identificeret ved første forsøg, før den ekstra indsats overhovedet startede.

        8Uvægtede data blev brugt til alle sammenligninger i denne rapport.