Non-Response-Bias tritt auf, wenn sich Personen, die an einer Forschungsstudie teilnehmen, von Natur aus von Personen unterscheiden, die nicht teilnehmen. Diese Verzerrung kann sich negativ auf die Repräsentativität der Stichprobe auswirken und zu verzerrten Ergebnissen führen. Wichtige Geschäftsentscheidungen auf Untersuchungen zu stützen, die mit nicht repräsentativen Befragten durchgeführt wurden, ist potenziell katastrophal.
Non-Response-Bias wird außerhalb des Klassenzimmers nicht viel beachtet. In der Graduiertenschule erinnere ich mich, dass ich diese Voreingenommenheit zusammen mit vielen anderen studiert habe, die in der Forschung am Menschen auftreten. In den zwei Jahrzehnten meiner Karriere wurde ich nur einmal nach Non-Response-Bias gefragt. Es ist kein beliebtes Thema.
Wir wissen viel über unsere Forschungsteilnehmer durch Beobachtung, entweder durch die tatsächliche Betrachtung von Verhaltensweisen oder durch die Untersuchung von Umfrageantworten. Es ist jedoch schwierig, Psychografien oder Verhaltensweisen unter Nichtteilnehmern zu bestimmen (wir haben per Definition keine Informationen). Wir können die Hypothese aufstellen, warum sie sich entscheiden könnten, nicht teilzunehmen…zu beschäftigt, egal, wusste nichts über die Forschungsmöglichkeit, mag es nicht, Meinungen abzugeben, vergaß zu antworten, machte sich Sorgen um die Privatsphäre und so weiter. Aber das sind nur Vermutungen. Wir haben eine Vorstellung davon, dass sich diese Befragten in Bezug auf Einstellung und Verhalten von den Forschungsteilnehmern unterscheiden können. Auch hier wissen wir wirklich nicht, wie sich diese Unterschiede auf die Forschungsergebnisse auswirken könnten.
Forscher sind ein gewissenhaftes Los und suchen nach einer repräsentativen Stichprobe für ihre Studien (qualitativ und quantitativ). Aber seien wir ehrlich. Es ist einfacher, so zu tun, als gäbe es keinen Non-Response-Bias, als ihn anzuerkennen und anzugehen. Die Bekämpfung von Non-Response-Bias ist aus einem sehr zwingenden Grund ein Nicht-Starter – es reicht von schwierig bis unmöglich, ohne große Investitionen in Zeit und Budget entgegenzuwirken. In der heutigen „Fail Fast“ -Umgebung besteht die vorherrschende Einstellung darin, diese Voreingenommenheit zu ignorieren und weiterzumachen. Wir wissen nicht, was wir nicht wissen, also warum spielt es im großen Plan der Dinge eine Rolle?
Diese Haltung wird nicht von allen Institutionen geteilt. Ein herausragendes Beispiel sind die USA. Census Bureau, das unter anderem alle 10 Jahre eine vollständige Zählung der Bevölkerung durchführt. Obwohl gesetzlich verpflichtet, auf die Umfrageformulare zu antworten, die jedem Haushalt in der Nation zugesandt werden, nehmen etwa 30% der Haushalte nicht teil. Das Census Bureau nimmt sein Mandat ernst und schickt Arbeiter, um die Umfrage an Nicht-Responder zu verwalten. Diese Arbeitnehmer besuchen denselben Haushalt bis zu sechs Mal, um ein ausgefülltes Formular zu erhalten.Das Census Bureau kann sich auf die persönliche Umfrageverwaltung verlassen, um die Nicht-Antwort-Verzerrung zu verringern, da es mit einem hohen Budget arbeitet (das Budget für 2010 betrug über 5 Milliarden US-Dollar). Genaue Volkszählungsergebnisse führen zu einer besseren Vertretung im Kongress und einer gerechteren Zuweisung von über 100 Milliarden US-Dollar an Bundesmitteln. Man könnte sagen, dass die Aufmerksamkeit des Census Bureau auf Non-Response-Bias einen enormen Return on Investment erbringt.Realistisch gesehen sind Marktforschungsbudgets von mehr als 5 Milliarden US-Dollar und Projektzeitpläne, die sich über mehrere Monate erstrecken, jedoch schwer zu bekommen. Es gibt jedoch Strategien, die die Auswirkungen von Non-Response-Bias mildern können, die keine großen Budgets und längere Zeiträume erfordern.
- Vermeiden Sie Methoden, die die Teilnahme bestimmter Gruppen verhindern könnten. Hat die Probe Eigenschaften, die es ihnen schwer machen, mit bestimmten Methoden zu reagieren? Online-Umfragen sind sehr beliebte Recherchetools, da sie relativ billig und schnell sind. Online-Umfragen sind jedoch möglicherweise nicht die beste Wahl, beispielsweise für ältere Befragte mit niedrigerem Einkommen. Die Verwendung einer Online-Methode kann dazu führen, dass eine Stichprobe mehr aus jüngeren Verbrauchern mit höherem Einkommen besteht, die andere Werte, Überzeugungen und Meinungen haben als ihre älteren Kollegen mit niedrigerem Einkommen.
- Erinnern Sie die Befragten an die anfängliche Forschungsbeteiligung und lassen Sie sie wissen, wann sie antworten müssen. Erwägen Sie die Verwendung von E-Mail- und Texterinnerungen. Dies erhöht die Wahrscheinlichkeit, dass Zauderer und diejenigen, die nicht gerne E-Mails abrufen (Millennials und Gen Z), in die endgültige Stichprobe aufgenommen werden. Dies bedeutet auch, dass die Umfrage mehrere Tage bis zu einer Woche geöffnet bleibt, damit Befragte, die ihre E-Mails nicht täglich abrufen, antworten können.
- Halten Sie Umfragen kurz und/oder führen Sie Vortests durch, um sicherzustellen, dass der Anreiz zur Teilnahme den Erwartungen entspricht. Eine Methode wäre, eine Kurzumfrage zu verwenden, die aus einigen Schlüsselfragen besteht, und dann die Möglichkeit zu bieten, zusätzliches Feedback zu einer längeren Umfrage zu geben. Bevor die Schlüsselfragen kombiniert werden, würden statistische Tests bestimmen, ob diejenigen, die die Kurzformumfrage beantworteten, andere Antworten gaben als diejenigen, die die längere Umfrage beantworteten. Ich vermute, dass es in den meisten Fällen keinen Unterschied geben würde. Eine solche Methodik würde theoretisch die Gewissheit geben, dass ein Teil der Nichtantwortverzerrung berücksichtigt wurde.
- Verwenden Sie mehrere Ansätze. Das Mischen von Methoden ist eine starke Taktik, um Non-Response-Bias zu verhindern. Personen, die nur ungern an einer qualitativen Gruppenstudie teilnehmen, können sich beispielsweise in einem Online-Bulletin-Board wohler ausdrücken. Ein bekanntes Snack- und Getränkeunternehmen setzt verschiedene Methoden ein, um die Teilnahme zu fördern. Sie nutzen nicht nur die üblichen Online- und Zentralstandortansätze, sondern schicken mobile Rechercheeinheiten an innerstädtische Standorte, um Feedback von Verbrauchern zu erhalten, die sonst nicht einbezogen würden.
Non-Response-Bias vollständig aus der Forschung zu entfernen, ist eine unmögliche Aufgabe. Unabhängig davon sollten Forscher sich bemühen, dies zu tun. Die Stakeholder schätzen den Aufwand, der erforderlich ist, um Verzerrungen zu reduzieren, möglicherweise nicht vollständig ein. Ich bin mir jedoch sicher, dass wir alle es zu schätzen wissen, mehr Vertrauen zu haben, dass Geschäftsentscheidungen, die auf sauberer, repräsentativerer Forschung basieren, mit größerer Wahrscheinlichkeit erfolgreich sind.