błąd braku odpowiedzi występuje, gdy osoby biorące udział w badaniu są z natury różne od osób, które nie uczestniczą w badaniu. To odchylenie może negatywnie wpłynąć na reprezentatywność próbki badawczej i prowadzić do wypaczonych wyników. Opieranie ważnych decyzji biznesowych na badaniach prowadzonych z udziałem respondentów niereprezentatywnych jest potencjalnie katastrofalne.
stronniczość braku odpowiedzi nie zwraca zbyt wiele uwagi poza klasą. Na studiach pamiętam, że studiowałem to uprzedzenie wraz z wieloma innymi, które pojawiają się w badaniach nad ludźmi. W ciągu dwóch dekad mojej kariery tylko raz pytano mnie o Brak odpowiedzi. To nie jest popularny temat.
wiele wiemy o naszych uczestnikach badań poprzez obserwację, albo rzeczywiste oglądanie zachowań lub badanie odpowiedzi ankietowych. Ale trudno jest określić psychografię lub zachowania wśród Nie-uczestników (z definicji mamy zero informacji). Możemy postawić hipotezę, dlaczego mogą nie brać udziału…zbyt zajęty, nie obchodzi mnie to, nie wiedział o możliwości badań, nie lubi wydawać opinii, zapomniał odpowiedzieć, zaniepokojony prywatnością i tak dalej. Ale to tylko domysły. Mamy pewien pomysł, że respondenci mogą być różne postawy i zachowania od uczestników badań. Ponownie, naprawdę nie wiemy, jak te różnice mogą wpłynąć na wyniki badań.
badacze są sumienną partią i starają się uzyskać reprezentatywną próbkę do swoich badań (zarówno jakościowych, jak i ilościowych). Ale spójrzmy prawdzie w oczy. Udawanie, że uprzedzenie o braku odpowiedzi nie istnieje, jest łatwiejsze niż uznanie i zajęcie się nim. Walka z uprzedzeniami o braku odpowiedzi nie jest starterem z jednego bardzo ważnego powodu-waha się od trudnego do niemożliwego do przeciwdziałania bez dużych inwestycji czasu i budżetu. W dzisiejszym środowisku „fail fast” dominującą postawą jest zignorowanie tego uprzedzenia i przejście dalej. Nie wiemy tego, czego nie wiemy, więc dlaczego ma to znaczenie w wielkim schemacie rzeczy?
taka postawa nie jest podzielana przez wszystkie instytucje. Jednym z najistotniejszych przykładów są Stany Zjednoczone. Census Bureau, które przeprowadza, wśród wielu innych ocen, pełną liczbę ludności co 10 lat. Chociaż prawo wymaga odpowiedzi na formularze ankiety wysłane do każdego gospodarstwa domowego w kraju, około 30% gospodarstw domowych nie uczestniczy. Biuro spisowe poważnie traktuje swój mandat i wysyła pracowników do administrowania ankietą do osób, które nie udzieliły odpowiedzi. Pracownicy ci odwiedzają to samo gospodarstwo domowe do sześciu razy w celu uzyskania wypełnionego formularza.
Biuro spisowe może polegać na osobistej administracji ankiety, aby zmniejszyć stronniczość braku odpowiedzi, ponieważ działa z dużym budżetem (budżet na 2010 r.wynosił ponad 5 mld USD). Dokładne wyniki spisu prowadzą do lepszej reprezentacji w Kongresie i bardziej sprawiedliwego przydziału ponad 100 miliardów dolarów w funduszach federalnych. Można powiedzieć, że uwaga biura spisowego na brak reakcji daje ogromny zwrot z inwestycji.
jednak realistycznie, budżety badań rynkowych w wysokości 5+ miliardów dolarów i terminy projektów, które rozciągają się na kilka miesięcy, są trudne do zdobycia. Istnieją jednak strategie, które mogą złagodzić skutki braku reakcji stronniczości, które nie wymagają dużych budżetów i dłuższych okresów.
- unikaj metod, które mogą zniechęcać do uczestnictwa niektórych grup. Czy próbka ma cechy, które utrudniają im reagowanie za pomocą określonych metod? Ankiety Online są bardzo popularnymi narzędziami badawczymi, ponieważ są stosunkowo tanie i szybkie. Ale ankiety online mogą nie być najlepszym wyborem, na przykład dla osób starszych o niższych dochodach. Korzystanie z metody online może skutkować próbką obejmującą więcej młodszych konsumentów o wyższych dochodach, którzy mają inne wartości, przekonania i opinie niż ich starsi odpowiednicy o niższych dochodach.
- Przypomnij respondentom o wstępnym udziale w badaniach i daj im znać, kiedy odpowiedzieć. Rozważ używanie przypomnień zarówno e-mail, jak i tekstowych. Zwiększa to prawdopodobieństwo, że prokrastynatorzy i ci, którzy nie lubią sprawdzać poczty e-mail (Milenium i Gen Z) zostaną włączeni do ostatecznej próby. Oznacza to również pozostawienie ankiety otwartej na kilka dni do tygodnia, aby umożliwić respondentom, którzy nie sprawdzają codziennie swojej poczty e-mail, udzielenie odpowiedzi.
- skracaj ankiety i / lub przeprowadzaj wstępne testy, aby mieć pewność, że zachęta do uczestnictwa jest zgodna z oczekiwaniami. Jedną z metod byłoby użycie krótkiego formularza ankiety, który składa się z kilku kluczowych pytań, a następnie zapewnienie możliwości udzielenia dodatkowej informacji zwrotnej na temat dłuższej ankiety. Zanim kluczowe pytania zostaną połączone, testy statystyczne określiłyby, czy ci, którzy odpowiedzieli na ankietę skróconą, udzielili innych odpowiedzi niż ci, którzy odpowiedzieli na ankietę dłuższą. Podejrzewam, że w większości przypadków nie byłoby różnicy. Taka metodologia teoretycznie zapewniłaby pewność, że część stronniczości wobec braku odpowiedzi została uwzględniona.
- Użyj wielu podejść. Metodologia mieszania jest silną taktyką, aby zapobiec stronniczości braku odpowiedzi. Osoby, które niechętnie uczestniczą w grupowym badaniu jakościowym, mogą na przykład wygodniej wyrażać się w internetowej tablicy ogłoszeń. Znana firma z przekąskami i napojami stosuje kilka metod promowania uczestnictwa. Nie tylko stosują zwykłe metody lokalizacji online i centralnej, ale wysyłają mobilne jednostki badawcze do lokalizacji w centrum miasta, aby uzyskać informacje zwrotne od konsumentów, którzy w przeciwnym razie nie zostaliby uwzględnieni.
całkowite usunięcie błędu braku odpowiedzi z badań jest zadaniem niemożliwym. Niezależnie od tego, naukowcy powinni dążyć do tego. Zainteresowane strony mogą nie docenić w pełni wysiłków koniecznych do ograniczenia uprzedzeń. Jestem jednak pewien, że wszyscy doceniamy większą pewność, że decyzje biznesowe oparte na czystszych, bardziej reprezentatywnych badaniach są bardziej prawdopodobne, że odniosą sukces.