Cumulative Meta-Analysis. Robustness of Evidence in Survey Methodology
- Surveys play a major role in studying social and behavioral phenomena that are difficult to
observe. Survey data provide insights into the determinants and consequences of human
behavior and social interactions. Many domains rely on high quality survey data for decision
making and policy implementation including politics, health, business, and the social
sciences. Given a certain research question in a specific context, finding the most appropriate
survey design to ensure data quality and keep fieldwork costs low at the same time is a
difficult task. The aim of examining survey research methodology is to provide the best
evidence to estimate the costs and errors of different survey design options. The goal of this
thesis is to support and optimize the accumulation and sustainable use of evidence in survey
methodology in four steps:
(1) Identifying the gaps in meta-analytic evidence in survey methodology by a systematic
review of the existing evidence along the dimensions of a central framework in the
field
(2) Filling in these gaps with two meta-analyses in the field of survey methodology, one
on response rates in psychological online surveys, the other on panel conditioning
effects for sensitive items
(3) Assessing the robustness and sufficiency of the results of the two meta-analyses
(4) Proposing a publication format for the accumulation and dissemination of metaanalytic
evidence
- Umfragen spielen eine wichtige Rolle bei der Untersuchung sozialer und verhaltensbezogener
Phänomene, die sonst nur schwer zu beobachten sind. Umfragedaten geben Einblicke in die
Determinanten und Folgen sozialer Interaktionen und menschlichen Verhaltens. Daher ist die
Qualität von Umfragedaten für viele Bereiche und Entscheidungssituationen von hoher
Relevanz, unter anderem in der Politik, dem Gesundheitsweisen, der Wirtschaft, sowie der
Wissenschaft. Angesichts einer bestimmten Forschungsfrage in einem spezifischen Kontext
ist es eine schwierige Aufgabe, das am besten geeignete Erhebungsdesign zu identifizieren,
um hohe Datenqualität bei gleichzeitig niedrigen Erhebungskosten zu gewährleisten. Ziel der
Untersuchung von Umfragemethoden ist es, die beste Evidenz zur Abschätzung der Kosten
und Fehler verschiedener Umfragedesign-Optionen zu liefern. Das Ziel dieser Arbeit ist es,
die Akkumulation und nachhaltige Nutzung von Evidenz in der Umfragemethodik in vier
Schritten zu unterstützen und zu optimieren:
(1) Die Identifikation von Lücken in der meta-analytischen Evidenz durch eine
systematische Aufarbeitung der vorhandenen Evidenz entlang zentraler Dimensionen
in diesem Bereich
(2) Beginn der Schließung dieser Lücken mit zwei Metaanalysen im Bereich der
Erhebungsmethodik, eine zur Teilnahmebereitschaft in psychologischen Online-
Umfragen, die andere zu Panel-Konditionierungseffekten bei sensiblen Items
(3) Untersuchung der Robustheit und Suffizienz der Ergebnisse beider Meta-Analysen
(4) Vorstellung eines Publikationsformates, um meta-analytische Evidenz zu sammeln
und verfügbar zu machen