Im Hinblick auf die nächste WTO-Ausschreibung für die Nachbefragung zu den eidgenössischen Volksabstimmungen (VOTO) zieht die Bundeskanzlei als Auftraggeberin den Wechsel der Erhebungsmethode in Betracht. Bei der aktuellen Erhebungsmethode (Telefon, CATI) besteht die Herausforderung generell sinkender Ausschöpfungsquoten sowie einer spezifischen Unterrepräsentation junger Erwachsener. Im Rahmen eines Methodenexperiments hat die Forschungsstelle sotomo als mögliche Alternative zum aktuellen Ansatz eine schriftliche Erhebungsmethode getestet und einer vergleichenden Analyse unterzogen. Hierzu wurden im Nachgang zu den Abstimmungen vom 10. Februar 2019 und vom 19. Mai 2019 parallel zur telefonischen VOTO-Befragung eine schriftliche Erhebung via Print- und Onlinefragebogen durchgeführt. Mit dieser Versuchsanlage können die Stärken und Schwächen der beiden Erhebungsmethoden in einer idealtypischen experimentellen Situation direkt verglichen werden. Zugleich werden die Effekte verschiedener Variationen der schriftlichen Befragung untersucht.
Das Methodenexperiment zeigt, dass sich mit der schriftlichen Erhebungsmethode im Rahmen einer VOTO-Befragung eine Ausschöpfung von rund 45 Prozent der Stichprobe erreichen lässt, während bei der telefonischen Befragung die minimal angestrebte Quote von mindestens 30 Prozent realisierter Interviews nicht immer erreicht wird. Diese Diskrepanz ergibt sich daraus, dass für fast zwei von fünf Personen in der Stichprobe telefonische Verbindungsdaten nicht eruiert werden können, während die für die schriftliche Befragung benötigte Postadresse für alle Zielpersonen vorhanden ist. Werden nur Personen mit Kontaktdaten verglichen, ist die erzielte Ausschöpfung beider Erhebungsmethoden vergleichbar.
Die schriftliche Befragung liegt in Bezug auf die Altersverteilung der Teilnehmenden signifikant näher an der Grundgesamtheit als die telefonische. In Bezug auf die anderen untersuchten soziodemographischen Variablen ist die Repräsentativität beider Methoden ähnlich gut, obwohl die Zusammensetzung der realisierten Stichprobe nur bei der telefonischen Befragung mittels Quotenvorgaben gesteuert werden kann. Beide Methoden zeigen eine erhebliche Verzerrung zugunsten von Stimmberechtigten, die an der jeweiligen Abstimmung teilgenommen haben.
Während die Faktoren Ausschöpfung und Repräsentativität klar für eine schriftliche Befragung sprechen, zeigt der Faktor «Qualität der Antworten» ein gemischtes Ergebnis. So ist bei der schriftlichen Befragung der Anteil der nicht beantworteten Fragen (Item-Nonresponse) signifikant höher als bei der telefonischen (4,4 zu 0,6 Prozent). Der höhere Anteil von Item-Nonresponse bei der schriftlichen Befragung fällt allerdings im Vergleich zum höheren Anteil nicht beantworteter Fragebogen (Unit-Nonresponse) bei der telefonischen Befragung kaum ins Gewicht.
Unter der Berücksichtigung aller untersuchter Dimensionen lässt sich der Schluss ziehen, dass eine schriftliche Befragung eine taugliche Alternative zur heutigen telefonischen Befragung darstellt. Mit einem entsprechenden Erhebungsdesign lassen sich die spezifischen Herausforderungen der sinkenden Rücklaufquoten und der Teilnahmeverzerrung nach Altersklassen bewältigen. Die schriftliche Erhebungsmethode ist allerdings sensitiver bezüglich Fragebogenlänge, was insbesondere in Bezug auf die Qualität offener Fragen berücksichtigt werden muss. Wird eine schriftliche Erhebungsmethode gewählt, so erscheint für die spezifischen Anforderungen von VOTO eine Mixed-Mode-Befragung (online und print) als unerlässlich. Der experimentelle Vergleich zeigt, dass auch bei einer schriftlichen Befragung ein Erstversand auf Montag nach dem Abstimmungswochenende angezeigt ist. Zur Wahrung der Kosteneffizienz wird der Papierfragebogen sinnvollerweise nur beim ersten Versand beigelegt. Während der Versand von bis zu zwei Erinnerungsschreiben angezeigt ist, erscheint eine monetäre Incentivierung nicht als opportun.
Den gesamten Bericht können Sie hier herunterladen (PDF).