Im Hin­blick auf die nächste WTO-Aus­schrei­bung für die Nach­be­fra­gung zu den eid­ge­nös­si­schen Volks­ab­stim­mun­gen (VOTO) zieht die Bun­des­kanz­lei als Auf­trag­ge­be­rin den Wech­sel der Erhe­bungs­me­thode in Betracht. Bei der aktu­el­len Erhe­bungs­me­thode (Tele­fon, CATI) besteht die Her­aus­for­de­rung gene­rell sin­ken­der Aus­schöp­fungs­quo­ten sowie einer spe­zi­fi­schen Unter­re­prä­sen­ta­tion junger Erwach­se­ner. Im Rahmen eines Metho­den­ex­pe­ri­ments hat die For­schungs­stelle sotomo als mög­li­che Alter­na­tive zum aktu­el­len Ansatz eine schrift­li­che Erhe­bungs­me­thode getes­tet und einer ver­glei­chen­den Ana­lyse unter­zo­gen. Hierzu wurden im Nach­gang zu den Abstim­mun­gen vom 10. Februar 2019 und vom 19. Mai 2019 par­al­lel zur tele­fo­ni­schen VOTO-Befra­gung eine schrift­li­che Erhe­bung via Print- und Online­fra­ge­bo­gen durch­ge­führt. Mit dieser Ver­suchs­an­lage können die Stär­ken und Schwä­chen der beiden Erhe­bungs­me­tho­den in einer ide­al­ty­pi­schen expe­ri­men­tel­len Situa­tion direkt ver­gli­chen werden. Zugleich werden die Effekte ver­schie­de­ner Varia­tio­nen der schrift­li­chen Befra­gung unter­sucht.

Das Metho­den­ex­pe­ri­ment zeigt, dass sich mit der schrift­li­chen Erhe­bungs­me­thode im Rahmen einer VOTO-Befra­gung eine Aus­schöp­fung von rund 45 Pro­zent der Stich­probe errei­chen lässt, wäh­rend bei der tele­fo­ni­schen Befra­gung die mini­mal ange­strebte Quote von min­des­tens 30 Pro­zent rea­li­sier­ter Inter­views nicht immer erreicht wird. Diese Dis­kre­panz ergibt sich daraus, dass für fast zwei von fünf Per­so­nen in der Stich­probe tele­fo­ni­sche Ver­bin­dungs­da­ten nicht eru­iert werden können, wäh­rend die für die schrift­li­che Befra­gung benö­tigte Post­adresse für alle Ziel­per­so­nen vor­han­den ist. Werden nur Per­so­nen mit Kon­takt­da­ten ver­gli­chen, ist die erzielte Aus­schöp­fung beider Erhe­bungs­me­tho­den ver­gleich­bar.

Die schrift­li­che Befra­gung liegt in Bezug auf die Alters­ver­tei­lung der Teil­neh­men­den signi­fi­kant näher an der Grund­ge­samt­heit als die tele­fo­ni­sche. In Bezug auf die ande­ren unter­such­ten sozio­de­mo­gra­phi­schen Varia­blen ist die Reprä­sen­ta­ti­vi­tät beider Metho­den ähn­lich gut, obwohl die Zusam­men­set­zung der rea­li­sier­ten Stich­probe nur bei der tele­fo­ni­schen Befra­gung mit­tels Quo­ten­vor­ga­ben gesteu­ert werden kann. Beide Metho­den zeigen eine erheb­li­che Ver­zer­rung zuguns­ten von Stimm­be­rech­tig­ten, die an der jewei­li­gen Abstim­mung teil­ge­nom­men haben.

Wäh­rend die Fak­to­ren Aus­schöp­fung und Reprä­sen­ta­ti­vi­tät klar für eine schrift­li­che Befra­gung spre­chen, zeigt der Faktor «Qua­li­tät der Ant­wor­ten» ein gemisch­tes Ergeb­nis. So ist bei der schrift­li­chen Befra­gung der Anteil der nicht beant­wor­te­ten Fragen (Item-Non­re­sponse) signi­fi­kant höher als bei der tele­fo­ni­schen (4,4 zu 0,6 Pro­zent). Der höhere Anteil von Item-Non­re­sponse bei der schrift­li­chen Befra­gung fällt aller­dings im Ver­gleich zum höhe­ren Anteil nicht beant­wor­te­ter Fra­ge­bo­gen (Unit-Non­re­sponse) bei der tele­fo­ni­schen Befra­gung kaum ins Gewicht.

Unter der Berück­sich­ti­gung aller unter­such­ter Dimen­sio­nen lässt sich der Schluss ziehen, dass eine schrift­li­che Befra­gung eine taug­li­che Alter­na­tive zur heu­ti­gen tele­fo­ni­schen Befra­gung dar­stellt. Mit einem ent­spre­chen­den Erhe­bungs­de­sign lassen sich die spe­zi­fi­schen Her­aus­for­de­run­gen der sin­ken­den Rück­lauf­quo­ten und der Teil­nah­me­ver­zer­rung nach Alters­klas­sen bewäl­ti­gen. Die schrift­li­che Erhe­bungs­me­thode ist aller­dings sen­si­ti­ver bezüg­lich Fra­ge­bo­gen­länge, was ins­be­son­dere in Bezug auf die Qua­li­tät offe­ner Fragen berück­sich­tigt werden muss. Wird eine schrift­li­che Erhe­bungs­me­thode gewählt, so erscheint für die spe­zi­fi­schen Anfor­de­run­gen von VOTO eine Mixed-Mode-Befra­gung (online und print) als uner­läss­lich. Der expe­ri­men­telle Ver­gleich zeigt, dass auch bei einer schrift­li­chen Befra­gung ein Erst­ver­sand auf Montag nach dem Abstim­mungs­wo­chen­ende ange­zeigt ist. Zur Wah­rung der Kos­ten­ef­fi­zi­enz wird der Papier­fra­ge­bo­gen sinn­vol­ler­weise nur beim ersten Ver­sand bei­gelegt. Wäh­rend der Ver­sand von bis zu zwei Erin­ne­rungs­schrei­ben ange­zeigt ist, erscheint eine mone­täre Incen­ti­vie­rung nicht als oppor­tun.

Den gesam­ten Bericht können Sie hier her­un­ter­la­den (PDF).

Mehr aus unse­rem Port­fo­lio finden Sie hier.