Johanna Schneider, Teamleiterin der IFAK Radioforschung und Mirco Felsch, Statistiker bei IFAK berichten über die Anwendung von Mixed Sample Stichproben und was es dabei zu beachten gilt.

Johanna, was sind aus Deiner Sicht die Hauptgründe für die Verwendung von Mixed-Sample in der Marktforschung?

Johanna Schneider: Das ist natürlich von Studie zu Studie unterschiedlich. Ein wichtiger Faktor ist sicherlich der Kostenaspekt. In vielen Branchen steigt der Druck auf die Auftraggeber, ihre Ausgaben zu reduzieren. Gleichzeitig steigen die Kosten für Telefonumfragen kontinuierlich an. Durch die Integration von Befragten aus Online-Panels können jüngere Zielgruppen mit geringeren Kosten erreicht werden als über traditionelle Telefonumfragen.

Ein weiterer Grund für die Integration von Panel-Teilnehmern ist, meiner Erfahrung nach, aber auch der Unterschied in der Erreichbarkeit verschiedener Zielgruppen. In reinen CATI-Festnetzstudien sind Personen unter 40 Jahren oft unterrepräsentiert, da viele von ihnen keinen Festnetzanschluss mehr besitzen. Obwohl diese Gruppe besser über Mobilstichproben erreicht werden können, reicht dies oft nicht aus, um den Mangel an jüngeren Teilnehmern aus Festnetzumfragen auszugleichen. Durch die Einbindung von Online-Panels können die Anteile dieser Altersgruppen in der Gesamtstichprobe verbessert werden.

Mirco Du als Statistiker, wie gehst Du bei Mixed-Sample Studien praktisch vor? Kannst Du mir hierzu mehr erzählen?

Mirco Felsch: Bei der Mischung von telefonischen Interviews mit Befragten aus dem Online-Panel nutzen wir zwei unterschiedliche Auswahlmethoden. Die telefonische Stichprobe basiert auf einem reinen Zufallsprinzip, was eine zentrale Anforderung für repräsentative Stichproben ist. Jede Person in der Gesamtbevölkerung sollte die gleiche Chance haben, ausgewählt zu werden. Allerdings stoßen wir hier auf Einschränkungen, da nicht mehr die gesamte Bevölkerung über Festnetz erreichbar ist. Damit meine ich insbesondere jüngere Menschen oder Personen mit Migrationshintergrund.

Auf der anderen Seite haben wir die Panelstichprobe, bei der es sich um Personen mit Internetzugang handelt, die sich freiwillig für Umfragen registriert haben und regelmäßig an Befragungen teilnehmen. Hier ist das Prinzip der gleichen Auswahlwahrscheinlichkeit nicht gegeben, da sich die Teilnehmer selbst auswählen. Allerdings können wir über das Panel möglicherweise Personengruppen erreichen, die telefonisch schwer zu erreichen sind.

Um nun die Vorteile beider Stichproben bestmöglich zu nutzen, wählen wir bei IFAK oft eine pragmatische Herangehensweise. Wir ergänzen die telefonische Zufallsstichprobe durch eine quotierte Online-Stichprobe, um die Altersgruppen, die in der CATI-Stichprobe unterrepräsentiert sind, online überproportional zu erfassen. Unser Ziel dabei ist es, die späteren Gewichtungsfaktoren so minimal wie möglich zu halten.

Was sind Eurer Erfahrung nach die Knackpunkte bei einem Mixed Sample Ansatz?

Mirco Felsch: Ich sehe da insbesondere zwei Punkte, auch weil Mixed Sample Ansätze noch nicht sonderlich gut erforscht sind.

Einmal, wie kombiniert man die Stichproben am besten?

Bei der Wahl eines Mixed-Sample Ansatzes stellt sich zunächst die Frage, in welchem Verhältnis die telefonischen und Online-Stichproben realisiert werden sollen. Es gibt keine festen Empfehlungen dafür. Wir Forscher müssen uns auf eigene Erfahrungswerte bezüglich der Erreichbarkeit verschiedener Altersgruppen verlassen. Die Thematik der Untersuchung kann auch Hinweise auf ein passendes Mischungsverhältnis geben.

Der andere Punkt ist die optimale Gewichtung:

Mixed-Sample-Studien ermöglichen es, Gewichtungsfaktoren möglichst gering zu halten, indem sie verschiedene Altersgruppen bestmöglich erreichen. Jedoch gibt es auch hier offene Fragen bezüglich der besten Vorgehensweise für die Gewichtung. CATI-Stichproben durchlaufen vor der eigentlichen Gewichtung eine Vorab-Transformation, die in Abhängigkeit der Anzahl der Haushaltsmitglieder in der Zielgruppe und der Anzahl der Telefonnummern, unter der jemand erreichbar ist, die unterschiedlichen Wahrscheinlichkeiten, eine Person zu erreichen, ausgleicht. Bei Dual-Frame-Ansätzen spielt dabei auch das Verhältnis aus erhobenen Festnetz- und Mobil-Fällen und der Größe der jeweiligen Auswahlgrundlagen eine Rolle. Nach dieser Transformation werden die Fälle nach den üblichen Kriterien wie Alter, Geschlecht, Bildung und Region gewichtet. Ein ähnliches Verfahren für die Gewichtung von Panel-Fällen existiert nicht; sie werden nach der Transformation der CATI-Fälle einfach integriert und anhand amtlicher Statistiken gewichtet.

Johanna, wie geht man mit Unterschieden in den Stichproben um?

Johanna Schneider: Es ist entscheidend -  sowohl bei der Planung des Studiendesigns als auch bei der Interpretation der Ergebnisse - die Unterschiede zwischen den Rekrutierungswegen der telefonischen und Online-Stichproben zu berücksichtigen. Diese Unterschiede können je nach Forschungsthema signifikant sein und resultieren aus verschiedenen Faktoren:

• Der Art der Rekrutierung (online vs. offline)

• Der Art der Abfrage (auditive vs. visuelle Abfrage)

• Effekten der Interviewsituation (der CATI-Interviewer als erklärende Hilfe vs. Online-Befragter für sich)

• Effekte der sozialen Erwünschtheit

Johanna, Du legst immer viel Wert darauf, dass die Ergebnisse einer Mixed-Sample-Studie ganzheitlich betrachtet werden. Warum ist das so?

Johanna Schneider: Der Sinn der Mixed-Sample-Studien liegt ja  -  neben dem Kostenaspekt – darin, ein möglichst breites Spektrum der Gesellschaft abzudecken. Eine isolierte Betrachtung der einzelnen Stichproben ist daher nicht zielführend, da sie jeweils nur einen bestimmten Ausschnitt der Gesamtbevölkerung repräsentieren.

Es ist wichtig zu verstehen, dass die Unterschiede zwischen telefonischen und Online-Stichproben dazu beitragen, eine vielfältige Palette von Perspektiven einzufangen. Daher sollten die Ergebnisse im ganzheitlich  betrachtet werden, um ein umfassendes Bild zu erhalten. Eine holistische Herangehensweise ermöglicht es, die Stärken und Schwächen der verschiedenen Rekrutierungsmethoden auszugleichen und ein ausgewogenes Verständnis für die Ergebnisse zu entwickeln.

Vielen Dank für das Gespräch.

Den kompletten Artikel zu Mixed Sample Studien finden Sie auf marktforschung.de