Disruption oder nur zu dick aufgetragen?

Die quantitative Markt- und Sozialforschung hat ein richtiges Problem. Die Ausschöpfung sinkt, zu viele wollen nicht mehr mitmachen, hinter ihren Ergebnissen stehen große Fragezeichen. Neue Konkurrenz aus Big Data und unkonventioneller Datensammelei reklamiert für sich, dass sie es mindestens genauso gut kann. Florian Tress hat deshalb kürzlich die Frage aufgeworfen, ob die Meinungs(Markt-, Sozial-, Wahl-)forschung ihren Vorherrschaftsanspruch auf die richtigen und repräsentativen Ergebnisse noch lange aufrechterhalten kann: „Die postdigitale Gesellschaft kennt nämlich kein alleiniges Leitmedium mehr, das für repräsentative Ergebnisse bürgt. ... Dumm nur, dass die Marktforschung nach wie vor in den Schubladen ihrer traditionellen Erhebungsmethoden denkt.“

Die Frage, die er anhand des branchenstrategisch eminent wichtigen Themas der Stichproben aufwirft, ist eine lebenswichtige Frage der klassischen quantitativen Markt- und Sozialforschung. Dabei handelt es sich nicht um eine ethische oder philosophische Frage, die kernige Praktiker gerne mit einem gelangweilten Achselzucken quittieren. Es geht vielmehr um elementare und praktische Fragen: Sind die gewonnenen Daten richtig genug, um sie mit ausreichender Verlässlichkeit nutzen zu können, oder haben wir gerade das Geld zum Fenster hinausgeworfen? Könnte man sie nicht auch viel günstiger bekommen? Wenn ja, haben einige ein heftiges Problem, denn die Kosten sind ein mächtiges Argument.

So formuliert ist das noch ziemlich abstrakt. Interessant wird es, wenn man konkret wird. Ich versuche es mal mit einem Beispiel: Civey, ein angekündigtes Produkt der Omni TT GmbH aus Berlin. Für Civey gab es in Berlin 1,2 Millionen Euro Wirtschaftsförderung. Einige Leute mit der Hand auf dem öffentlichen Fördertopf finden Civey offenbar sehr erfolgversprechend. Besucht man die übersichtliche Website von Civey, könnte einem Angst und Bange werden, wenn man ein quantitatives Feldinstitut ist. Denn Civey.de behauptet mit wenigen Worten ziemlich viel:

• „Mit Civey führst du repräsentative Meinungsumfragen durch. Im Internet. Kostenlos und in Echtzeit.“
• „Unsere Technologie berechnet aus freiwilligen Abstimmungen ein repräsentatives Ergebnis. Die Auswertung ist damit für dich kostenlos!“
• „Civey ist ein interdisziplinäres Team, das gemeinsam mit seinen (Forschungs-) Partnern an einer vollautomatisierten Technologie für repräsentative Online-Umfragen arbeitet.“

Wenn wir den Worten Glauben schenken, dann hat nicht nur Florian Tress ein Beispiel mehr, sondern die Markt-, Sozial- und Wahlforschung eine veritable Disruption. Der ADM kann sich mitsamt seinem Stichprobensystem womöglich begraben lassen. Online-Panel braucht auch kein Schwein mehr. Ihr Schicksal ist nur noch eine Frage der Skalierbarkeit des Civey-Angebots. Na dann gute Nacht.

Andererseits liegt die Messlatte für Civey hoch. Denn wenn die Macher dort ihr Versprechen nicht ziemlich gut einlösen, wären ihre Versprechen ja als leere Werbehülsen entlarvt und der Lack ab. Die Substanz werden sie schon belegen müssen. Denn angesichts der kommerziellen Implikationen, die hier berührt werden, müssen wir ja annehmen, dass die methodischen Truppen des ADM und assoziierter Interessen sich genauer darum kümmern und sich dazu auch äußern werden.

Ob sie das tun oder nicht – Klarheit bringt nur, der Substanz auf den Grund zu gehen. Leider scheitert das derzeit noch daran, dass die Website nichts bietet, was die Größe und Gültigkeit des Anspruchs mit Substanz unterfüttert. Also habe ich per Mail schon im Januar nachgefragt, aber leider nur den Hinweis bekommen, dass man zu diesem Zeitpunkt öffentlich nicht auf Details zur Funktionsweise eingehen möchte. Seit Januar hat sich daran wenig geändert, außer dass man die zentralen Aussagen über das Angebot von sehr wenig auf extrem wenig reduziert und dabei auch einige bemerkenswerte Aussagen gestrichen hat (z.B. „Wir sorgen dafür, dass unsere Ergebnisse so belastbar sind wie bei einer Volksabstimmung“, „Unsere Web-App gibt dir die Power der großen Forschungsinstitute“). Immerhin konnte ich mich als Beta-Tester registrieren, habe aber seither nichts weiter gehört. Während die vollmundige Ankündigung also schon seit längerem dasteht, lässt die substanzielle Information noch immer auf sich warten. Disruption oder nur zu dick aufgetragen? Es bleibt spannend.

Halten wir fest: Das Beispiel zeigt, dass vollmundige Äußerungen nichts wert sind, solange man ihre Substanz nicht kennt. Das soll nicht heißen, dass Civey keine hat. Es heißt nur, dass wir es nicht wissen. Wir werden es nur herausfinden, wenn wir Transparenz bekommen und genau hinschauen. Ob wir sie bekommen, wird sich zeigen, aber Hinschauen sollten wir unbedingt. Nicht nur hier, sondern ganz generell, z.B. auch mit Blick auf das schreckliche Ungeheuer Big Data, über das zwar viele reden, von dem man aber sehr selten mal was richtig Konkretes so genau zu sehen bekommt, dass man es auch wirklich bewerten könnte. Genau hinschauen sollten vor allem jene, die solche Daten in Auftrag geben und sie womöglich zur Grundlage ihrer Entscheidungen machen. Denn dann steht ja wirklich etwas auf dem Spiel, im Gegensatz zu so manchem Unsinn, für den täglich neue Befragungssäue durch’s Dorf getrieben werden.

Ich gehöre übrigens auch zu diesen Leuten. Ich muss entscheiden, was ich an Datendienstleistung für meine Kunden einkaufe und wozu ich ihnen rate. Ich will deshalb genau wissen, was mir da angeboten wird. Ich merke aber oft, wie schwierig das ist, wie intransparent die Datensammelei ist und wie wichtig es ist, es genauer zu wissen. Auch deshalb fände ich es wirklich hilfreich, wenn es in dieser Branche mehr echte Auseinandersetzung am konkreten Fall über richtig und falsch, über Substanz und Bullshit gäbe, statt intransparenter Tools, bloß langweiliger Selbstvermarktung auf den immer gleichen Kongressen und einem öffentlichen ausgetragenen Branchen-Diskurs mit der Lautstärke des Schweigens im Walde. Denn nur so bekommen wir die Transparenz über die Substanz hinter den Werbeversprechen, die wir für unsere Kunden und unsere Arbeit brauchen.

Autor: Thomas Perry