Datenqualität: "Garbage in, garbage out!"

Florian Tress, Norstat

Es lässt sich mit einigem Recht behaupten, dass unsere Branche ihre Datenqualität wie einen Fetisch verehrt. Wie bei allen Kulten haben sich jedoch auch hier im Laufe der Zeit die Symbole von ihrer ursprünglichen Bedeutung entfernt und führen ein merkwürdiges Eigenleben. So beschwören wir mit den immer gleichen Phrasen und Schlagwörtern formelhaft die Geister der Datenqualität: "Garbage in, garbage out!", "Den schwarzen Schafen muss das Handwerk gelegt werden!" oder "Wir brauchen die Qualitätsdiskussion!".

Florian Tress, ©Norstat

Florian Tress, ©Norstat

Wohl deshalb stößt man auch beim Durchstöbern von Institutswebseiten immer nur auf dieselben Gemeinplätze; echte Differenzierung über Datenqualität ist dagegen schwer bis unmöglich. Vielleicht kann man Datenqualität ja gerade noch ex post am konkreten Datensatz bemessen (zum Beispiel: "Wie hoch ist die Varianz bei der Matrix Q5?"), bei der Planung einer Studie ist dieses leere Gerede aber ein echtes Problem:

Wer kann schon stichhaltig von sich selbst behaupten, gute Qualität zu liefern? Und wer in unserer Branche ist neutral genug, um glaubhaft für die Qualität seiner Kunden, Wettbewerber oder Lieferanten zu bürgen?

Wer es mit Qualität wirklich ernst meint, wird hier wohl eher skeptisch bleiben.

Auch die Forderung nach einer strikten Einhaltung von Qualitätsstandards führt in eine Sackgasse, wenn damit Forschung nur auf einen gleichförmigen Prozess reduziert wird, in dem Studiendesigns vorgefertigt und Ergebnisse hochgradig erwartbar werden. Gute Forschung zeichnet sich nämlich immer von einem kleinen Element der Überraschung aus. "Da schau her, das hatte ich so nicht vermutet!" Insights, so könnte man im Anschluss definieren, sind eben jene strukturverändernden Elemente, die in der Business Intelligence einen Unterschied machen. Forschung dagegen, die nicht wenigstens ein bisschen überrascht, hätte man sich ebenso gut sparen können.

Vor diesem Hintergrund ist es spannend, einmal kurz über die Qualität von DIY-Forschung nachzudenken, denn allen Vorurteilen zum Trotz wird man wohl zwei Punkte anerkennen müssen: Erstens ist DIY-Forschung in Bezug auf die Einhaltung von Methodenstandards bei weitem nicht so schlecht wie ihr Ruf: Die meisten Survey Engines räumen Laien durch entsprechende Vorlagen typische Hindernisse aus dem Weg. Und bei Website- oder Kundenbefragungen ist nicht einmal mehr das Sample ein großes Problem. Zweitens findet gerade bei Laien Überraschung statt; selbst triviale Ergebnisse können hier verblüffen und zum Umdenken anregen. Insofern, aber auch nur insofern, ist DIY-Forschung tatsächlich häufig recht erfolgreich.

Denn gleichzeitig unterlaufen Laien Fehler, über die man als professioneller Forscher nur müde lächeln kann. Das betrifft erst einmal einfach nur den Grad an Erfahrung durch "learning by doing" – je mehr Routine man hat, desto weniger handwerkliche Fehler passieren noch. Immerhin, selbst als Profi lernt man nie aus! Jenseits dieses banalen Steigerungsverhältnis von praxiserprobtem Fachwissen haben Forscher jedoch eine Fähigkeit, die sich Laien nur schwer durch ausreichend Übung aneignen können. Mehr noch, ohne diese Fähigkeit ist die gesamte Praxiserfahrung vielleicht vom ersten Moment an fehlgeleitet, fragwürdig und damit wertlos. Man hält Dinge für wahr, die eigentlich falsch sind – und umgekehrt!

Die Rede ist vom kritischen Urteilsvermögen, genauer der Fähigkeit Überraschungen in den Daten richtig zuzurechnen. Spricht dieses merkwürdige Ergebnis nun wirklich für eine Tatsache in der Realität oder habe ich es hier nicht einfach nur mit einem Artefakt zu tun?

Erfahrungsgemäß scheitern Hobbyumfragen eben nicht an Fragebogenerstellung oder Datenerhebung, sondern beim souveränen Umgang mit Überraschungen.

Entweder werden Umfrageergebnisse leichtgläubig überschätzt ("Offenbar sind 100% unserer Kunden mit uns sehr zufrieden. Es gibt also keinen Handlungsbedarf!"), oder aber man begegnet ihnen mit übermäßigem Misstrauen ("Wir haben weniger als eintausend Interviews. Wir sollten den Ergebnissen keine Beachtung schenken"). Wissenschaftstheoretisch formuliert liegt die Wahrheit wohl irgendwo auf halbem Wege zwischen naivem Realismus und der radikalen Dekonstruktion unseres Erkenntnisvermögens. Nur, für das rechte Maß zwischen den beiden Extremen gibt es keine schnelle Anleitung auf YouTube, auf die man als Laie zurückgreifen könnte. Dafür muss man sein Urteilsvermögen fortlaufend und über viele Jahre am wissenschaftlichen Diskurs schärfen.

Und damit wieder zurück zum Thema.

Eine makellose Datenqualität ist natürlich erstrebenswert, aber bei Licht betrachtet nicht besonders realistisch.

Dafür sind all die Anforderungen und Kontexte unserer Projekte viel zu verschieden, denn jede Studie unterscheidet sich in ihren Fragestellungen, ihren Zielgruppen und ihrer Umsetzbarkeit. Übrigens können davon alle Kollegen aus dem qualitativen Bereich ein Lied singen, wo sich Forschung naturgemäß weniger standardisieren lässt. Wir sollten also langsam beginnen, uns von der fast schon fetischistischen Fixierung auf Datenqualität zu lösen.

Das ist dann freilich trotzdem kein Plädoyer für handwerkliche Schlamperei und es kann hier natürlich auch nicht darum gehen, unseren Begriff von Qualität zu verwässern oder dem persönlichen Gusto anheimzustellen. Ganz im Gegenteil! Vielmehr soll hier das kritische Urteilsvermögen des Forschers stark gemacht werden, um es der Datenqualität an die Seite zu stellen. Methodologische Standards und deren Bezweiflung sind nämlich zwei Seiten derselben Medaille:

Ohne das Wissen darum, welchen Kriterien gute Forschung prinzipiell genügen muss, machen wissenschaftliche Zweifel gar keinen Sinn.

Und ohne deren fortlaufende kritische Überprüfung verkommen unsere Maßstäbe für Qualität schnell zu einer leeren Formel, zum Gegenteil von Qualität selbst.

Und so bleibt am Ende ein Paradox stehen: Wer sich unkritisch und selbstgefällig auf Qualitätsstandards ausruht, wird echte Qualität nie erreichen können. Echte Qualität steckt nämlich nicht in den Daten, sondern in den Köpfen der Forscher, die damit arbeiten.

Kommentare (2)

  1. Eckart Strangfeld am 16.08.2018
    Da ist sie wieder: Die These, dass Marktforschung jeder betreiben könne - wenn er nur genug Erfahrung hat. Tut mir leid, wenn ich da nicht folge: Kann er nicht - und wenn er noch so viel Erfahrung hat. Sowohl die Datenqualität ist - insbesondere bei Befragungsdaten - erheblich beeinflussbar. Das geht beim Sampling los und der Einschätzung über die Bedeutung von Zufallsstichproben, geht über die Validität von Testfragen und Antwortvorgaben weiter und endet ja erst bei der Interpretation von Ergebnissen. Da ist es eben nicht die Erfahrung, die jemand hat. Wie viele höchst erfahrene Marktforscher interpretieren in ihren Präsentationen Unterschiede (z.B. zw. uns und dem Wettbewerber), ohne zu prüfen, ob er signifikant ist. Nein: Es geht darum, dass jemand, der keine Kenntnis über wissenschaftliche Vorgehensweisen und Methoden hat, auch die Finger von wissenschaftlichen Instrumenten lassen sollte.
  2. Florian Tress am 16.08.2018
    Hallo Herr Strangfeld,

    vielen Dank für Ihren Kommentar, ich stimme Ihnen absolut zu. Ohne wissenschaftliche Ausbildung läuft man Gefahr, Methodenfehler auf den Forschungsgegenstand zu rechnen bzw. aufgrund inhaltlicher Überraschungen die Methode zu verwerfen. Wo derartige Fehler passieren, kann man dem Erkenntnisvermögen grundsätzlich nicht mehr trauen. Das einzige Gegenmittel ist eine kritische Teilnahme am wissenschaftlichen Diskurs - und die Voraussetzung dafür ist eine solide wissenschaftliche Ausbildung.

    Viele Grüße,
    Florian Tress

Neuen Kommentar schreiben

Kommentare geben ausschließlich die Meinung ihrer Verfasser wieder. Die Redaktion behält sich vor, Kommentare nicht oder gekürzt zu veröffentlichen. Das gilt besonders für themenfremde, unsachliche oder herabwürdigende Kommentare sowie für versteckte Eigenwerbung.

Werbung

Über marktforschung.de

Branchenwissen an zentraler Stelle bündeln und abrufbar machen – das ist das Hauptanliegen von marktforschung.de. Unser breites Informationsangebot rund um die Marktforschung richtet sich sowohl an Marktforschungsinstitute, Felddienstleister, Panelbetreiber und Herausgeber von Studien, Marktdaten sowie Marktanalysen als auch an deren Kunden aus Industrie, Handel und Dienstleistungsgewerbe.

facebook twitter google plus