CONSULTING.de
PERSONALintern.de
Oliver Frangakos, Dynata „KIs wie ChatGPT stellen eine Herausforderung für die Qualität von Marktforschungsdaten dar“
veröffentlicht am
Unstatistik des Monats Zahlenblindheit ist eine mentale Pandemie, die alle Berufsgruppen betrifft
veröffentlicht am
// mv
Das Team hinter der Unstatistik des Monats: Prof. Dr. Gerd Gigerenzer, Prof. Dr. Walter Krämer, Katharina Schüller und Prof. Dr. Thomas K. Bauer küren monatlich eine besonders irreführende Unstatistik mit Ihrer öffentlichen Richtigstellung.
Ab sofort werden wir von marktforschung.de die "Unstatistik des Monats" in einer monatlich erscheinenden Kolumne veröffentlichen. Morgen starten wir mit dem ersten Beitrag. Wir freuen uns über die Zusammenarbeit mit dem Autorenteam und sind gespannt auf die nächste Unstatistik!
Herr Gigerenzer, Herr Krämer und Herr Bauer, Sie haben 2012 die Aktionsreihe „Unstatistik des Monats“ gestartet und veröffentlichen seitdem regelmäßig über das RWI – Leibniz-Institut für Wirtschaftsforschung aktuell publizierte Statistiken und deren fragwürdige Interpretationen. Wie kamen ein Psychologe, ein Statistiker und ein Ökonom gemeinsam auf die Idee, mit dieser Kampagne in die Öffentlichkeit zu gehen?
Thomas Bauer: Am Abend einer Konferenz haben Walter Krämer und ich über eine unsinnige Statistik gescherzt, die damals durch die Presse ging. Diese Plauderei endete mit der Idee, regelmäßig aus der steigenden Zahl falsch interpretierter Statistiken eine besonders irreführende auszusuchen und zu korrigieren. Nachdem wir einige Monate weiter über diese Idee nachgedacht hatten, konnte Walter Krämer seinen Ko-Autor Gerd Gigerenzer überzeugen, sich der Aktion anzuschließen. Seitdem küren wir jeden Monat eine Unstatistik.
Seit 2018 erweitert Katharina Schüller, eine Datenanalyse-Expertin, Ihr Team. Wie kann man sich Ihre Zusammenarbeit für jeden monatlichen Beitrag vorstellen?
Thomas Bauer: Wann immer wir in einer Zeitung oder im Internet auf eine fragwürdige Statistik stoßen, informieren wir uns darüber per E-Mail. Zudem gibt es inzwischen viele Fans der Unstatistik, die uns regelmäßig über mögliche Unstatistiken informieren. Alle Kandidaten werden geprüft, ob es sich bei ihnen wirklich um eine Unstatistik handelt. Am Ende des Monats legen wir dann alle verbliebenen Kandidaten nebeneinander und entscheiden, welche das Rennen macht. Ein Mitglied des Teams schreibt dann einen ersten Entwurf, der von den jeweils anderen ergänzt und überarbeitet wird.
Wie finden Sie seit inzwischen über zehn Jahren jeden Monat eine spannende neue „Unstatistik“? Haben Sie ein großes Netzwerk an Unterstützenden auch aus der Marktforschung?
Walter Krämer: Es gibt – leider – immer noch keinen Mangel an Kandidaten. Wir haben fast jeden Monat die Auswahl. Ein Teil der Kandidaten wird in der Regel von Unterstützern der Unstatistik benannt, die aus den unterschiedlichsten Fachgebieten kommen.
Die Marktforschung ist zumindest bei den potenziellen Unstatistiken eher unterrepräsentiert und das können Sie durchaus als Kompliment verstehen.
Kürzlich wurde Ihr zweites Buch „Grüne fahren SUV und Joggen macht unsterblich“ veröffentlicht. Was erfahren Interessierte darin mehr, als wenn sie nur Ihre regelmäßig online veröffentlichte „Unstatistik des Monats“ lesen?
Walter Krämer: In unseren Büchern gehen wir weit mehr in die Tiefe, als das in der notwendigerweise immer sehr knappen Pressemitteilung möglich ist.
Sie sprechen bei der Beschreibung des Buchinhalts eine Art „Analphabetismus“ im Umgang mit Zahlen, mit Wahrscheinlichkeiten und Risiken an. Was sind nach Ihren Erfahrungen die klassischen und häufigsten Fehler, die bei den Interpretationen passieren?
Katharina Schüller: Dass Korrelation häufig mit Kausalität verwechselt wird, ist ein Fehler, den wir nach zehn Jahren Unstatistik immer noch jeden Monat mehrfach beobachten. Nicht immer, wenn es einen Zusammenhang zwischen zwei Größen gibt, ist dieser ursächlich. Es kann sich auch um eine zufällige oder indirekte Beziehung handeln.
Aber Unstatistik fängt häufig schon mit Daten an, die gar nicht zu den interessierenden Fragestellungen passen.
Das war der Fall bei einer Studie, die die Internetnutzung in verschiedenen Ländern vergleichen wollte – ungeschickterweise hat man dafür eine Online-Befragung durchgeführt. Auch der Unterschied zwischen relativen und absoluten Risiken oder Veränderungen ist vielen nicht klar. So hat das Manager-Magazin vor einigen Jahren getitelt: „Der Anteil von Frauen in Vorständen steigt um 0,7 Prozent“. Richtig wären aber 0,7 Prozentpunkte, denn die ermittelte Veränderung von 7,3 auf 8 Prozent entspricht einem Anstieg von fast 10 Prozent. Und das zeigt, dass allein durch die Wahl der Darstellung einer Zahl schon bestimmte Interpretationen mitkommuniziert werden: Etwas erscheint klein und unbedeutend oder ganz groß und wichtig oder gar bedrohlich.
Welcher Berufsgruppe passieren aus Ihrer Sicht die schlimmsten Fehler? Politiker, Journalisten, Manager oder welche Gruppe sticht besonders hervor?
Gerd Gigerenzer: Zahlenblindheit ist eine mentale Pandemie, die in allen Berufsgruppen verbreitet ist. Weltweit haben etwa Journalisten kaum Ausbildung im Verständnis von Evidenz, und tragen zur Verbreitung des Problems vielleicht am meisten bei.
Was die Nebenwirkungen betrifft, ist bei Medizinern Zahlenblindheit besonders tragisch und gefährlich für die Gesundheit der Patienten.
Studie für Studie zeigt, dass viele Ärzte, einschließlich Chefärzte, nicht in der Lage sind, einen Artikel in ihrem eigenen Fach kritisch zu bewerten, da sie die Statistiken kaum verstehen. Viele sind sich auch nicht sicher, was Sensitivität, Falsch-Alarm-Rate und der positiv-prädiktive Wert eines Tests bedeutet. Fragen Sie Ihren Arzt. Es ist unverantwortlich, dass statistisches Denken immer noch nicht im Medizinstudium gelehrt wird.
Politiker werden dagegen seltener untersucht, oder vermeiden dies erfolgreich. Eine Ausnahme ist einer Studie der Royal Statistical Society von London, die Members of Parlament (MP) fragte, wie wahrscheinlich es ist, mit einer fairen Münze zweimal Kopf zu bekommen (richtige Antwort: 25%). Von über hundert MPs konnte nur die Hälfte diese elementare Aufgabe lösen, die meisten der anderen dachten, es sei 50%. Daher kann man auch kaum erwarten, dass diese MPs die falschen Zahlen auf dem roten Brexit-Bus beurteilen konnten. Unsere Unstatistik vom Oktober 2018 zeigt, wie ein deutscher Innenminister nicht versteht, was die Falsch-Positiv-Rate bei der automatischen Gesichtserkennung bedeutet und dann eine unsinnige flächendeckende Überwachung einführen will.
Gibt es einen Politiker, der/die durch ihren kreativen Umgang mit Statistiken besonders auffällt?
Katharina Schüller: In Corona-Zeiten hat sich Bundesgesundheitsminister Lauterbach reichlich an Studien und Statistiken bedient. Nicht immer ist das gut gegangen. Es wäre aber eine Fehlinterpretation, wenn ich von der Anzahl seiner unstatistischen Äußerungen auf Twitter und Facebook auf ein besonders hohes Defizit an Statistik-Kompetenz schließen würde. Denn vielleicht liegt es auch einfach daran, dass andere Politiker (und Politikerinnen) weniger oft mit Statistik argumentieren.
Wo sehen selbst Sie als „Zahlenprofis“ gewisse Risiken, Daten falsch zu interpretieren?
Walter Krämer: Eine auch für Profis immer wieder gefährliche Fehlerquelle sind bedingte Wahrscheinlichkeiten. Dazu habe ich mit dem Kollegen Gigerenzer in der Fachzeitschrift „Statistical Science“ eine ausführliche Untersuchung vorgelegt. Auch beim Ausrechnen von normalen Wahrscheinlichkeiten machen selbst Geistesgiganten wie Leibniz oder Diderot ganz simple Fehler.
Mehr zum Thema
Welche Aufdeckung in Ihrer langjährigsten Recherche nach der Unstatistik des Monats empfanden Sie als die spektakulärste?
Thomas Bauer: Wir hatten einige Unstatistiken, die für viel Aufregung sorgten, bis hin zur Androhung von Verleumdungsklagen. Eine spektakuläre Unstatistik handelte von einem Bluttest für Brustkrebs der Universitätsklinik Heidelberg, die in der Presse als Weltsensation gefeiert wurde. Es wurde behauptet, dass der Test Brustkrebs angeblich schon Jahre früher als die Mammographie erkennen könne und das mit einer Trefferrate von 75 Prozent. Wir habe dann in unserer Unstatistik darauf hingewiesen, dass man diese Trefferrate nicht vorschnell als Weltsensation feiern sollte, solange man die Falsch-Alarm-Rate nicht nennt. Diese Information wurde uns einige Monate nach der Unstatistik von einem Mediziner zugespielt. Die Falsch-Alarm-Rate betrug 46 Prozent.
Bei einer Einführung des Tests hätte fast die Hälfte aller vollkommen gesunden Frauen einen verdächtigen Befund erhalten. Und mit diesem Befund hätten die Frauen bis zu fünf Jahre leben müssen. Erst dann wären Tumore so groß, dass man sie mit einem bildgebenden Verfahren analysieren kann. Das Ergebnis war, dass die Staatsanwaltschaft ermittelte, die Universitätsklinik hat sich entschuldigt und eine Untersuchungskommission eingesetzt und der Bluttest wurde als noch nicht marktreif deklariert.
Ihre letzte Veröffentlichung zum Thema Corona hatte den Titel: „Mega“-Studie zum Maskentragen hat viele Mängel. Besorgniserregend war auch Ihre Aufdeckung, dass die WHO-Studie zur Corona-Übersterblichkeit störanfällige Methoden nutzt. Was können wir aus Ihrer Sicht insgesamt aus den statistischen Erhebungsmethoden und deren Dateninterpretationen in der Covid-19-Pandemie lernen?
Gerd Gigerenzer: Politiker einschließlich dem Gesundheitsminister benötigen Nachhilfe im statistischen Denken. Um eine Meta-Studie zu bewerten, gibt es wissenschaftliche Kriterien, wie AMSTAR, die man einfach durchgehen kann. Im Falle des Twitter-Beitrags von Minister Lauterbach hat die von ihm gepriesene Studie die meisten dieser Kriterien nicht erfüllt. Auch Journalisten sollten sich solche Kriterien ansehen bevor sie über eine Studie berichten, und dann die Vertrauenswürdigkeit der Ergebnisse auch damit beurteilen. Was können wir aus der Covid-19-Pandemie lernen? Was uns Angst oder Hoffnung gemacht hat, waren nicht Bilder, sondern Zahlen. Und die meisten Bürger haben diese Zahlen und ihre Zuverlässigkeit nicht verstanden. Und auch nicht gewusst, wo man sich informieren kann. Das Harding-Zentrum für Risikokompetenz, dessen Direktor ich bin, hat in leicht verständlicher Weise Zahlen zu Impfung und Maskentragen auf seiner Webseite erklärt.
Die meisten haben sich aber lieber emotionale Schaukämpfe in Talkshows angesehen, mit Teilnehmern die manchmal die Zahlen selbst nicht verstanden, mit denen sie argumentierten. Wir müssen endlich eine Gesellschaft bilden, die mit Zahlen denken kann statt sich damit emotional manipulieren zu lassen.
Welche Tipps können Sie geben, Prognosen und Fake News richtig einzuordnen und nicht den Fallstricken einer schnellen Fehlinterpretation zu erliegen.
Gerd Gigerenzer: Zum ersten: Die Illusion der Gewissheit zu überwinden. Nichts ist sicher außer dem Tod und den Steuern, wie Benjamin Franklin einmal sagte. Dennoch wird immer wieder so getan als ob, etwa wenn Politiker in der Covid-19 Pandemie verkündeten, dass die Impfung sicher sei. Keine Impfung ist sicher, und solch falsche Aussagen wurden dann auch von Impfgegnern ausgeschlachtet.
Zum zweiten: Immer nach Nutzen und Schaden zu fragen, also Risiken abwägen. Bei Tests immer nach beiden Fehlern fragen, nämlich nach der Treffer-Rate (wie dem Anteil positiver Testergebnisse unter den Infizierten) und der Falsch-Alarm-Rate (dem Anteil positiver Ergebnisse unter den Nicht-Infizierten).
Wenn jemand nur die Trefferrate berichtet, dann seien Sie vorsichtig.
Ein Beispiel dazu war der Bluttest für Brustkrebs der Universitätsklinik Heidelberg, über den mein Kollege Thomas Bauer oben bereits berichtet hat.
Zum dritten: Lesen sie monatlich die Unstatistik.
Wir können Ihnen und Ihrer Arbeit sehr dankbar sein, denn sie schützt uns wahrscheinlich nur an der Spitze eines Eisbergs vor Fehlinterpretationen und falschen Schlussfolgerungen. Wo vermissen Sie ganz besonders eine sorgfältigere und gewissenhaftere Analyse von Daten und was wünschen Sie sich diesbezüglich?
Katharina Schüller: Das Gebiet der Diversität, Gerechtigkeit und Inklusion ist politisch hoch aufgeladen und ich halte es für sehr problematisch, wie häufig Meinungen dort als scheinbar objektive Daten verkauft werden. Man kann ja persönlich für oder gegen Quoten sein, aber der Großteil der Studien in diesem Bereich qualifiziert sich als Unstatistik. Entscheidungen von Menschen für Karrierewege oder die Aufteilung familiärer Aufgaben sind hoch komplexe, von vielen einzelnen Faktoren getriebene Phänomene, und noch viel mehr gilt das für deren mittel- und langfristige Auswirkungen. Machen Vätermonate Ehen stabiler – oder sind in stabilen Ehen Väter eher bereit, ihre Partnerin zu entlasten? Machen Frauen in Vorständen Unternehmen erfolgreicher – oder sind erfolgreiche Unternehmen attraktiver für hoch qualifizierte Frauen? Behauptet wird meist ersteres, selten ist es wahr, oder zumindest die alleinige Wahrheit.
Wenn aber falsche Schlussfolgerungen dazu dienen sollen, eine Agenda zu verfolgen, vertiefen wir die Gräben eher, statt Brücken zu bauen.
Und schaden damit langfristig der Idee von „Statistics for the Public Good“, nämlich dass gute Statistik eine Gesellschaft nicht nur beschreiben, sondern auch verbessern sollte.
Über die Personen
Prof. Dr. Thomas K. Bauer hat 2003 den Lehrstuhl für Empirische Wirtschaftsforschung an der Ruhr-Universität Bochum übernommen. Seit 6. Februar 2004 ist er Vorstandsmitglied des RWI – Leibniz-Institut für Wirtschaftsforschung, seit 2009 dessen Vizepräsident. Er betreut bereichsübergreifend Forschungsprojekte und begleitet die Kooperation zwischen RWI und Ruhr-Universität Bochum. Von 2011 bis 2019 war er Mitglied im Sachverständigenrat deutscher Stiftungen für Integration und Migration, von... mehr
Prof. Gerd Gigerenzer, langjähriger Direktor am Max-Planck-Institut für Bildungsforschung, leitet das Harding-Zentrums für Risikokompetenz an der Universität Potsdam. Er war Professor an der University of Chicago und John M. Olin Distinguished Visiting Professor an der School of Law der Universität von Virginia. Er ist Mitglied der Deutschen Akademie der Wissenschaften (Leopoldina), der Berlin-Brandenburgischen Akademie der Wissenschaften, der American Academy of Arts and Sciences und der... mehr
Walter Krämer war bis 2017 ordentlicher Professor für Wirtschafts- und Sozialstatistik an der TU Dortmund, bis Mitte 2021 Sprecher eines DFG-Sonderforschungsbereiches zur angewandten Statistik. Zahlreiche Rufe an auswärtige Universitäten hat er abgelehnt. Träger verschiedener Auszeichnungen und Preise („Lesbare Wissenschaft“, DAGStat-Medaille für herausragende Verdienste um die deutsche Statistik), ordentliches Mitglied der Nordrhein-Westfälischen Akademie der Wissenschaften (von 2016 bis 2021... mehr
Katharina Schüller leitet seit fast 20 Jahren das Beratungsunternehmen STAT-UP mit Fokus auf Datenstrategien, Data Science und KI und ist Vorstandsmitglied der Deutschen Statistischen Gesellschaft. Als Expertin für Datenkompetenz verfasste sie u. a. für das BBSR Studien und Beiträge, etwa zur Smart City Charta des Bundes. Sie berät das BMBF zur „Initiative Digitale Bildung“ sowie zur „Roadmap Datenkultur und Datenkompetenz“ im Rahmen der Datenstrategie und ist festes Mitglied des Digital-Gipfels... mehr
Kommentare (0)
Noch keine Kommentare zu diesem Artikel. Machen Sie gerne den Anfang!
Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.
Anmelden