Nachschlag zur EU-Umfrage Von verdrehten Uhrzeiten und falsch verstandener Demoskopie

Können 4,6 Millionen Teilnehmer irren? Jeder, der auch nur entfernt mit Methoden in Verbindung gekommen ist, weiß, dass Stichprobengröße und Repräsentativität allenfalls marginal miteinander zu tun haben. Eine methodische Nörgelei zur EU-Umfrage zur Zeitumstellung.

Der Dauersommer kommt – wir sind parat!

Dass der Klimawandel stattfindet, scheint immer sicherer. Auch wenn Donald Trump von normalen Wetterschwankungen spricht und mancher Wissenschaftler durchaus noch zweifelt, haben sich zumindest die Bürger Europas anscheinend auf einen fortlaufenden Sommer eingestellt. Wie in den vergangenen Tagen breit in den Medien zu erfahren war, stimmten nämlich 4,6 Millionen Teilnehmer einer EU-Umfrage nicht nur mit überwältigender Mehrheit für die Abschaffung der halbjährlichen Zeitumstellung, sondern zugleich auch für die dauerhafte Beibehaltung der Sommerzeit, anstatt zur zuvor gültigen Winterzeit zurückzukehren (obwohl ja die Winterzeit am natürlichen Verlauf der Sonne ausgerichtet ist).

Auf dieser Basis haben sich führende Politiker, allen voran EU-Kommissionspräsident Jean-Claude Juncker, auf eine zügige Umsetzung festgelegt. "Die Menschen wollen das, wir machen das", sagte er im ZDF, denn es mache keinen Sinn, Menschen zu fragen, was sie denken, und das dann zu ignorieren.

Ein rauschender Sieg der Basisdemokratie also in der oft als bürgerfern verschrienen EU. Und Dauersommer für alle! Langen Grillabenden an lauschigen Novembertagen steht nichts mehr im Wege, während Martinsfackeln wohl bald gegen die späte Abendsonne anleuchten müssen. Zumindest zeitlich haben wir den Klimawandel also schon im Griff – die paar fehlenden Deiche werden wir dann wohl auch noch hinbekommen.

Nörgeleien eines Methodikers

DIE MENSCHEN WOLLEN DAS? Bei über vier Millionen Teilnehmern und mehr als 80 Prozent Mehrheit sicher keine Frage. So scheint es zumindest für die Medien, wenn Sie von der "großen EU-Umfrage" berichteten. Und schließlich wissen die Allermeisten: Ab Tausend ist es "repräsentativ". (Zumindest geistert diese Aussage immer wieder herum, wenn es um die Aussagekraft von Stichproben geht. Erst vor zwei Wochen habe ich den Satz wieder von einem Unternehmensberater gehört, der auf dieser Basis gerade eine Studie plante.)

Dabei weiß jeder, der auch nur entfernt mit Methoden in Verbindung gekommen ist, dass Stichprobengröße und Repräsentativität allenfalls marginal miteinander zu tun haben, während vielmehr die Teilnehmerauswahl und Durchführung entscheidend ist.

Die zitierte Umfrage war danach alles andere als repräsentativ: Die Teilnehmer waren selbstrekrutiert, sie mussten mehr oder weniger zufällig über die Medien darüber erfahren und konnten sich dann aktiv – wenn sie wollten auch mehrfach – an der Umfrage beteiligen. Ergebnis war eine dramatisch verzerrte Population. So nahmen etwa fast vier Prozent der Deutschen, aber nur 0,04 Prozent der Italiener und Rumänen teil. Im Ergebnis kamen zwei von drei Stimmen aus Deutschland - bei 16 Prozent Einwohneranteil in Europa.

Ausgleichende Gerechtigkeit?

Endlich mal nicht nur gleichberechtigt, sondern sogar übergewichtet, könnten wir uns freuen. Wer nämlich wie ich in der nach Einwohnerzahl größten Stadt des größten Bundeslandes des größten Mitgliedsstaates der EU lebt, dessen politische Stimme fließt dank mehrfach gestufter Stimmrechte nur noch in homöopathischer Dosis in die unterschiedlichen Entscheidungsgremien der Gemeinschaft ein – zumindest verglichen mit einem Bürger aus Zypern, Luxemburg oder Malta beispielsweise. Diesmal zählte meine Stimme wirklich. (Beziehungsweise hätte gezählt, wenn ich sie hätte abgeben können, was in meinem Fall aber an einem technischen Problem auf dem EU-Server scheiterte. Aber das ist jetzt schon wieder methodische Nörgelei).

Mehr Vorsicht, mehr Verantwortung?

Die dennoch breite gesellschaftliche Rezeption der "Umfrage" und die zügige Umsetzung der Ergebnisse zeigt dreierlei:

  1. Die zu recht immer wieder angemahnte Rolle sauberer methodischer Arbeit, wenn tatsächlich Aussagen getroffen werden sollen in der Art "DIE MENSCHEN WOLLEN DAS". Teilen die – weitaus unterrepräsentierten - Bürger weiter westlich gelegenen Staaten überhaupt die deutsch dominierte Abstimmungspräferenz oder wollen sie keine Sommerzeit, weil die Abende dort sowieso schon länger sind? Sehen die Bewohner Schwedens und Siziliens den Nutzen einer Zeitumstellung angesichts ganz anderer Lichtverhältnisse völlig anders? Nach den bisher veröffentlichten Ergebnissen schwankt die Zustimmungsquote zur Abschaffung der Zeitumstellung je nach Land zwischen 44 und 95 Prozent. Genauere Daten zur Bevorzugung der dauerhaften Sommer- gegenüber Winterzeit werden erst in den nächsten Tagen veröffentlicht.

  2. Die Leichtfertigkeit, mit der Medien empirische Ergebnisse aufgreifen, wenn sie nur die richtige Teilnehmerzahl haben und das richtige Thema adressieren. Die EU selbst spricht nämlich gar nicht von einer Umfrage, sondern von einer "öffentlichen Konsultation". Auch waren keineswegs nur Bürger, sondern ebenso Unternehmen und Institutionen zur Teilnahme eingeladen. Das geht aber schnell unter, wenn zum Beispiel das ZDF schließt, "die Mehrheit in einer EU-Umfrage wünscht sich die Sommerzeit dauerhaft."

  3. Die Gefahr des Rosinenpickens durch die Politik, also der Suche nach "passenden" empirischen Ergebnissen, um gewünschte Maßnahmen zu rechtfertigen. Würde ein Bürgervotum zur Migrationspolitik oder zur Bezahlung von EU-Mitarbeitern wohl ebenso unkritisch aufgenommen und zügig in Maßnahmen umgesetzt wie das zur Zeitumstellungs-Frage?

Zumindest zu den erstgenannten Punkten ist sicherlich auch die professionelle Umfrageforschung in der Pflicht, nicht nur sorgfältig zu arbeiten und zu kommunizieren, sondern auch zur Aufklärung beizutragen. Angesichts der zunehmenden Vielfalt und Oberflächlichkeit der Medien ein außerordentlich dickes Brett.

Aber lassen Sie sich von diesen Überlegungen die Ganzjahres-Sommerzeit nicht verderben!

Ihr

Horst Müller-Peters
(Herausgeber)

 

Diskutieren Sie mit!     

  1. Wolfgang Dittrich am 10.09.2018
    Wäre das Thema nicht eine schöne Steilvorlage für den ADM, BVM und den Rat der Deutschen Marktforschung?
    Unter dem Etikett Marktforschung, Umfrage etc. wird eine völlig unwissenschaftliche und unrepräsentative Massendatensammelei, die - noch schlimmer - alle Möglichkeiten für Manipulation durch Einzelne offenlässt, zweckentfremdet: Als Beispiel für Bürgernähe und SichumdieSorgenderMenschen kümmernde EU. Für mich ist das eine gefährliche Vorgehensweise, auch wenn ich persönlich die dauerhafte Sommerzeit großartig fände.
    Da die meisten Stimmen aus Deutschland kamen, sollte BVM/ADM/Rat initiativ werden. ich freue mich auf die EU-Kommission-Rüge :-)
  2. Thomas Schäfer am 10.09.2018
    Lieber Herr Müller-Peters,
    danke für den Artikel. Aber Sie müssen hierfür nicht bis nach Brüssel gehen. Die bevorstehende Landtagswahl in Bayern - gerade heute (Montag, 10.9.) Thema bei Spiegel Online - reicht:
    SPON schreibt: "Bis das Ergebnis einer Umfrage repräsentativ wird, müssen ausreichend viele unterschiedliche Menschen daran teilnehmen. Ob das bereits gelungen ist, macht Civey transparent, indem zu jedem Umfrageergebnis eine statistische Fehlerwahrscheinlichkeit angegeben wird. Auch die Zahl der Teilnehmer und die Befragungszeit werden für jede Umfrage veröffentlicht." In diesem Stil wird argumentiert und ganz elementare Sachverhalte ziemlich durcheinander gebracht.
    Viele Grüße - Thomas Schäfer
  3. Friederike Beier am 10.09.2018
    Vielen Dank für die zusammenfassende Darstellung!

    Wir hatten gleich zu Beginn der Befragung bei den Durchführenden kritisch nachgefragt, weil ja auch ungehinderte Mehrfachbeteiligung möglich war (plus die Beteiligung von Kindern etc.) - wie schon geschrieben, unterschiedlichste Arten der Manipulation.
    Die Antwort der Zuständigen kam per Mail, dass man - wie von Herrn Müller-Peters geschrieben - keine Repräsentativität anstrebe, sondern lediglich ein Meinungsbild für die weitere Entscheidungsfindung.
    Wenn man solch ein Vorgehen wählt (was aus unserer brancheninternen Sicht natürlich nicht zu befürworten ist), muss man m.E. gewährleisten, dass das Ergebnis dann nicht als Steilvorlage von Politikern und Medien genutzt werden kann, sondern verantwortungswortungsvoll damit umgegangen wird. Hierin sehe ich das eigentliche Problem.

    Ich persönlich freue mich, wenn Gesundheit und Schutz der Kinder in Zukunft wieder größer geschrieben würden als Vergnügen am Abend... aber das ist Privatsache bzw. Sache politischer Abwägung ;-)
  4. Marion Heck am 12.09.2018
    Vielen Dank, endlich mal ein Artikel, der dieses Thema aufgreift - ein Ärgernis aus meiner Sicht, nicht nur, weil ich ein Freund der Normalzeit bin ;-)

    Ich sehe das genauso: Professionelle Umfrageforschung sollte dieses dicke Brett immer wieder bohren. Wie leicht erzeugen große absolute Teilnehmerzahlen Glaubwürdigkeit verglichen mit den eher komplexen Qualitätsmerkmalen einer repräsentativen Stichprobe? Wir Menschen neigen nun einmal zu schnellen, intuitiven Entscheidungen, wie u. a. das Buch "Schnelles Denken, langsames Denken" von Daniel Kahneman sehr eindrucksvoll zeigt.

    Umso wichtiger ist es, dass politische Institutionen mit gutem Beispiel vorangehen. Denn, auch wenn die EU selbst von einer "öffentlichen Konsultation" spricht, muss es den Verantwortlichen bewusst sein, wie Meinungserhebungen medial aufgegriffen und verbreitet werden. Die EU-Politiker liefern damit eine schlechte Blaupause für E-Partizipation. Das ist eine vertane Chance in Zeiten der um sich greifenden Instrumentalisierung von plakativen Informationen.

    Knackigen Zahlen wird in den Medien der Vorzug gegeben, eine sachgerechte Diskussion zum Ursprung der Daten steht lesefreundlichen Schlagzeilen nun mal eher im Weg. Umso wichtiger ist es, dass Meinungserhebungen zu politischen Themen von Anfang an seriös auf den Weg gebracht werden. Denn später kräht kein Hahn mehr nach der Unterscheidung zwischen einer "Umfrage" und einer "öffentlichen Konsultation".
  5. Michi Völler am 12.09.2018
    Wieder mal ein toller Beitrag, vielen Dank dafür! Schon auf das Repräsentativäts-Dossier, das vor einigen Jahren hier erschienen ist, verweise ich gerne in meinen Vorlesungen. Dieser aktuelle Beitrag ist eine gute Ergänzung - und wieder herrlich zu lesen.
  6. Torsten Brammer am 13.09.2018
    Man hat wieder gelernt: Online-Forschung = Do-It-Yourself-Research = Mist

    Die EU hat dafür gesorgt, daß diese "Umfrage" die nächsten Jahrzehnte als klassisches Negativbeispiel (garbabe in, garbage out) in keiner Vorlesung "Grundlagen Empirische Sozialforschung I" fehlen wird :-)
  7. Wolfgang Best am 21.09.2018
    Das methodische Problem ist dargestellt und nimmt in Wirtschaft und Gesellschaft sicher zuküftig nicht ab (leider). Das eigentliche Problem dabei ist, dass sich die Konsequenzen solch einer Forschung nicht wirklich bewusst gemacht wird. Auf Basis dieser Daten kann man nicht mit Sicherheit sagen, ob (zufällig) ein richtiges oder falsches Bild der Wirklichkeit gezeichnet wird. Da anhand solcher Daten (wichtige, kostenintensive,...) Entscheidungen getroffen werden sollen, ist es mehr als wahrscheinlich, dass diese Entscheidungen falsch bzw. nicht optimal ausfallen (im Abhängigkeit von der jeweiligen Zielsetzung). Wenn aber falsche Entscheidungen das Ergebnis sind oder zumindest sein können, sind in der Konsequenz oftmals "keine Daten" besser als solche Daten.
  8. Johannes Wagner am 05.11.2018
    Liebe Marktforscher,

    ich möchte hier ein Beispiel eines Artikels, der heute erschien, angeben für die o.a. Leichtfertigkeit der Medien im Umgang mit angeblichen Umfragen und deren Nutzung zur Verdummung der normalen Bevölkerung:

    https://www.merkur.de/politik/abschaffung-zeitumstellung-norbert-hofer-glaubt-vorerst-nicht-daran-zr-10198082.html#idAnchComments

Um unsere Kommentarfunktion nutzen zu können müssen Sie sich anmelden.

Anmelden

Weitere Highlights auf marktforschung.de