Demoskopie und Demoskopie-Journalismus

Die SZ hat kürzlich ein paar Mal (Mitte Januar, hm, auch schon wieder ein paar Tage her …) über die Probleme von Demoskopie und Meinungsforschung berichtet: Einmal in einer Rezension des aktuellen Buchs von Nate Silver, zweitens in einem ganzseitigen Beitrag von Christopher Schrader auf der „Wissen“-Seite (wie häufig leider nicht online), der sich ganz fundiert und basierend auf Gesprächen mit Wissenschaftlern mit den oft übersehenen Details und Schwierigkeiten der Meinungsforschung auseinandersetzt.

Neben den wissenschaftlichen gibt es aber in der öffentlichen Wahrnehmung demoskopischer Ergebnisse auch einige Probleme, die mit deren journalistischer Aufarbeitung zu tun haben:

In Berichten über Nate Silver zum Beispiel ist es nicht wirklich sachgerecht, dessen sehr exakte Vorhersagen den weniger exakten der jeweiligen Meinungsforschungsinstitute gegenüberzustellen. Denn es ist ein ganz einfaches statistisches Gesetz, dass ein Mittelwert aus mehreren unabhängigen Stichproben dem „wahren“ Wert höchstwahrscheinlich näher kommt als jede einzelne dieser Stichproben. Den Meinungsforschungsinstituten vorzuwerfen, dass ihre einzelnen Umfragen nicht so exakt sind wie die Summe aus mehreren, die Nate Silver berechnet, ist also etwas unfair (dass er u.U. durchaus ein paar weitere innovative Parameter in seine Modelle aufnimmt, die damit „klassischen“ Modellen überlegen sind, mag natürlich trotzdem zutreffen).

Ein zweites Problem mit demoskopischen Befunden, über das Christopher Schrader in der SZ schrieb, ließe sich relativ leicht durch Journalisten in der Berichterstattung kontrollieren, nämlich wenn sie wüssten, was das „Konfidenzintervall“ ist: der Umstand, dass die Ergebnisse von Umfragen nicht so exakt sind, wie sie auf den ersten Blick aussehen. Da alle auf Stichproben basierenden Schätzungen – z.B. des Wähleranteils der FDP bei einer potenziell nächsten Bundestagswahl – mit einer gewissen Unsicherheit behaftet sind, geben Forschungsinstitute in der Regel einen Unsicherheitsbereich an, der üblicherweise zwischen +/-3% (in der Verteilungsmitte, dort wo etwa die CDU-Ergebnisse von 30-40% liegen) und +/-1,5% (am Verteilungsrand, wo Kleinparteien wie die FDP mit einstelligen Prozentergebnissen üblicherweise landen) liegt. Wenn die FDP im Politbarometer also von 5% in der Vorwoche auf 4% sinkt, verbieten sich Schlagzeilen wie „FDP sinkt unter 5%“, weil die Politbarometer-Umfrage streng genommen nur sagt, dass die FDP in der Vorwoche höchstwahrscheinlich zwischen 3,5 und 6,5% lag, und jetzt höchstwahrscheinlich irgendwo zwischen 2,5 und 5,5%. Ein Rückgang um einen Prozentpunkt in einer stichprobenbasierten Umfrage kann nicht belegen, dass der Wähleranteil tatsächlich zurückgegangen ist (die Daten lassen durchaus auch die Möglichkeit offen, dass er tatsächlich von 4 auf 5% gestiegen ist).

Das Demoskopie-Bashing (wie kürzlich wieder durch die CSU) ist deshalb zumindest zum Teil unbegründet: ein wenig Statistik-Kenntnisse in der Politik und im Journalismus (und dort die Disziplin, sie nicht wegen der Möglichkeit einer knackigen Schlagzeile zu ignorieren), würden sehr dabei helfen, Umfragedaten richtig zu interpretieren.

Dinge, die ich in Abschlussarbeiten ungern lese (1): Die Relevanzbegründungs-Klippe

Da im Moment wieder Abschlussarbeits-Korrekturzeit ist, nutze ich mal die Gelegenheit, um in loser Folge auf ein paar immer wiederkehrende Fehler in solchen Arbeiten hinweisen – in der Hoffnung, dann nicht immer wieder in jedem Kolloquium und jeder Sprechstunde individuell darüber sprechen zu müssen. (Ich weiß, dass das eine höchstwahrscheinlich unbegründete Hoffnung ist; aber trotzdem).

Ein Problem, dem man meist gleich am Anfang in der Einleitung begegnet, ist die „Relevanzbegründungs-Klippe“ (zu der ich letztes Jahr schon mal kurz etwas geschrieben habe). Sie besteht darin, dass zwar zu Beginn der Einleitung auf ein mehr oder weniger relevantes Problem im Zusammenhang mit dem Titel der Arbeit eingegangen wird (z.B. ein konkretes Praxisbeispiel, ein Ereignis o,ä.), dass aber der inhaltliche Abstand zwischen diesem beispielhaften Problem und der meist sehr spezifischen Forschungsfrage dadurch nicht überbrückt werden kann. Kurz: es wird trotz länglichen Räsonnierens über die Relevanz nicht ausreichend begründet, warum in der Arbeit das bearbeitet wird, was bearbeitet wird. Ein klassisches Beispiel aus meiner Lehrpraxis ist folgendes:

Die Einleitung beginnt mit der Beschreibung der großen Bedeutung, die das Internet für öffentliche Kommunikation heute hat. Dabei wird auf verschiedenste Indikatoren verwiesen, etwa auf den Anteil der Internetnutzer, Umsatzzahlen von Google und Facebook und anderes. Nach etwa einer Seite, wenn dem Leser klar ist, dass das Internet eine wichtige Sache ist, folgt eine Forschungsfrage wie diese: „Vor diesem Hintergrund soll in dieser Arbeit untersucht werden, ob die Berichterstattung in journalistischen Online-Medien anderen Nachrichtenwerten folgt als die Berichterstattung in herkömmlichen Medien.“

Wo ist das Problem? Das Problem ist, dass ich als Leser zuerst auf eine relativ hohe Relevanz-Klippe hinaufgeschoben wurde (das Internet ist ganz wichtig) um dann von dort oben auf die Niederungen einer konkreten Forschungsfrage herabzublicken ohne zu wissen, wie ich da hinunterkommen soll. Denn die Frage beschäftigt sich nur mit einem Teilaspekt medialer Kommunikation (dem Journalismus), nur mit einer explanativen Perspektive (Erklärung von Medieninhalten durch ein theoretisches Konzept) und auch nur mit einer von mehreren prinzipiell möglichen Theorien (Nachrichtenwerttheorie). Und die Relevanz all dieser einzelnen Aspekte ist noch überhaupt nicht begründet.

 Wenn man also eine Frage wie die im obigen Beispiel beantworten will, sollte man nicht bei Adam und Eva (dem Internet als solches) anfangen, sondern möglichst mit der Thematisierung von Problemen im gewählten Realitätsausschnitt; man kann z.B. darauf hinweisen, dass das Internet die Arbeitsbedingungen im Journalismus verändert (da gäbe es zahlreiche praktische Beispiele) und dass deshalb die Frage im Raum steht, ob sich diese strukturellen Veränderungen auch in den Inhalten niederschlagen. Dies würde relativ knapp aber trotzdem sachlich gut nachvollziehbar zur obigen Frage nach möglichen inhaltlichen Unterschieden im Online- und Offline-Journalismus führen. Dass für die Analyse ein ganz bestimmter Zugang – die Nachrichtenwerttheorie – gewählt wird, muss noch nicht bis ins Detail begründet sein, aber ein Verweis darauf, dass diese Theorie eine hierfür naheliegende und in der Forschung bereits häufiger eingesetzte ist, sollte als Relevanz-Hinweis trotzdem auch in der Einleitung stehen.

Eine kleine ad-hoc-Dimensionsanalyse der Forschungsfrage kann dabei helfen, die zentralen Aspekte zu identifizieren, die in der Forschungsfrage stecken. Und für jeden Aspekt sollte in der Einleitung dann klar gemacht werden, warum eine Beschäftigung mit ihm sinnvoll ist.

Tagesschau-App: Realitätsferne Debatten

Als Wissenschaftler, der sich seit vielen Jahren mit Mediennutzung beschäftigt, lerne ich gerne immer mal was dazu. Besonders interessant heute: Das Landgericht Köln meint (nach Darstellung von Claudia Tieschky in der SZ), dass die Tagesschau-App „aus Sicht der Nutzer geeignet ist, als Ersatz für die Lektüre von Zeitungen oder Zeitschriften zu dienen“. Mir ist sowas neu, denn es widerspricht völlig dem empirischen Forschungsstand: Wie ich nicht nur hier in meinem Blog sondern auch in zahlreichen wissenschaftlichen Veröffentlichungen wiederholt deutlich gemacht habe, gibt es keine überzeugenden Belege dafür, dass Nutzer die Zeitung durch (kostenlose) Informationen aus dem Internet ersetzen würden.

Dabei ist dem Gericht eigentlich kaum ein Vorwurf zu machen: Es hat, durch die Beschränkung des Urteils auf die „Ausgabe“ (für ein sich ständig aktualisierendes Online-Angebot ein eigentlich sinnloser Begriff) vom 15.06.2011 ebenso wie durch eine Reihe früherer Äußerungen, versucht die Parteien davon zu überzeugen, dass diese Auseinandersetzung nicht vor Gericht gehört. Es ist wirklich ein Trauerspiel, nun schon über so viele Jahre zu beobachten, wie die gesamte „alte“ Medienbranche sich in eine realitätsferne Traumwelt zurückzieht und gegen nur eingebildete Windmühlen kämpft, während sich die Welt da draußen weiterdreht. In einer digitalisierten Welt – die in den nächsten Jahren auch das alte Fernsehen so in sich aufsaugen wird wie im letzten Jahrzehnt die Print-Medien – sind Begriffe wie „Fernsehen“ oder „Presse“ zur Beschreibung von Branchen/Berufen/individuellem Handeln untauglich geworden, und Hilfskonstruktionen wie „sendungsbezogen“ oder „presseähnlich“ lösen keinerlei Probleme, sondern sind nur ein Ausdruck von Ratlosigkeit. Auch aus Sorge um von mir sehr geschätzte Medien wie die Süddeutsche Zeitung (die ich trotz meiner intensiven Online-Nutzung seit über zwanzig Jahren abonniert habe) hoffe ich inständig, dass sich die relevanten Unternehmen und auch die Politik bald einmal Gedanken über die Gestaltung ihrer und unserer digitalen Zukunft machen, statt zu versuchen, sie aufzuhalten.