Demoskopie und Demoskopie-Journalismus

Die SZ hat kürzlich ein paar Mal (Mitte Januar, hm, auch schon wieder ein paar Tage her …) über die Probleme von Demoskopie und Meinungsforschung berichtet: Einmal in einer Rezension des aktuellen Buchs von Nate Silver, zweitens in einem ganzseitigen Beitrag von Christopher Schrader auf der „Wissen“-Seite (wie häufig leider nicht online), der sich ganz fundiert und basierend auf Gesprächen mit Wissenschaftlern mit den oft übersehenen Details und Schwierigkeiten der Meinungsforschung auseinandersetzt.

Neben den wissenschaftlichen gibt es aber in der öffentlichen Wahrnehmung demoskopischer Ergebnisse auch einige Probleme, die mit deren journalistischer Aufarbeitung zu tun haben:

In Berichten über Nate Silver zum Beispiel ist es nicht wirklich sachgerecht, dessen sehr exakte Vorhersagen den weniger exakten der jeweiligen Meinungsforschungsinstitute gegenüberzustellen. Denn es ist ein ganz einfaches statistisches Gesetz, dass ein Mittelwert aus mehreren unabhängigen Stichproben dem „wahren“ Wert höchstwahrscheinlich näher kommt als jede einzelne dieser Stichproben. Den Meinungsforschungsinstituten vorzuwerfen, dass ihre einzelnen Umfragen nicht so exakt sind wie die Summe aus mehreren, die Nate Silver berechnet, ist also etwas unfair (dass er u.U. durchaus ein paar weitere innovative Parameter in seine Modelle aufnimmt, die damit „klassischen“ Modellen überlegen sind, mag natürlich trotzdem zutreffen).

Ein zweites Problem mit demoskopischen Befunden, über das Christopher Schrader in der SZ schrieb, ließe sich relativ leicht durch Journalisten in der Berichterstattung kontrollieren, nämlich wenn sie wüssten, was das „Konfidenzintervall“ ist: der Umstand, dass die Ergebnisse von Umfragen nicht so exakt sind, wie sie auf den ersten Blick aussehen. Da alle auf Stichproben basierenden Schätzungen – z.B. des Wähleranteils der FDP bei einer potenziell nächsten Bundestagswahl – mit einer gewissen Unsicherheit behaftet sind, geben Forschungsinstitute in der Regel einen Unsicherheitsbereich an, der üblicherweise zwischen +/-3% (in der Verteilungsmitte, dort wo etwa die CDU-Ergebnisse von 30-40% liegen) und +/-1,5% (am Verteilungsrand, wo Kleinparteien wie die FDP mit einstelligen Prozentergebnissen üblicherweise landen) liegt. Wenn die FDP im Politbarometer also von 5% in der Vorwoche auf 4% sinkt, verbieten sich Schlagzeilen wie „FDP sinkt unter 5%“, weil die Politbarometer-Umfrage streng genommen nur sagt, dass die FDP in der Vorwoche höchstwahrscheinlich zwischen 3,5 und 6,5% lag, und jetzt höchstwahrscheinlich irgendwo zwischen 2,5 und 5,5%. Ein Rückgang um einen Prozentpunkt in einer stichprobenbasierten Umfrage kann nicht belegen, dass der Wähleranteil tatsächlich zurückgegangen ist (die Daten lassen durchaus auch die Möglichkeit offen, dass er tatsächlich von 4 auf 5% gestiegen ist).

Das Demoskopie-Bashing (wie kürzlich wieder durch die CSU) ist deshalb zumindest zum Teil unbegründet: ein wenig Statistik-Kenntnisse in der Politik und im Journalismus (und dort die Disziplin, sie nicht wegen der Möglichkeit einer knackigen Schlagzeile zu ignorieren), würden sehr dabei helfen, Umfragedaten richtig zu interpretieren.

Dinge, die ich in Abschlussarbeiten ungern lese (1): Die Relevanzbegründungs-Klippe

Da im Moment wieder Abschlussarbeits-Korrekturzeit ist, nutze ich mal die Gelegenheit, um in loser Folge auf ein paar immer wiederkehrende Fehler in solchen Arbeiten hinweisen – in der Hoffnung, dann nicht immer wieder in jedem Kolloquium und jeder Sprechstunde individuell darüber sprechen zu müssen. (Ich weiß, dass das eine höchstwahrscheinlich unbegründete Hoffnung ist; aber trotzdem).

Ein Problem, dem man meist gleich am Anfang in der Einleitung begegnet, ist die „Relevanzbegründungs-Klippe“ (zu der ich letztes Jahr schon mal kurz etwas geschrieben habe). Sie besteht darin, dass zwar zu Beginn der Einleitung auf ein mehr oder weniger relevantes Problem im Zusammenhang mit dem Titel der Arbeit eingegangen wird (z.B. ein konkretes Praxisbeispiel, ein Ereignis o,ä.), dass aber der inhaltliche Abstand zwischen diesem beispielhaften Problem und der meist sehr spezifischen Forschungsfrage dadurch nicht überbrückt werden kann. Kurz: es wird trotz länglichen Räsonnierens über die Relevanz nicht ausreichend begründet, warum in der Arbeit das bearbeitet wird, was bearbeitet wird. Ein klassisches Beispiel aus meiner Lehrpraxis ist folgendes:

Die Einleitung beginnt mit der Beschreibung der großen Bedeutung, die das Internet für öffentliche Kommunikation heute hat. Dabei wird auf verschiedenste Indikatoren verwiesen, etwa auf den Anteil der Internetnutzer, Umsatzzahlen von Google und Facebook und anderes. Nach etwa einer Seite, wenn dem Leser klar ist, dass das Internet eine wichtige Sache ist, folgt eine Forschungsfrage wie diese: „Vor diesem Hintergrund soll in dieser Arbeit untersucht werden, ob die Berichterstattung in journalistischen Online-Medien anderen Nachrichtenwerten folgt als die Berichterstattung in herkömmlichen Medien.“

Wo ist das Problem? Das Problem ist, dass ich als Leser zuerst auf eine relativ hohe Relevanz-Klippe hinaufgeschoben wurde (das Internet ist ganz wichtig) um dann von dort oben auf die Niederungen einer konkreten Forschungsfrage herabzublicken ohne zu wissen, wie ich da hinunterkommen soll. Denn die Frage beschäftigt sich nur mit einem Teilaspekt medialer Kommunikation (dem Journalismus), nur mit einer explanativen Perspektive (Erklärung von Medieninhalten durch ein theoretisches Konzept) und auch nur mit einer von mehreren prinzipiell möglichen Theorien (Nachrichtenwerttheorie). Und die Relevanz all dieser einzelnen Aspekte ist noch überhaupt nicht begründet.

 Wenn man also eine Frage wie die im obigen Beispiel beantworten will, sollte man nicht bei Adam und Eva (dem Internet als solches) anfangen, sondern möglichst mit der Thematisierung von Problemen im gewählten Realitätsausschnitt; man kann z.B. darauf hinweisen, dass das Internet die Arbeitsbedingungen im Journalismus verändert (da gäbe es zahlreiche praktische Beispiele) und dass deshalb die Frage im Raum steht, ob sich diese strukturellen Veränderungen auch in den Inhalten niederschlagen. Dies würde relativ knapp aber trotzdem sachlich gut nachvollziehbar zur obigen Frage nach möglichen inhaltlichen Unterschieden im Online- und Offline-Journalismus führen. Dass für die Analyse ein ganz bestimmter Zugang – die Nachrichtenwerttheorie – gewählt wird, muss noch nicht bis ins Detail begründet sein, aber ein Verweis darauf, dass diese Theorie eine hierfür naheliegende und in der Forschung bereits häufiger eingesetzte ist, sollte als Relevanz-Hinweis trotzdem auch in der Einleitung stehen.

Eine kleine ad-hoc-Dimensionsanalyse der Forschungsfrage kann dabei helfen, die zentralen Aspekte zu identifizieren, die in der Forschungsfrage stecken. Und für jeden Aspekt sollte in der Einleitung dann klar gemacht werden, warum eine Beschäftigung mit ihm sinnvoll ist.

Aus alt mach‘ neu: Zitate-Recycling

In jüngster Zeit bin ich ein paar Mal auf ein spezielles Problem mit wissenschaftlichem Zitieren gestoßen, das – auch wenn es nicht so spektakulär ist wie manche Plagiatsfälle der jüngsten Zeit – ein ernsthaftes Problem für die Qualität wissenschaftlicher Arbeit darstellt, weswegen ich es hier einmal kurz umreißen will:

In meiner kleinen Auseinandersetzung mit Stephan Eisel über die wissenschaftliche Qualität seines Buches „Internet und Demokratie“ entstand eine Kontroverse um meine Kritik daran, dass Teile seiner Darstellungen auf veralteten Quellen basierten und den aktuellen Forschungsstand weitgehend ingnorieren. Er hat darauf geantwortet, dass ein wesentlicher Teil der von ihm angegebenen Quellen aus den letzten acht Jahren stammen würde und seine Darstellungen deshalb sehr wohl aktuell seien. Ein zweites Beispiel ist eine studentische Hausarbeit, die ich kürzlich gelesen habe, in der ich für die Erläuterung theoretischer Begrifflichkeiten und Modelle eines nicht mehr ganz neuen Theorieansatzes (Framing) fast ausschließlich sehr junge Quellen aus den letzten zwei Jahren vorfand. Das hat mich auf den ersten Blick elektrisiert, weil ich den Eindruck bekam, als hätte es jüngst ganz neue Entwicklungen gegeben, die mir bisher entgangen waren. Eine Prüfung der Quellen – und zwar in beiden Fällen – hat dann aber ein anderes Bild ergeben: Es wurden jeweils zwar ganz aktuelle Publikationen herangezogen und zitiert, diese bezogen sich inhaltlich selbst wiederum aber nur auf wesentlich ältere, schon bestehende Begriffe und Befunde, ohne diesen substanziell etwas hinzuzufügen. Und damit sind zwei Probleme verbunden:

1. Die wissenschaftliche Leistung, z.B. der Begriffsdefinition von „Framing“, wird einer neueren Quelle zugesprochen, die diese Leistung aber eigentlich gar nicht erbracht hat, sondern die sich selbst wiederum nur auf ältere Quellen beruft – und diese müssten dann eigentlich korrekterweise zitiert werden.

2. Es entsteht ein unzutreffender Eindruck von der Aktualität einer Aussage: Wenn ein Autor 2011 eine Aussage aus dem Jahr 2005 zitiert, die sich wiederum aus einem Text aus dem Jahr 1999 speist, handelt es sich eben um eine Aussage mit dem Stand 1999 – wie neu das Publikationsdatum des X-ten Zitats auch sein mag.

Für solche Unsauberkeiten kann es verschiedene Gründe geben: Im Falle der Hausarbeit war es ein diffuses Gefühl des Autors, „nicht immer den gleichen alten Kram“ zitieren zu wollen, sondern möglichst aktuelle Quellen zu verwenden, um auf dem aktuellsten Stand der Forschung zu arbeiten. Dabei ist aber aus dem Blick geraten, dass ein jüngeres Publikationsdatum nicht unbedingt auch mit einer jüngeren, echten „Quelle“ gleichgesetzt werden kann. Wichtiger als der Blick aufs Publikationsdatum ist es in der Wissenschaft, immer möglichst mit den „Primärquellen“ zu arbeiten, also mit den Ursprungsquellen einer Definition oder einer Aussage. Im Falle von Begriffen oder Theorien ist es eher normal, dass die Quellen etwas älter sind (in den Naturwissenschaften z.T. ja bereits ein paar hundert Jahre). Nach dem neuesten Material sollte man dagegen vor allem suchen, wenn es um den empirischen Forschungsstand geht.

Eine andere Ursache für solche Unsauberkeiten kann eine oberflächliche Arbeitsweise sein: Ein Autor sucht sich zu seinem Thema ein paar aktuelle Publikationen – z.B. aktuelle Dissertationen, die in der Regel einen Theoriebestand umfassend aufarbeiten und zugleich oft auch empirisch gehaltvoll sind. Aus diesen Arbeiten werden dann sowohl Begriffsdefinitionen wie auch empirische Befunde zitiert; den Aufwand, die Primärquellen zur Theorie zu besorgen, aufzuarbeiten und zu zitieren, spart man sich einfach. Und zuletzt kann eine solche Zitierweise natürlich auch Absicht sein, etwa um Lücken in einer Recherche oder einer Argumentation zu verdecken oder gar – was hier ausdrücklich niemandem unterstellt werden soll – ganz absichtlich den Forschungsstand zu manipulieren.

Egal aus welchen Gründen so gearbeitet wird, es entsteht daraus letztendlich nicht nur eine eher schlechte, weil wissenschaftlich mangelhaft fundierte Arbeit. Da die Relevanz wissenschaftlicher Publikationen sich heute immer stärker nach der Zahl der Zitierungen einer solchen Publikation durch andere Wissenschaftler bemisst, wird dadurch im Extremfall auch Einfluss genommen auf die in der Wissenschaft wahrgenommene Relevanz einzelner Quellen, und zwar nicht gerade zum Besseren.