Wahnsinn mit Methode

Was das BILDblog da heute berichtet, gehört zum ungeheuerlichsten, was ich an forschungsmethodischem Unsinn je gesehen habe. In einer Auseinandersetzung zwischen den Nachrichtenagenturen dpa und dapd hat letztere versucht, die Qualität der eigenen Arbeit mit Hilfe einer quantitativen Untersuchung zu untermauern. Methodisch befindet sich diese „Untersuchung“ etwa auf dem Niveau eines Nachmittagsprojekts achtjähriger Grundschüler (die man natürlich für eine solche Leistung loben würde, ohne es ernsthaft als wissenschaftliche Untersuchung zu verkaufen); Lukas Heinser hat auf BILDblog den gesamten Irrsinn so gut beschrieben, dass ich das hier nicht nochmal wiederholen muss. Allen Interessierten, vor allem Studierenden sozialwissenschaftlicher Fächer, sei aber der atemberaubende Originalbericht, der bis jetzt (18.04. 21:20 Uhr) allen Ernstes immer noch auf der dapd-Website online steht, sehr ans Herz gelegt; sowas sieht man nicht oft. Wie die auftraggebenden Herrschaften der dapd Medien Holding so etwas zulassen können, ist mir rätselhaft, auch vor dem durchführenden Unternehmen muss man aus fachlicher Perspektive wohl dringend warnen.

Advertisements

Guttenberg: Zur Grenze zwischen Fehler und vorsätzlichem Betrug

Karl-Theodor zu Guttenberg, der nach der Aufdeckung seiner weitgehend abgeschriebenen Dissertation unter den Bürgern beliebter ist als je zuvor (siehe dazu → kognitive Dissonanz), entschuldigt sich damit, unter dem Druck seiner beruflichen und familiären Belastung den Überblick verloren und dabei Fehler bei der Setzung von Fußnoten gemacht zu haben. Auch bei seinen zwei Auftritten im Bundestag am 23.02. hat er diese Verteidigungslinie offensiv aufrecht erhalten. Strategisch ist das eine vielversprechende Argumentation, die ihm viel Verständnis einbringt: Wer wüsste nicht, wie viel Stress ein erfolgreiches Berufsleben und eine junge Familie mit sich bringen kann? Da kann man schon mal was übersehen. Wer allerdings selbst schon einmal eine wissenschaftliche Arbeit geschrieben hat, weiß, dass Plagiate wie die von Herrn zu Guttenberg (an vielen Stellen im Netz dokumentiert, z.B. hier im GuttenPlag Wiki) nicht reine Schlamperei sein können; drei wesentliche Umstände sprechen hier sehr deutlich für Vorsatz, die ich hier vor allem aus hochschulpädagogischen Gründen erläutern möchte:

  1. In theoretischen Arbeiten (oder Theorieteilen von empirischen Arbeiten) wird naturgemäß vor allem mit den Werken anderer Autoren gearbeitet. Dabei ist es Aufgabe des Autors/der Autorin, mit eigenen Worten deren Aussagen in die eigene Forschungsfrage einzuordnen und dem Leser deutlich zu machen, was für die eigene Forschungsfrage aus diesen Werken zu lernen ist: Was tragen diese Quellen zum Verständnis der eigenen, selbstgewählten Forschungsfrage bei? In der Regel passiert das durch „indirekte“ Übernahmen fremder Aussagen in eigenen Worten inklusive Verweis auf die entsprechenden Quellen.
    Wörtliche Übernahmen sind deshalb eine eher seltene Ausnahme, weil die entsprechenden Aussagen ja aus einem anderen Kontext mit z.T. ganz anderen Forschungsfragen kommen; ohne eine ausführliche Einordnung in den eigenen Text sind sie bestenfalls missverständlich. Das heißt: Wörtliche Zitate können immer nur kurze Ausschnitte sein, die man deshalb auswählt, weil sie sprachlich bzw. begrifflich einen Sachverhalt besonders gut auf den Punkt bringen, und dies bei einer Darstellung in eigenen Worten verloren ginge. Eine seitenweise Übernahme fremder Texte, wie sie die Arbeit von KTzG enthält, ist aus wissenschaftlichen Gründen nicht nötig und wäre aus den dargelegten Gründen sogar eher schädlich; sie ist außerdem in keinem Fach auch nur ansatzweise üblich. Würde man – wie der Autor dies als Unterlassung darstellt – diese seitenlangen Abschnitte in Anführungszeichen setzen und mit Fußnoten versehen, würde jeder inhaltliche Zusammenhang, den der Autor eigentlich herstellen müsste, verloren gehen und die komplette Sinnlosigkeit eines solchen Patchwork-Textes wäre jedem Leser (vor allem den Gutachtern der Doktorarbeit) sofort ins Auge gesprungen.
  2. Ein zweites Indiz für die vorsätzliche Manipulation sind die leichten Änderungen, die in die unbelegt übernommenen Abschnitte eingebaut wurden: Hätte es sich tatsächlich nur um vergessene Fußnoten gehandelt, hätten die Textabschnitte selbstverständlich entweder wörtlich und unverändert übernommen werden müssen, oder zusammengefasst in vollständig eigenen Worten. Die Tatsache, dass sie aber sprachlich nur so leicht angepasst wurden, dass sie sich gut in den eigenen Inhalt einfügen ließen, belegt, dass hier sehr gezielt fremde Versatzstücke zu einem neuen Text zusammengebaut wurden. Den intellektuellen Aufwand, diese fremden Texte zu lesen, zu verstehen und dann zusammengefasst, in eigenen Worten und mit eigener Schlussfolgerung und Quellenangabe versehen, in eine eigene Argumentation zu überführen, wollte oder konnte KTzG vermutlich nicht leisten.
  3. Der dritte, in den Medien bereits diskutierte Hinweis auf die völlige wissenschaftliche Substanzlosigkeit der vorgelegten Arbeit ist die Tatsache, dass selbst viele Stellen, an denen eigentlich gerade in einer theoretischen Arbeit die Eigenleistung des Autors hervorstechen sollte, auf die oben beschriebene Weise abgeschrieben wurde: Wo, wenn nicht in den Zusammenfassungs- und Schlussfolgerungskapiteln sollte denn die Eigenleistung des Autors deutlich werden? Selbst solche Stellen zu plagiieren zeigt, dass ganz offensichtlich kaum eine eigenständige Leistung in diesem Text enhalten ist, sondern es sich um eine gezielte Simulation oder Vorspiegelung von Wissenschaft handelt; auch hier kann von einer „Schlamperei“ keine Rede sein.

Beeindruckend ist an all dem nur, dass es dem Autor offenbar sehr kunstvoll gelungen ist, diese Versatzstücke zu einem Text zu amalgamieren, der in sich (als nicht-Jurist kann ich das selbst nur schwer beurteilen) so überzeugend wirkt, dass dessen Substanzlosigkeit selbst den renommierten Gutachtern nicht aufgefallen ist. Vermutlich ist so etwas tatsächlich nicht hundertprozentig zu verhindern. Die Wahrscheinlichkeit ließe sich aber verringern, indem z.B. die Betreuung und Zusammenarbeit mit den Doktoranden intensiviert wird, etwa durch regelmäßige Kolloquien, Vorträge und auch Publikationen während des Arbeitsprozesses. Dabei würde relativ schnell deutlich, wenn eine Person durch ihre Aufgabenstellung überfordert ist. Auch eine möglichst klare Absprache von Forschungsfragen und Themen wäre hilfreich, um die Eigenleistung der Kandidaten klarer zu definieren – was zugegebenermaßen etwas leichter ist bei Themen und Fächern, die empirisch ausgerichtet sind (und was deshalb insbesondere für die Rechtswissenschaft ein Problem darstellt).

Prekäre Beziehung: Statistik und Journalisten

Als Sozialwissenschaftler freut man sich ja, wenn im Feuilleton nicht nur theoretisch analysiert (und gelegentlich nur subjektiv schwadroniert), sondern auch einmal ein empirischer Forschungsstand diskutiert wird. Insofern ist der Beitrag von Tobias Kniebe im Feuilleton der SZ vom 8./9.01.2011 (in der Print-Version mit zahlreichen Grafiken und unter dem Titel „Der Männerbund des Thilo Sarrazin“, zur Darstellungsform siehe AusschnittsfotoAusschnitt aus Print-Version mit Grafiken) eine schöne Sache: Die Sarrazin-Debatte wird innovativ aus einem ganz anderen Blickwinkel betrachtet, nämlich über das soziale Profil der Leserinnen und Leser seines Buches „Deutschland schafft sich ab“. Bei genauerem Hinsehen zeigen sich aber einmal mehr ganz erhebliche Fehlinterpretationen der Daten, die ich an einem Ausschnitt mal kurz illustrieren möchte:

Basis der Auswertung ist die vierteljährliche Auswertung eines GfK-Panels zum Bücher-Kaufverhalten der Deutschen. Da die Primärdaten nicht veröffentlicht sind, sondern nur die Auswertung durch die SZ (deren Dokumentation nicht wissenschaftlichen Ansprüchen genügt), kann man die Qualität der Auswertung nur grob abschätzen. Geht man davon aus, dass sich die Grundgesamtheit auf ca. 60 Mio. (erwachsene) Deutsche bezieht, daraus eine zufällige Auswahl an 10.000 Personen befragt wurde und dass vom Sarrazin-Buch zum Analysezeitpunkt 1,2 Mio. Exemplare verkauft wurden (falls jeder Käufer nur 1 Exemplar erworben hat, maximal 2,2 % der Bevölkerung), ist zu erwarten, dass sich im Datensatz gut 200 Sarrazin-Käufer befinden, die analysiert werden können.

Damit kommt man zu Problem 1: Diese Fallzahl reicht zwar durchaus, um sich einen groben Überblick zu verschaffen, aber sie ist zu klein, um minimale Abweichungen vom Bevölkerungsdurchschnitt sinnvoll interpretieren zu können. Zwei befragte Personen machen ja gleich 1 % aller Sarrazin-Leser aus; Wenn die Daten nun sagen, dass 4 % weniger der Sarrazin-Leser hedonistisch veranlagt sind, als der Bevölkerungsdurchschnitt, kann das (wir wissen leider nicht genau, bei welcher absoluten Prozentzahl dieser Durschnitt liegt) durch nur zwei oder drei Personen mehr zustande kommen, die ein solches Hedonismus-Item abgelehnt haben. Die Wahrscheinlichkeit, dass das eine zufällige Abweichung ist, die bei einer anderen Zufallstichprobe ganz anders aussehen kann, ist hoch. Diese Wahrscheinlichkeit wäre anhand der Primärdaten auch sehr einfach zu berechnen und sollte eigentlich bei einer solchen Analyse auch dokumentiert werden.

Dies leitet zugleich zu Problem 2 über: es werden nämlich nur relative Verteilungen dokumentiert (prozentuale Abweichung vom – unbekannten – Bevölkerungsdurchschnitt). Diese Verhältnisse sind aber stark davon abhängig, wie groß die absolute Basis ist (die nicht dokumentiert ist). Die Aussage, unter den Sarrazin-Käufern seien 40 % mehr SZ-Leser als in der Gessamtgesellschaft, klingt erstmal deutlich. Allerdings lesen in Deutschland nur etwa 1,2 Mio. Menschen die SZ (ca. 0,84 % der über 14-jährigen Bevölkerung); hochgerechnet (Pi mal Daumen) heißt das, dass von den Sarrazin-Käufern etwa 1,17 % SZ lesen, im Vergleich zu 0,84 % in der Gesamtbevölkerung. Daraus den Schluss zu ziehen, die Sarrazin-Leser seien SZ-affin, geht doch etwas zu weit, den auch in dieser Gruppe lesen eben fast 99 % keine SZ. Ob dieser Unterschied aufgrund der o.g. kleinen Stichprobe (bezogen auf die höchstens 220 untersuchten Sarrazin-Käufer kann der Unterschied sich in kaum mehr als einem zusätzlichen SZ-Leser maniferstieren …) signifikant und damit tatsächlich auf alle Deutschen hochrechnen lässt, muss man darüber hinaus stark bezweifeln.
Das Grundproblem dieser Analyse relativer Verteilungen ist, dass diese umso größer ausfallen können, je kleiner die absoluten Ausgangswerte sind: Da die Zahl der Leser der „Frankfurter Allgemeinen Sonntagszeitung“ noch kleiner als die der SZ ist (< 1 %), gehört nicht viel dazu, in einer ohnehin kleinen Teilgruppe der Sarrazin-Leser einen fast fünffach größeren (+ 474 %) Leseranteil zu identifizieren: statt 0,9 % in der Gesamtbevölkerung sind es 4,6 % – aufgrund der kleinen Fallzahl in der Datenerhebung ein Unterschied von schätzungsweise 2 zu 10 Befragten.

Macht man sich diese Probleme klar, kann man manche Interprationen des Autors im Text nur naiv nennen, denn die Unterschiede zwischen den Sarrazin-Käufern und der Gesamtbevölkerung werden von ihm eben gerade anhand der besonders starken – aber wie oben gezeigt eben auch weitgehend irrelevanten – Unterschieden festgemacht. Dadurch entsteht ein zumindest in Teilen völlig realitätsfernes Bild des am Frühstückstisch FAS lesenden, im Fernsehen Bauerntheater sehenden älteren Mannes, der zwar karrieregeil aber risikoscheu ist.