#Bewertung

BWL: Kein Ranking ist auch keine Lösung

von , 31.8.12

Seit einigen Jahren listet das Handelsblatt in regelmäßigen Abständen die forschungsstärksten Volks- und Betriebswirte im deutschsprachigen Raum und ebenso die forschungsstärksten Fakultäten in BWL und VWL. Forschungsstärke wird dabei allein anhand einer gewichteten Anzahl von Publikationen in wissenschaftlichen Fachzeitschriften gemessen. Als Gewicht dient neben der Anzahl der Autoren (also 1/n, wenn es n Autoren sind) eine Punktzahl für die Reputation der Zeitschrift, die sich zwischen 0 und 1 bewegt.

Die Zeitschriften sind also, wie es in den meisten Wissenschaften Usus ist, klassifiziert oder mit einem Rating versehen. Die renommiertesten Zeitschriften erhalten ein Gewicht von 1, die am wenigsten renommierten eines von 0,05, sofern die Zeitschrift überhaupt gezählt wird. Gezählt werden nur Zeitschriftenaufsätze. Buchpublikationen und Beiträge in Sammelbänden zählen nicht, d.h. wer nur in Büchern und Sammelbänden publiziert, erbringt dieselbe gemessene Forschungsleistung wie jemand, der den ganzen Tag Geige oder Schach spielt.

Dies ist sicher eine Schwäche des Handelsblatt-Rankings, und es gibt weitere (wie z. B. die einzelne Gewichtung der Zeitschriften oder die bedingungslose Gleichsetzung der Reputation einer Zeitschrift mit der Qualität eines jeden dort erschienenen Beitrags). Diese Schwächen des Rankings werden unter Volks- und Betriebswirten intensiv diskutiert, und die beiden Handelsblatt-Rankings für BWL und VWL werden auch von Jahr zu Jahr angepasst.

Am 29. August haben nun Alfred Kieser und Margit Osterloh in Form eines offenen Briefes zum Boykott des Handelsblatt-Rankings aufgerufen. Bis zum 31.8. hatten sich 236 Betriebswirte dem Aufruf angeschlossen.
Fünf Dinge werden am Ranking des Handelsblatts kritisiert:

  • Erstens sei die Leistungsmessung zu eindimensional, da nur Forschungsleistungen gemessen werden, nicht aber die Leistungen in Lehre, Selbstverwaltung und andere Tätigkeiten.
  • Zweitens wird als methodischer Mangel kritisiert, dass die Aufsätze einer Zeitschrift eine höchst unterschiedliche Qualität aufweisen.
  • Drittens wird bemängelt, dass nicht hinreichend zwischen Teildisziplinen der BWL differenziert wird.
  • Viertens würden Rankings das Verhalten von WissenschaftlerInnen in einer Weise beeinflussen, die der Wissenschaft schadet. „Sie veranlassen WissenschaftlerInnen, nicht mehr das zu erforschen, was sie interessiert und was für den Fortschritt der Wissenschaft wichtig ist, sondern das, was Ranking-Punkte bringt,“ so der offene Brief. Zudem könnten Rankings Berufungskommissionen und andere universitäre sowie nicht universitäre Gremien dazu verleiten, „sich nicht mehr inhaltlich mit den Forschungsergebnissen von BewerberInnen zu beschäftigen, sondern sich an Rankings zu orientieren.“ So blieben Manipulationen in Berufungsverfahren unentdeckt.
  • Und fünftens gäbe es eine falsche Anreizwirkung zum Schaden für die Gesellschaft: „Die für das Ranking herangezogenen Zeitschriften sind in großem Ausmaß von ihrer Ausrichtung her wenig an ‚lokalen‘ Fragestellungen interessiert. Das schadet der lokalen und regionalen Einbettung von Universitäten und den damit verbundenen positiven Auswirkungen auf die Gesellschaft wie z.B. wissenschaftliche Analyse lokaler Probleme und Ausarbeitung entsprechender Lösungsansätze,“ so die Verfasser des Aufrufs.

Während einige der genannten Kritikpunkte nicht völlig falsch sind, sind andere dagegen doch ziemlich unsinnig. Völlig fehlgeleitet ist die Schlussfolgerung, dass es besser sei, das Ranking zu boykottieren und am besten völlig auf eine öffentliche und transparente Messung wissenschaftlicher Forschungsleistungen zu verzichten.
Zu den Kritikpunkten im Einzelnen:

Dass Lehr- und Selbstverwaltung in einem Forschungsranking nicht gemessen werden, sollte klar sein. Es geht hier im Grunde um den Umgang mit dem Ranking durch die Wissenschaft selbst. Es ist absolut transparent, wie gemessen wird. Es geht nicht um die Bewertung eines allumfassenden Lebenswerkes, sondern um die Messung von Forschungsleistungen. Dass diese Messung, wie auch immer sie aussieht, notwendigerweise unvollkommen und nicht perfekt ist, ist trivial. Dies bedeutet aber nicht, dass „gar keine Messung“ besser wäre als eine unvollkommene Messung.

Lange haben intransparente Klüngeleien die deutsche BWL und VWL von der internationalen Forschung auf einer Insel der Glückseligen abgekapselt. und man hat sich oft gegenseitig ordentlich auf die Schulter geklopft und gegenseitig bestätigt, was für ein toller Hecht man doch sei – oder auch was für ein vollkommener Trottel. Heute ist das – auch dank des Rankings – schwieriger. Natürlich ließe sich das Ranking noch erheblich verbessern, z.B. indem man stärker auf individuelle Zitationen abstellt, auch wenn dies ebenfalls nicht perfekt ist. Das Unterdrücken dieser Informationen und die Rückkehr zur Intransparenz scheint mir aber die denkbar schlechteste Lösung zu sein.
Der zweite Kritikpunkt geht völlig ins Leere. Der erste Kommentator namens Philipp auf der Webseite, auf welcher der Aufruf publiziert wurde, schreibt vollkommen zu Recht:

Gerade wenn einzelne Qualitätsmaße (=Aufsätze) eine große Streuung aufweisen, macht es Sinn, ein aggregiertes Qualitätsmaß zu bilden (=Ranking), da dies zu einer SENKUNG der Streuung führt.

Der dritte Kritikpunkt ist absolut berechtigt. Forschung in Steuerlehre kann nur schlecht mit Forschung in Marketing verglichen werden. Daher wären separate fachspezifische Listen sinnvoll. Das betrifft mich natürlich auch selbst ;-) Wir werden in Düsseldorf aufgrund unserer kleinen VWL-Abteilung nie zu den ganz Großen wie Mannheim, München, Zürich oder auch Köln aufschließen (da die qualitätsgewichtete Gesamtzahl der Publikationen zählt), aber im Bereich Industrieökonomik sind wir zweifelsohne in Deutschland ganz weit vorn. Wenn sich Studierende also für Wettbewerbsfragen interessieren, sind sie bei uns bestens bedient, auch wenn an anderen Orten insgesamt mehr Forscher an anderen Themen forschen. Eine Differenzierung ist sinnvoll, aber auch ganz einfach möglich. Da muss ich nicht das Ranking boykottieren.

Der vierte und fünfte Kritikpunkt unterliegen aus meiner Sicht einer völligen Fehleinschätzung der Wirkung des Rankings. Zugleich demonstrieren die Autoren fehlendes Vertrauen in die Kompetenz und Urteilsfähigkeit ihrer Kolleginnen und Kollegen.

Was ich von einem Wissenschaftler halte, leite ich nicht aus Handelsblatt-Punkten ab. Ich finde Leute gut, die gute Ideen haben und die über Dinge forschen, die ich wichtig finde. Abstrakte Modelle über die Ökonomie der Prostitution interessieren mich nur sehr bedingt, auch wenn das hochkarätig publiziert wird. Ich finde Themen wie Energiemärkte, Arbeitsmarkt, Wettbewerb und Anderes wichtiger. In Berufungskommissionen überzeugt mich, wer eine originelle, glaubwürdige und relevante Forschungsagenda hat. Das ist neben anderen Dingen (Auftreten, didaktische Fähigkeiten, etc.) wichtig.

Natürlich ist wichtig, wie und was in der Vergangenheit publiziert wurde, um das Potenzial für die weitere Entwicklung besser abschätzen zu können. Zunehmend wichtig wird (zumindest bei uns in Düsseldorf), vor allem für etablierte Wissenschaftler, die nicht mehr als Nachwuchswissenschaftler gelten, die Frage, wie häufig die Arbeiten zitiert worden sind. Das ist fast noch wichtiger als die Frage, wo etwas erschienen ist. Aber auch das ist nur ein Indikator, um bei einer möglichst umfassenden Bewertung vieler Indikatoren, zu einem möglichst informierten Urteil zu kommen.

Entscheidend ist also der emanzipierte Umgang mit dem Ranking. Ich kenne kaum Kolleginnen oder Kollegen, die sich zum Sklaven des Rankings einer Zeitung machen lassen würden, die sich die Entscheidung über Berufungen so einfach machen und auch aus der Hand nehmen lassen würden. Gerade weil die Schwächen des Rankings wohlbekannt sind, ist ein vernünftiger Umgang damit möglich. Was einige vermutlich stört, ist die Transparenz, die das Ranking in Bezug auf eine bestimmte Komponente der Leistungen von Volks- und Betriebswirten erzeugt.

Wünschen würde ich mir daher, dass auch über andere Leistungen von Wissenschaftlern (die immerhin aus Steuermitteln bezahlt werden) mehr Transparenz herrschen würde. Eine kluge Weisheit aus der amerikanischen (!) Managementliteratur – publiziert übrigens in einem Buch, nämlich „GMP: The Greatest Management Principle in the World” von Michael LeBouef – lautet: “The things that get measured are the things that get done” oder in Kurzform: „What gets measured, gets done.“ Da ist einiges dran. Daher wäre neben (1) einer Weiterentwicklung und Verbesserung des Forschungsrankings auch (2) die Ergänzung um andere Leistungsmessungen separat vom Forschungsranking sinnvoll, damit andere sinnvolle Leistungen nicht vernachlässigt werden.

Die Wirkung des Handelsblatt-Rankings wird dabei jedoch überschätzt: Die Anreize der allermeisten Hochschullehrer, Leistungen zu erbringen, werden doch faktisch nur in geringem Ausmaß vom Handelsblatt-Ranking gesteuert. Viel wichtiger ist (1) das Ansehen im Kollegenkreis (das nur in geringem Umfang vom Handelsblatt-Ranking abhängt), (2) die Leistungsanreize, welche meine Hochschule mir gibt (z.B. über Leistungszulagen), (3) die Möglichkeit, über Aktivitäten außerhalb der Hochschule hinzuzuverdienen (z. B. als Steuerberater, durchaus nicht unüblich bei Professoren für Steuerlehre, durch die Beratung von Unternehmen und Behörden, oder außeruniversitäre Lehre und Weiterbildung).

Diese Dinge steuern das Verhalten von Hochschullehrer aus meiner Erfahrung viel stärker als ein Ranking. Deswegen ist es gut, dass es das Ranking gibt, um für mehr Transparenz zu sorgen und die Top-Forscher auch öffentlich wenigstens so zu „prämieren“.

Die Aufgabe der Messung und Evaluation wissenschaftlicher, steuerfinanzierter Forschung führt zurück in den Dornröschenschlaf. Entscheidend ist der verantwortungsbewusste, emanzipierte Umgang mit dem Ranking. Die Messung aufzugeben ist dagegen der falsche Weg.

Zustimmung, Kritik oder Anmerkungen? Kommentare und Diskussionen zu den Beiträgen auf CARTA finden sich auf Twitter und auf Facebook.