Menü

Peer Review: Warum ist es wichtig?

Da wissenschaftliche Ergebnisse und Erkenntnisse weitreichende Folgen für Mensch und Gesellschaft haben können, müssen diese vor Veröffentlichung einer Qualitätskontrolle unterzogen werden: dem Peer-Review-Verfahren.

Hierbei werden die in dem Manuskript dargestellten Ergebnisse von anderen Wissenschaftlerinnen und Wissenschaftlern aus dem jeweiligen Feld auf Validität geprüft und im Hinblick auf die Publikationswürdigkeit bewertet.

Die Peer-Review-Gutachten bilden die Grundlage für die Entscheidungsfindung, ob ein Manuskript publiziert wird.

Ablauf des Peer-Review-Verfahrens

Nach der Einreichung eines Manuskripts bei einer wissenschaftlichen Zeitschrift erfolgt eine Art Vorprüfung im Rahmen eines Desk-Reviews: Die Herausgeber oder Herausgeberinnen entscheiden, ob das Manuskript das Peer Review durchlaufen soll oder sofort abgelehnt wird. Im Anschluss werden Gutachterinnen und Gutachter ausgewählt, die aufgrund ihres Forschungsfeldes in der Lage sind, das Manuskript zu begutachten. Idealerweise werden Manuskripte von mehreren Gutachtern bewertet.

Im Rahmen des Peer-Review-Verfahrens wird in erster Linie geprüft, inwieweit ein Artikel zur thematischen Ausrichtung der Zeitschrift passt, ob Forschungsfragen verständlich formuliert wurden und ob ein geeigneter Forschungsansatz gewählt wurde, um die aufgestellten wissenschaftlichen Fragestellungen zu beantworten. Zudem wird die Methodik dahingehend überprüft, inwieweit die Ergebnisse reproduzierbar sind. Auch die Originalität und Neuheit der Forschungserkenntnisse werden bewertet. Sofern mit Patientinnen und Patienten oder Tieren gearbeitet wurde, werden auch ethische Aspekte geprüft. Schlussendlich wird auch die „Lesbarkeit“ dahingehend bewertet, inwieweit der Aufbau logisch ist und die Schlussfolgerungen nachvollziehbar sind. Darüber hinaus erhalten Autorinnen und Autoren auch nützliche Hinweise zur Verbesserung ihres Artikels. 

Die Gutachterinnen und Gutachter erstellen ihre Bewertung meist anhand eines Fragebogens und senden diesen zurück an die Herausgeberin oder den Herausgeber. Auf dieser Grundlage erfolgt die abschließende Entscheidung, ob ein Manuskript angenommen oder abgelehnt wird,  beziehungsweise unter der Maßgabe angenommen wird, dass bestimmte Punkte überarbeitet werden. Bei schwerwiegenden Mängeln werden Manuskripte abgelehnt, können aber nach einer grundlegenden Überarbeitung erneut eingereicht werden.

Eine Ablehnung muss nicht zwingend bedeuten, dass ein Manuskript qualitativ schlecht ist. Es werden auch Artikel abgelehnt, die entweder der inhaltlichen Ausrichtung der Zeitschrift nicht entsprechen oder die den teilweise sehr hohen Standards an Neuheit und Originalität nicht genügen. Einige renommierte Zeitschriften haben Ablehnungsquoten von über 90%, über alle wissenschaftlichen Zeitschriften betrachtet, werden etwa die Hälfte aller eingereichten Artikel abgelehnt. Ein weiterer Grund für eine Ablehnung kann sein, dass ein innovativer Ansatz von den Gutachtern nicht als solcher erkannt wird. Es gibt auch Zeitschriften, die im Hinblick auf Originalität weniger strikt sind, sondern eher prüfen, inwieweit wissenschaftlich exakt gearbeitet wurde. Abgelehnte Artikel werden daher meist von den Autorinnen und Autoren bei einer anderen Zeitschrift erneut eingereicht.

Für die Erstellung der Gutachten wird in der Regel kein Entgelt bezahlt, es ist Teil der Selbstorganisation der Wissenschaft. Einige Verlage „belohnen“ ihre Gutachterinnen und Gutachter dahingehend, dass sie ihnen für einen begrenzten Zeitraum kostenfreien Zugriff auf das Verlagsarchiv gewähren.

Peer-Review-Varianten

Peer Review muss als Sammelbegriff für unterschiedlichste Varianten verstanden werden. Eine Grobunterscheidung der gängigsten Verfahren ist:

  • Single-Blind-Verfahren: Die Autorin/der Autor erfährt nicht, wer die Gutachterin/der Gutachter ist,
  • Double-Blind-Verfahren: Die Autorin/der Autor und Gutachterin/Gutachter wissen wechselseitig nicht, wer die/der andere ist.

Zudem gibt es erhebliche Unterschiede im Detailgrad, mit denen Manuskripte geprüft werden. Einzelne Zeitschriften setzen dazu beispielsweise zusätzlich Plagiatssoftware ein, organisieren ein spezielles Statistik- oder Methoden-Review oder überprüfen eingereichte Abbildungen auf Manipulationen.

Zunehmend werden auch Zeitschriften gegründet, in denen wissenschaftliche Software oder Forschungsdatensätze beschrieben werden. Hierzu wir das Peer Review entsprechend angepasst.
Darüber hinaus werden Peer-Review-Verfahren auch von Konferenzorganisatoren eingesetzt, um Beiträge auszuwählen. Auch bei der Bewertung der Förderungswürdigkeit von Forschungsanträgen setzen Mittelgeber Peer-Review-Verfahren ein.

Kritik am Peer Review

Alle angesprochenen Verfahren haben spezifische Vor- und Nachteile. Beim Double-Blind-Verfahren wird beispielsweise kritisiert, dass Gutachterinnen und Gutachter anhand der zitierten Referenzen erahnen können, wer die Autorinnen und Autoren sind. Dies beeinflusst unter Umständen die Neutralität des Gutachtens. Die Einschätzung eines wissenschaftlichen Artikels ist zudem von der Sorgfalt der Reviewer und deren wissenschaftlicher Überzeugung abhängig.

Peer-Review-Verfahren geraten zunehmend in die Kritik, weil beispielsweise schwerwiegende methodische Fehler nicht immer entdeckt werden. Einige Gründe für das „Versagen“ des Peer-Review-Verfahrens sind die Überlastung der Peer Reviewer durch ein gestiegenes Publikationsaufkommen und unpassende Auswahl von Gutachterinnen und Gutachtern durch das Editorial Board.

Zudem wird häufig kritisiert, das Peer-Review-Verfahren sei zu intransparent, weil die Gutachten subjektiv gefärbt sind (beispielsweise wenn sich Gutachterinnen und Gutachter nicht von ihren jeweiligen Denkschulen lösen können), den Wert einer neuen Idee nicht schätzen oder weil Gutachterinnen und Gutachter mögliche Interessenskonflikte nicht offenlegen (müssen).
Ein weiterer zentraler Kritikpunkt am Peer-Review-Verfahren ist unter anderem auch, dass es sich über längere Zeiträume (in der Regel Wochen bis Monate, in Einzelfällen wird auch von Jahren berichtet) hinziehen kann.

Gelegentlich wird auch der Verdacht geäußert, dass Zeitschriften, die von sich behaupten, ein Peer-Review-Verfahren installiert zu haben, keine oder eine nur sehr oberflächliche Prüfung durchführen (weitere Informationen finden Sie im Vortrag "Open Access and Predatory Publishing" - PDF).

Man geht davon aus, dass sich trotz Peer Review Betrugsfälle und die Publikation von minderwertigen Artikeln nicht gänzlich verhindern lassen. Bei aller Kritik wird weiterhin am Peer Review festgehalten, weil es sich schlussendlich doch bewährt hat und in den meisten Fällen – insbesondere wenn Autorinnen und Autoren die Gutachten einsehen und Anmerkungen verarbeiten können – zur Verbesserung der Publikationen beiträgt. Schlussendlich liegt die Verantwortung bei den Autorinnen und Autoren, die nach wissenschaftlichem Selbstverständnis für „wissenschaftliche Reproduzierbarkeit“ und „Redlichkeit“ zu sorgen haben. Das Konzept Peer Review erfährt zudem ständig Anpassungen, um den Kritikpunkten zu begegnen.

Alternativen zu gängigen Peer-Review-Verfahren

Auch aufgrund der genannten Kritikpunkte wird aktuell das „Open Peer Review“ (oder „Crowd Sourced Peer Review“) als Alternative diskutiert. Hierzu werden Artikel ohne oder mit lediglich grober Vorprüfung direkt veröffentlicht und die entsprechende Bewertung und Einschätzung werden der wissenschaftlichen Gemeinschaft überlassen. Neben den Vorteilen, dass sich Möglichkeiten zur breiten Diskussion eröffnen und Kommentare oder Bewertungen zumeist sehr schnell veröffentlicht werden, sind aber auch Probleme erkennbar: Das Schlüsselproblem ist, eine ausreichende Anzahl an Experten zu gewinnen, die eine kompetente Einschätzung durchführen können. Zudem stellt sich die Frage, wie entsprechende Plattformen organisiert sein müssen, damit sie handhabbar und recherchierbar sind. Bislang wird davon ausgegangen, dass Open Peer Review lediglich als Ergänzung zum bisherigen Peer-Review-Verfahren gesehen werden, dieses aber keineswegs ersetzen kann. Auch beim Open Peer Review gibt es unterschiedliche Varianten des Ablaufs. In diesem Zusammenhang wird insbesondere diskutiert, inwieweit Reviews und Kommentare anonym erstellt werden dürfen. Es besteht die Gefahr, dass dort Rivalitäten zwischen Wissenschaftlerinnen und Wissenschaftlern ausgetragen oder persönliche Befindlichkeiten vorgetragen werden.

Siehe auch

Zeitschriftenqualität und Wahrnehmung: Welche Aspekte sind in Bezug auf Open Access relevant?

Disclaimer

Bitte beachten Sie: Unser Service kann keine verbindliche Rechtsberatung anbieten, sondern stellt Informationen zur ersten Orientierung bereit. ZB MED – Informationszentrum Lebenswissenschaften hat die Angaben auf den folgenden Seiten sorgfältig geprüft, übernimmt aber für mögliche Fehler keine Haftung. Soweit nicht anders angegeben, beziehen sich Ausführungen zu einzelnen Rechtsnormen auf deutsches Recht (Stand 9/2015).