Journal Impact Factor und Alternativen

Bei der Auswahl einer Zeitschrift spielt als Publikationsort nicht selten der Journal Impact Factor (JIF) eine wichtige Rolle. Häufig wird der JIF als Ausdruck der Qualität einer Zeitschrift und der erschienenen Artikel interpretiert. Diese Lesart des JIF ist allerdings umstritten.

Hintergrund und Ermittlungsmöglichkeiten

Die Journal Impact Factors werden einmal jährlich in den Journal Citation Reports (JCR) veröffentlicht, die als kommerzielles Produkt vertrieben werden. Als Berechnungsgrundlage dienen die in der multidisziplinären Zitationsdatenbank „Web of Science“ erfassten Zeitschriften aus der sogenannten „Core Collection“ und den darin verzeichneten Zitierhäufigkeiten. Es handelt sich also lediglich um einen Ausschnitt von Zeitschriften und nicht alle weltweit erscheinenden wissenschaftlichen Zeitschriften. Zudem wird die Zitierhäufigkeit ausschließlich bestimmt durch die Zitationen im Web of Science und nicht durch alle denkbaren Zitationen.  

Immer mehr Open-Access-Zeitschriften oder Zeitschriften mit einer Open-Access-Option bemühen sich um eine Aufnahme in das Web of Science und somit um einen Impact Factor. 

Bitte beachten Sie: Bei Open-Access-Zeitschriften handelt es sich häufig um Neugründungen. Zeitschriften müssen aber mindestens drei Jahre im Web of Science vertreten sein, damit ein Journal Impact Factor berechnet werden kann.

Viele Hochschulbibliotheken haben die Journal Citation Reports abonniert. Diese sind dann über das Web of Science abrufbar, allerdings nur, wenn man sich im IP-Bereich der jeweiligen Einrichtung befindet bzw. wenn über „remote access“ oder VPN der Zugriff von außen eingerichtet wurde. 

In den Journal Citation Reports ist es möglich, nach Open-Access-Zeitschriften zu filtern.

Um zu ermitteln, für welche Open-Access-Zeitschriften Journal Impact Factors vorliegen, eignet sich zudem auch die Zeitschriftendatenbank Ulrichsweb. Hier lassen sich Zeitschriftenlisten nach „frei zugänglich“ (also Open Access) und „Journal Citation Reports“ (für diese Zeitschrift liegt ein Journal Impact Factor vor) filtern. Allerdings lassen sich hierüber keine Journal-Impact-Factor-Werte abrufen. 

Bei Ulrichsweb handelt es sich auch um ein kommerzielles Produkt. Es gelten die gleichen Rahmenbedingungen wie für Web of Science: Es ist nur abrufbar, wenn die jeweilige Hochschulbibliothek die Datenbank abonniert hat und wenn man sich im IP-Bereich der jeweiligen Einrichtung befindet bzw. wenn der Zugriff von außen über „remote access“ oder VPN eingerichtet wurde.

Verlage mit Open-Access-Programm und Übersicht zu Impact Factors

Auch Verlage mit Open-Access-Programm bieten häufig eine Übersicht über die Impact Factors. Dies kann in Form einer Liste geschehen oder auch auf den Websites der jeweiligen Zeitschriften. Verlage mit Open-Access-Programm und Übersicht zu Impact Factors sind zum Beispiel:

Bentham Science
BMJ
Copernicus 

Kritik am Journal Impact Factor

• Der Journal Impact Factor wurde ursprünglich dazu entwickelt, Bibliotheken eine Hilfestellung zu geben bei der Auswahl von Zeitschriftenabonnements, die für das jeweilige Fachgebiet geeignet sind. Er ist also in erster Linie ein Instrument zur Bewertung von wissenschaftlichen Zeitschriften, wird aber mittlerweile auch zur Bewertung von Forschungsleistungen von Wissenschaftler:innen herangezogen.
• Die Zitierhäufigkeit wird nicht selten mit der Qualität einer Zeitschrift und der darin erschienenen Artikel gleichgesetzt. Dies ist aber unzutreffend. Die Zitierhäufigkeit kann lediglich für Aussagen über die Wirkung eines wissenschaftlichen Artikels herangezogen werden, weniger für die inhaltliche Qualität der Ergebnisse.
• Die Journal Citation Reports mit den Journal Impact Factors für ein Jahr erscheinen immer im Sommer des Folgejahres und berücksichtigen die zwei dem Berichtsjahr vorausgehenden Jahre. Der Journal Impact Factor einer Zeitschrift beispielsweise für das Jahr 2021 berechnet sich dabei wie folgt: Anzahl der Zitationen in 2021 auf Publikationen der Zeitschrift aus den Jahren 2020 und 2019 geteilt durch die Anzahl der in 2020 und 2019 erschienenen Artikel. Im Zähler werden dabei Zitationen auf alle Artikel der Zeitschrift aus den beiden Jahren einbezogen, im Nenner werden allerdings nur bestimmte Artikeltypen berücksichtigt.
• Ein Journal Impact Factor von 1,9 bedeutet, dass jeder Artikel in der entsprechenden Zeitschrift aus 2020 und 2019 in 2021 im Durchschnitt 1,9mal zitiert wurde. Zitationen sind dabei – mathematisch formuliert – schief verteilt: Wenige Publikationen werden häufiger als 1,9mal zitiert, viele Artikel seltener oder gar nicht. Der Journal Impact Factor sagt somit nichts darüber aus, wie häufig ein einzelner Artikel zitiert wurde.
• Der Journal Impact Factor ist nicht normalisiert, d.h. er berücksichtigt nicht das spezifische Zitierverhalten eines Faches. JIFs von Zeitschriften aus unterschiedlichen Fachgebieten lassen sich deshalb nicht miteinander vergleichen. Selbst innerhalb einer Disziplin kann das Zitierverhalten variieren. Dies sorgt dafür, dass auch hier der JIF einer Zeitschrift nur bedingt vergleichbar ist.
• Das standardmäßig zur Berechnung verwendete Zitatfenster von zwei Jahren ist für viele Disziplinen zu kurz, um die Wirkung der Publikationen zu erfassen. In manchen Disziplinen dauert es länger, bis wissenschaftliche Ergebnisse rezipiert werden. Selbst das in den Journal Citation Reports zusätzlich verwendete Zitatfenster von fünf Jahren ist insbesondere für Disziplinen in den Sozial- und Geisteswissenschaften noch zu kurz. Für die Lebens­wissen­schaften dürfte dies allerdings ausreichend sein.
• Der Journal Impact Factor ist anfällig für Manipulationen: Er kann durch Selbstzitate auf die jeweilige Zeitschrift künstlich erhöht werden.
• Die Zitierhäufigkeit einer Zeitschrift ist auch abhängig davon, welche Dokumenttypen sie veröffentlicht. So werden Review-Artikel (also Überblicksartikel) deutlich häufiger zitiert als andere Dokumenttypen, weil diese einen konzisen Überblick über die in Publikationen häufig behandelten Themenkomplexe einer Disziplin bieten. Zeitschriften, die viele Review-Artikel publizieren, können daher mehr Zitationen für sich verbuchen und haben tendenziell einen höheren Journal Impact Factor.

Aufgrund der oben angesprochenen Kritikpunkte ist der Journal Impact Factor als alleiniges Merkmal zur Auswahl einer Zeitschrift oder gar als Mittel zur Bewertung von Forschungsleistungen unzureichend.

Die Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) hat sich gegen die alleinige Verwendung des Journal Impact Factors bei der Bewertung von Forschungsleistungen ausgesprochen (zum AWMF-Positionspapier).

Auch andere Einrichtungen im Wissenschaftsbetrieb, wie zum Beispiel der Wissenschaftsrat und die Deutsche Forschungsgemeinschaft, äußern sich mittlerweile kritisch zum Journal Impact Factor bzw. seinen Einsatz in der Forschungsbewertung und fordern eine Abkehr von zeitschriftenbasierten Metriken als zentrale Bewertungsgrundlage. Initiativen wie die „San Francisco Declaration on Research Assessment“ fordern zudem, dass auch weitere Forschungsergebnisse wie Software und Forschungsdaten in die Bewertung einbezogen werden. Eine weitere Forderung ist die nach mehr Transparenz bei der Datengrundlage und Berechnung von Indikatoren zur Forschungsbewertung – siehe hierzu das „Leiden Manifesto for research metrics“.

Weitere zitationsbasierte Metriken und Altmetrics

Aufgrund der Kritik am Journal Impact Factor sind weitere Metriken entstanden. Eine Auswahl wird hier vorgestellt:

SCImago Journal Rank (SJR) und Source Normalized Impact per Paper (SNIP)

Der SJR und SNIP sind ebenfalls Zeitschriftenmetriken und basieren auf den Daten der bibliografischen Datenbank Scopus. Während Scopus eine kommerzielle Datenbank ist, sind die Indikatorwerte frei im Web verfügbar. Beide arbeiten im Unterschied zum Journal Impact Factor mit einem Zitatfenster von drei Jahren.

Prinzipiell wird der SJR ähnlich berechnet wie der Impact Factor: Es werden die Zitationen im Berichtsjahr auf Artikel aus den drei vorherigen Jahren gezählt und durch die Anzahl der in den drei vorherigen Jahren erschienenen Artikel geteilt. Dabei fließt aber auch das Prestige (Wie häufig wird diese Zeitschrift wiederum von anderen zitiert?) der zitierenden Zeitschriften mit ein. 

Der Indikator SNIP gleicht die Unterschiede im Zitierverhalten unterschiedlicher wissenschaftlicher Felder aus, indem die durchschnittliche Zitierhäufigkeit der Artikel einer Zeitschrift mit der durchschnittlichen Zitierhäufigkeit (im Sinne eines Zitationspotenzials) der Artikel des Feldes normalisiert wird. Damit werden Zeitschriften besser vergleichbar. Ein SNIP-Wert von 1 bedeutet, dass die Zeitschrift im Hinblick auf die Zitierhäufigkeit dem Durchschnitt des wissenschaftlichen Feldes entspricht.

Obwohl beide Metriken durch entsprechende Modifikationen Schwachstellen des Journal Impact Factors zu beheben versuchen, können diese lediglich für den Vergleich von Zeitschriften verwendet werden. Sie eignen sich nicht für die Einschätzung von individuellen Forschungsleistungen.

h-Index oder Hirsch-Index

Der h-Index ist eine Metrik, die die Publikationsleistung von Wissenschaftlerinnen und Wissenschaftlern stärker in den Blick nimmt. Dabei wird die Publikationsliste der Autor:innen absteigend nach Zitierhäufigkeit sortiert. Dort wo Rangplatz und Zitierhäufigkeit identisch sind, liegt der h-Index der Autor:innen. Die nachfolgende Tabelle verdeutlicht die Ermittlung des h-Index:

Ein h-Index von 6 bedeutet dann, dass der:die Autor:in mindestens 6 Artikel hat, die mindestens 6mal zitiert worden sind. Auch der h-Index ist nicht unproblematisch, so berücksichtig dieser beispielsweise nicht die Unterschiede im Zitierverhalten in den unterschiedlichen Fächern. Daher lassen sich Autor:innen aus unterschiedlichen Fächern nicht unbedingt miteinander vergleichen. Zudem kann selbst ein gänzlich unterschiedliches Publikationsverhalten dazu führen, dass zwei Autor:innen den gleichen h-Index haben. Dies erschwert insbesondere den Vergleich von Wissenschaftlerinnen und Wissenschaftlern, die unterschiedlich lange Karriereverläufe haben. Hierzu folgendes Beispiel:

A hat 8 Artikel veröffentlicht, B 12. Obwohl die Publikationen von A in den vorderen Rangplätzen deutlich häufiger zitiert werden als die von B, erzielen beide einen h-Index von 7. Aus diesem Grund eignet sich auch der h-Index nicht, die Leistungen von einzelnen Autor:innen vergleichend zu bewerten. 

Prinzipiell kann der h-Index auch für andere Dokumentmengen verwendet werden. So können damit z.B. auch ganze Zeitschriften oder Themengebiete vermessen werden. Hierzu werden die Artikel einer Zeitschrift oder eines Themengebietes ebenfalls nach Zitierhäufigkeit sortiert. Der h-Index lässt sich in diversen Datenbanken (wie z.B. Scopus) abrufen.

Alternative Metriken: Altmetrics

Aufgrund der oben beschriebenen Probleme, die aus den zitationsbasierten Impact-Messungen resultieren, werden seit einigen Jahren Alternativen für die Messung von Forschungs- und Publikationsleistungen diskutiert. Diese werden auch als Altmetrics bezeichnet. Der Begriff setzt sich zusammen aus den englischen Begriffen alternative und metrics und meint alternative (im Sinne von ergänzende) Kennzahlen zur Messung der Wirkung einer Publikation. Altmetrics setzen in erster Linie auf Soziale Medien, um die Wirkung von wissenschaftlichen Publikationen zu messen (z.B. Weiterverbreitung des Artikels über Twitter und Facebook oder Bookmarking-Systeme wie Mendeley). Altmetrics sind derzeit noch in den Anfängen. Die Frage nach der Interpretierbarkeit bestimmter alternativer Kennzahlen ist ebenfalls noch nicht geklärt. Generelles Ziel ist es aber, Alternativen zur bisherigen Impact-Messung auszuloten. Altmetrics ermöglichen es auch, Kennzahlen für weitere Forschungsleistungen (z.B. Veröffentlichung von Forschungsdaten oder Posten von Blogbeiträgen) zu erheben und deren Verbreitung nahezu in Echtzeit zu messen. Zudem sind Altmetrics auf ein Item bezogen, das heißt sie messen die Wirkung eines wissenschaftlichen Artikels oder eines Blogbeitrags. Andere Metriken wie zum Beispiel der Journal Impact Factor messen die Wirkung einer Zeitschrift und können für wissenschaftliche Artikel nur durchschnittliche Werte angeben. Es gibt eine Reihe von Tools, mit denen man alternative Kennzahlen für seine Publikationen ermitteln kann.

Tools zur Ermittlung von Altmetrics

Altmetric Explorer
ImpactStory
Plum Analytics
Webometric Analyst 

Verlage mit alternativen Kennzahlen

PLOS ONE
Wiley
Taylor & Francis

Disclaimer

Bitte beachten Sie: Unser Service kann keine verbindliche Rechtsberatung anbieten, sondern stellt Informationen zur ersten Orientierung bereit. ZB MED – Informationszentrum Lebenswissenschaften hat die Angaben auf den folgenden Seiten sorgfältig geprüft, übernimmt aber für mögliche Fehler keine Haftung. Soweit nicht anders angegeben, beziehen sich Ausführungen zu einzelnen Rechtsnormen auf deutsches Recht (Stand FAQ 08/2022).