Die Zukunft der Forschungsevaluation: Eine Synthese aktueller Debatten und Entwicklungen

Ein dynamisches und integratives Forschungssystem ist für Wissenschaft und Gesellschaft von größter Bedeutung, um grundlegendes Wissen und Verständnis zu fördern und immer dringlichere globale Herausforderungen anzugehen. Doch das Forschungssystem steht unter Druck aufgrund steigender Erwartungen seitens mehrerer Akteure (darunter Geldgeber, Regierungen und die Verlagsbranche), Spannungen zwischen Wettbewerbs- und Kooperationsdynamik, einem sich entwickelnden wissenschaftlichen Kommunikationssystem und einer teilweise aggressiven Verlags- und Datenanalysebranche und begrenzte Ressourcen. Das Forschungsunternehmen muss diese Anforderungen und Spannungen bewältigen und gleichzeitig die Forschungsqualität aufrechterhalten, die Forschungsintegrität wahren, inklusiv und vielfältig sein und sowohl Grundlagenforschung als auch angewandte Forschung schützen.

Im letzten Jahrzehnt gingen dieser Druck und die Notwendigkeit einer Reaktionsfähigkeit des Wissenschaftssystems mit kritischeren Überlegungen zu Systemen der Forschungsbewertung und Leistungsmessung einher. Während geeignete, kontextsensitive Methoden zur Bewertung der Forschungsqualität und -wirkung wichtig sind, haben sich die Debatten über die weitreichenden, komplexen und mehrdeutigen Auswirkungen aktueller Bewertungskriterien und -metriken auf die Qualität und Kultur der Forschung, die Qualität der Evidenz, die die politische Entscheidungsfindung beeinflusst, intensiviert. Prioritäten in der Forschung und Forschungsförderung, individuelle Karriereverläufe und das Wohlergehen der Forscher. In einigen Teilen der Welt setzt sich zunehmend die Erkenntnis durch, dass eine enge und vereinfachte Reihe von Bewertungsmaßstäben und -indikatoren die Qualität, den Nutzen, die Integrität und die Vielfalt der Forschung nicht zufriedenstellend erfassen. Routinemäßig verwendete – oft zeitschriftenbasierte – Metriken erfassen wichtige zusätzliche Dimensionen hochwertiger Forschung nicht, wie sie beispielsweise in der Mentorschaft, dem Datenaustausch, der Einbindung der Öffentlichkeit, der Förderung der nächsten Generation von Wissenschaftlern und der Identifizierung und Bereitstellung von Chancen für unterrepräsentierte Gruppen zu finden sind. Das Problem der falschen Anwendung von Metriken und Indikatoren ist nicht nur zu eng gefasst, es wird auch davon ausgegangen, dass es die Leistungsanreize verzerrt, einige Disziplinen (einschließlich wichtiger inter- und transdisziplinärer Forschung) benachteiligt und räuberische und unethische Veröffentlichungspraktiken fördert.

Kampagnen zur Eindämmung der Fehlanwendung von Metriken, zur Erweiterung von Qualitätskriterien und zur systematischeren Umgestaltung der Forschungskultur durch Manifeste und Erklärungen, Grundsätze und Reformen haben den Weg für eine globale Debatte über die Notwendigkeit einer Reform der Forschungsbewertung bereitet. Diese Stimmen fordern nun einen Übergang von Manifesten zu Taten. Dies geschieht vor dem Hintergrund transformativer Veränderungen in der Art und Weise, wie Forschung durchgeführt und kommuniziert wird. Der Aufstieg offener Forschungsrahmen und sozialer Medien, eine Verlagerung hin zu missionsorientierter und transdisziplinärer Wissenschaft, die Zunahme offener Peer-Reviews und das transformative Potenzial von künstlicher Intelligenz (KI) und maschinellem Lernen erfordern neue Überlegungen dazu, wie Forschung und Forscher bewertet werden .

Vor diesem Hintergrund ist die Globale Junge Akademie (GYA), der InterAcademy-Partnerschaft (IAP) und der Internationaler Wissenschaftsrat (ISC) bündelte seine Kräfte, um weltweit eine Bestandsaufnahme der Debatten und Entwicklungen in der Forschungsbewertung zu machen, und stützte sich dabei auf eine Scoping-Gruppe von Wissenschaftlern und eine Reihe regionaler Konsultationen. In einigen Teilen der Welt werden von Hochschuleinrichtungen und Forschungsförderern neue Ansätze entwickelt und erprobt, von denen mehrere in diesem Dokument enthalten sind. In anderen Teilen der Welt sind solche Debatten und Aktionen erst im Entstehen begriffen oder fehlen sogar ganz. Da sich Forschungssysteme unterschiedlich schnell weiterentwickeln, besteht die Gefahr von Divergenz und Fragmentierung. Eine solche Divergenz kann die Homogenität gefährden, die erforderlich ist, um Forschungszusammenarbeit zu ermöglichen und die Mobilität von Forschern über verschiedene Regionen, Sektoren und Disziplinen hinweg zu erleichtern. Es gibt jedoch keine Lösung für alle, und es bedarf kontextbezogener Bemühungen zur Reformierung der Bewertung unter Berücksichtigung lokaler Herausforderungen.

Mit einem Schwerpunkt auf der Forschung im öffentlichen Sektor und der Bewertung von Forschung und Forschern ist dieses Diskussionspapier in seiner globalen Perspektive angelegt und deckt eine Agenda ab, die typischerweise von Entwicklungen in Europa und Nordamerika dominiert wird: regionale Perspektiven und Beispiele nationaler Entwicklung und institutioneller Reformen hervorgehoben. Die globale und kollektive Mitgliedschaft von GYA, IAP und ISC stellt einen breiten Querschnitt des Forschungsökosystems dar, dessen vielfältige Mandate einen echten Systemwandel erleichtern können. Dieses Papier soll als Anreiz für GYA, IAP und ISC – als Plattformen für gegenseitiges Lernen, Experimentieren und Innovation – dienen, mit ihren Mitgliedern, anderen Wissenschaftsinstitutionen und wichtigen Interessengruppen weltweit zusammenzuarbeiten, Gespräche zu initiieren und voranzutreiben und integrativere Maßnahmen zu mobilisieren und gemeinsames Handeln.

Empfehlungen für GYA, IAP und ISC und ihre Mitglieder (siehe Abschnitt 5) orientieren sich an deren Rolle als Fürsprecher, Vorbild, Innovator, Geldgeber, Verleger, Gutachter und Mitarbeiter, mit indikativen Zeitrahmen für Maßnahmen. Zu diesen Maßnahmen gehört ganz unmittelbar die Schaffung von Raum für den Austausch von Lehren und Ergebnissen aktueller relevanter Initiativen (zum Aufbau einer Praxisgemeinschaft); mittelfristig die gemeinsame Einberufung von Multistakeholder-Foren mit wichtigen Interessengruppen, um die Forschungsbewertung auf praktikable, kontextsensitive und integrative Weise neu zu gestalten und umzusetzen; und längerfristig die Anstoßung neuartiger Studien, die zum Zukunftsdenken beitragen und auf die rasanten Entwicklungen bei KI-Technologien, Peer-Review-Methoden und -Reformen sowie Kommunikationsmedien reagieren.

Die Globale Junge Akademie (GYA), InterAcademy-Partnerschaft (IAP) und der Internationaler Wissenschaftsrat (ISC) kamen 2021 zusammen, um eine Bestandsaufnahme der Herausforderungen, Debatten und Entwicklungen in der Forschungsevaluierung/-bewertung weltweit über verschiedene Forschungskulturen und -systeme hinweg vorzunehmen und Möglichkeiten zu erkunden, wie sie sich an der Neukonzeption der Forschungsevaluierung/-bewertung für die Forschung beteiligen und diese beeinflussen können 21. Jahrhundert, auf offene und integrative Weise.

Eine internationale Scoping-Gruppe (Anhang A) wurde einberufen, um den Bereich zu untersuchen und die drei Organisationen darüber zu beraten, wie sie bestehende Bemühungen zur Reform der Forschungsbewertung verstärken können. Im Mittelpunkt dieser Arbeit stand die Prämisse, dass (1) eine konzertierte, von Forschern geleitete Initiative der globalen Forschungsgemeinschaft eine stärkere Stimme bei der Gestaltung der Zukunft der Forschungsbewertung geben würde und (2) die „Bewertung mit den Bewerteten“ Vorteile bringt; Dies trägt dazu bei, einen Weg zu einem nachhaltigen, systemischen Wandel in den Bewertungskulturen und -praktiken aufzuzeigen.

Ergänzend zur Sekundärforschung wurde Ende 2021 eine Reihe regionaler Konsultationen mit Experten durchgeführt, die von der Scoping-Gruppe und den Partnern ausgewählt wurden. Das Diskussionspapier ist das Hauptergebnis dieser Arbeit. Es soll als Prospekt für Sondierungsgespräche mit mehreren Interessengruppen dienen, nicht zuletzt mit der globalen Forschungsgemeinschaft selbst.

Forschungsbewertungspraktiken dienen mehreren Zielen und werden von mehreren Interessengruppen durchgeführt. Sie dienen der Beurteilung von Forschungsvorschlägen für Förderentscheidungen, von Forschungsarbeiten zur Veröffentlichung, von Forschern für die Einstellung oder Beförderung sowie der Leistung von Forschungseinrichtungen und Universitäten. Dieses Papier konzentriert sich hauptsächlich auf die Bewertung von Forschern und Forschung und behandelt nicht die institutionelle Bewertung oder das Ranking, obwohl alle diese Bewertungsbereiche untrennbar miteinander verbunden sind. Aktuelle Praktiken stützen sich stark auf quantitative und größtenteils zeitschriftenbasierte Metriken wie den Journal Impact Factor (JIF), die Anzahl der Veröffentlichungen, die Anzahl der Zitierungen, den H-Index und den Article Influence Score (AIS). Zu den weiteren Kennzahlen gehören Zielvorgaben für Zuschusseinnahmen, Maßstäbe für den Input (z. B. Forschungsfinanzierung oder Größe des Forschungsteams), die Anzahl der angemeldeten Patente und neuerdings auch Kennzahlen für soziale Medien (früher „Altmetriken“), wie zum Beispiel Social-Media-Shares oder Downloads. Zusammengenommen beeinflussen diese Kennzahlen tiefgreifend den Ruf von Institutionen, Forschungsgruppen und Einzelpersonen, individuelle und gemeinschaftliche Forschungspläne, Karriereverläufe und Ressourcenzuweisungen.

In den letzten zwei Jahrzehnten haben sich die weltweiten Investitionen in Forschung und Entwicklung (F&E) verdreifacht – auf rund 2 Billionen US-Dollar pro Jahr. Allein in den vergangenen Jahren kam es mit rund 1980 % zu dem stärksten Wachstum der F&E-Ausgaben seit Mitte der 19er Jahre (UNESCO, 2021) [1]. Diese zusätzlichen Investitionen in die Forschung bringen eine Kultur der Rechenschaftspflicht mit sich, die Druck auf Forschungseinrichtungen und Einzelpersonen ausübt und als Reaktion darauf zu Abweichungen oder perversen Anreizen führen kann. Es hat auch zu größeren Zielen geführt: die Qualität aufrechtzuerhalten und Forschungsverschwendung, Fehler und Ineffizienz zu reduzieren; Inklusion und Vielfalt maximieren; Forschung als globales öffentliches Gut optimieren; und eine offenere und engagiertere Wissenschaft fördern. Ohne Reformen sind Qualität, Integrität, Vielfalt und Nutzen der Forschung gefährdet.

Quantitative Metriken können einen wichtigen Teil der Forschungsbewertung beim Übergang zu einem offeneren, rechenschaftspflichtigeren und öffentlicher zugänglichen Forschungssystem bilden (Die Royal Society, 2012) [2]. Sie sind aber auch teilweise dafür verantwortlich, die weltweit bestehende Forschungskultur „Veröffentlichen oder untergehen“ zu befeuern, mit schädlichen Auswirkungen auf die Qualität der Forschungsergebnisse, die Integrität und Vertrauenswürdigkeit von Forschungssystemen und die Vielfalt der Forschungsgemeinschaften (z. B Hausstein und Larivière, 2014) [3]. Dies liegt daran, dass Metriken von Institutionen, politischen Entscheidungsträgern und Forschungsförderern gleichermaßen als Indikatoren für die Forschungsqualität verwendet werden, aber sie sind ein Maß für die Ergebnisse und nicht für die Qualität oder Wirkung der Forschung an sich. Als solche tragen diese Akteure wesentlich dazu bei, den sozialen und kulturellen Kontext festzulegen, in dem Forschung stattfindet, und die Belohnungs- und Beförderungssysteme der Wissenschaft prägen die Entscheidungen von Wissenschaftlern in allen Phasen ihrer Karriere (Macleod et al., 2014) [4].

„Die Verwendung bibliometrischer Indizes … als Proxy-Metriken für die Leistung von Forschern ist ein praktischer Bewertungsindex, aber zutiefst fehlerhaft.“ Die meisten legen einen unermüdlichen Fokus auf die individuelle Leistung, schwächen die Forschungsunterstützung durch das Interesse einer Universität an Kennzahlen mit hoher Wirkung aus, setzen alle unter Druck, „Kästchen anzukreuzen“ und sich anzupassen, während sie eine wichtige Rolle bei der Verzerrung des Marktes für Zeitschriftenveröffentlichungen spielen. Es besteht dringender Reformbedarf.“

Eröffnung des Record of Science (2021), des International Science Council

Die andere Interessengemeinschaft, die große Macht und Einfluss auf die Forschungskommunikation und Wissensproduktion hat, ist der Verlagssektor. Zeitschriftenbasierte Kennzahlen sind zu einem starken Anreiz für die Veröffentlichung in kommerziellen Fachzeitschriften geworden und können zu Verhaltensweisen führen, die schwerwiegende Nebenwirkungen haben können. Anstatt die Ergebnisse der Forschung nach ihrem wissenschaftlichen Wert zu beurteilen, wird die wahrgenommene Qualität der Zeitschrift, in der sie veröffentlicht wird, routinemäßig als Beweis für die wissenschaftliche Qualität akzeptiert und treibt einen hochkommerziellen Verlagsmarkt voran, der eher auf Reputation als auf Wissenschaft basiert. Open-Access-Kosten entstehen größtenteils durch Author Processing Charges (APCs): Diese können insbesondere in einigen Teilen der Welt unerschwinglich hoch sein, was für ressourcenarme Forscher Hindernisse bei der Veröffentlichung von Forschungsergebnissen schafft und möglicherweise den Bruch der internationalen Wissenschaftsgemeinschaft gefährdet. Die Gefahr, in allen Phasen des Forschungsprozesses immer stärker von kommerziellen Anbietern und deren Nutzungsbedingungen abhängig zu werden, spricht stark für gemeinnützige Alternativen. Darüber hinaus haben bibliometrische Indikatoren, da sie die wichtigste Anreizquelle an Universitäten darstellten, den Wert pädagogischer und anderer Formen wissenschaftlicher Arbeit (z. B. Lehre und Politikberatung) gemindert. Da Forschungsbewertungssysteme tendenziell denjenigen den Vorzug geben, die sich große Zuschüsse sichern und in Zeitschriften mit hohen Impact-Faktoren veröffentlichen, gibt es Hinweise darauf, dass Forscher, die bereits erfolgreich waren, mit größerer Wahrscheinlichkeit erneut Erfolg haben (der „Matthew-Effekt“, Bol et al., 2018) [5].

Wenn wissenschaftliches Publizieren zu einem Mittel der Bewertung und nicht zur Kommunikation wird, benachteiligt dies diejenigen, die ihre Forschung auf andere sinnvolle Weise kommunizieren (ISC-Bericht 2021) [6]. Dazu gehören gemeinsame Ergebnisse (und wohl die Hauptwährung) der Global Young Academy (GYA), der InterAcademy Partnership (IAP) und des International Science Council (ISC): Berichte, Arbeitspapiere, gemeinsame Stellungnahmen, Leitartikel, Nachrichten und Webinare . Einige Disziplinen sind ebenfalls benachteiligt: ​​zum Beispiel Forscher in den Ingenieurwissenschaften und der Informatik, wo eine (normalerweise schnellere) Kommunikation durch Konferenzen und deren Tagungsbände wichtig sind; und diejenigen in den Geistes- und Sozialwissenschaften, die typischerweise Monographien, Bücher und Fachzeitschriften verwenden.

Andere entscheiden sich für die Veröffentlichung in forschungsspezifischen oder lokalen Fachzeitschriften oder können es sich nicht leisten, ihre Forschungsergebnisse (wie hochwertig sie auch sein mögen) in Open-Access-Zeitschriften mit hohen Impact-Faktoren (und damit einhergehenden hohen APCs) zu veröffentlichen. Letzteres benachteiligt Menschen in Ländern mit niedrigem Einkommen, insbesondere Nachwuchsforscher. Dieselben Forscher stehen unter starkem Druck auf unbefristete akademische Stellen und ihr Verhalten wird stark von den quantitativen Kriterien bestimmt, die von Forschungsfinanzierungsagenturen und institutionellen Einstellungs- und Beförderungsausschüssen verwendet werden. Die Versuchung, mit Indikatoren zu denken (Müller und de Rijcke, 2017) [7] und sogar das „Spielen“ des Systems ist für alle Forscher überall auf der Welt Realität (z. B Ansede, 2023) [8].

Zu den Erscheinungsformen dieses Glücksspiels gehört, dass Forscher (wissentlich oder unabsichtlich) räuberische Zeitschriften und Konferenzen nutzen, um die Zahl ihrer Veröffentlichungen zu steigern (IAP, 2022 [9] Elliott et al., 2022 [10]), Selbstzitierung und Fälschung von Peer-Reviews, Plagiaten, Impact-Factor-Inflation und „Salami-Slicing“ (Aufteilung einer großen Studie, über die in einem einzigen Forschungsartikel hätte berichtet werden können, in kleinere veröffentlichte Artikel) (Collyer, 2019) [11]. Unter Druck könnten Forscher versucht sein, auf räuberische Dienste zurückzugreifen, mit dem alleinigen Zweck, ihren Doktortitel zu bekommen, eingestellt oder befördert zu werden oder ihre Forschungsprojekte finanzieren zu lassen (z. B Abad-García, 2018 [12] Omobowale et al., 2014) [13]. Metrikgesteuerte Hochschulen und wissenschaftliche Publikationssysteme schaffen heimtückische Anreize: Es ist wichtiger, wo ein Forscher veröffentlicht, als was er veröffentlicht.

Die Auswirkungen auf die Qualität und Integrität der Forschung sind äußerst besorgniserregend. Die Zahl der zurückgezogenen wissenschaftlichen Artikel ist in den letzten Jahren aufgrund von Fehlverhalten bei Forschung und Veröffentlichung sowie schlechten oder betrügerischen Datensätzen dramatisch gestiegen. Es kann Monate bis Jahre dauern, bis Zeitschriften unzuverlässige Forschungsergebnisse zurückziehen. Zu diesem Zeitpunkt kann es sein, dass sie bereits mehrfach zitiert wurden und gemeinfrei sind (Ordway, 2021) [14].

Die Vorherrschaft der metrikgesteuerten Forschungsbewertung ist eindeutig und es gibt weltweit unterschiedliche Trends, wenn es um die Reform der Bewertung geht, wodurch die Gefahr besteht, dass Teile der Forschungsgemeinschaft zurückbleiben. In seiner Analyse der globalen Landschaft der Forschungsbewertung (Curry et al., 2020 [15]; eingereicht), scheint es, dass viele Forschungs- und Finanzierungseinrichtungen in Ländern/Regionen mit höherem Einkommen damit beginnen, einen breiteren Satz von Indikatoren einzubeziehen, wie z ], fächerübergreifend. Ohne integrativere Maßnahmen besteht die Gefahr einer Divergenz der nationalen Bewertungssysteme, was möglicherweise zu weiteren systemischen Verzerrungen und potenziellen Inkompatibilitäten in den Forschungs-, Bewertungs-, Finanzierungs- und Veröffentlichungssystemen führt. Dies wiederum kann die internationale Forschungszusammenarbeit und die Mobilität von Forschern behindern. Indem es Hindernisse für die Nord-Süd-Zusammenarbeit schafft, kann es auch die gleichzeitige Stärkung von Forschungsökosystemen im globalen Süden behindern – eine solide Forschungsbewertung stärkt Forschungsökosysteme und das Vertrauen in sie, verringert die Wahrscheinlichkeit der Abwanderung von Fachkräften und trägt dazu bei, ein starkes Humankapital für nachhaltige Forschung aufzubauen Entwicklung. Dennoch führen einheitliche Versionen dessen, was gute Leistung ausmacht, zu Verhaltensweisen, die nicht unbedingt Exzellenz, Fairness, Transparenz und Inklusion fördern. Es ist bestenfalls fragwürdig, die Leistungen von Wissenschaftlern zu messen, die in unterstützenden, gut ausgestatteten Umgebungen mit zahlreichen Möglichkeiten erfolgreich waren, genauso wie diejenigen, die Herausforderungen bekämpft und Hürden in feindseligen und nicht unterstützenden Umgebungen überwunden haben (GYA, 2022) [17]. Viele Wissenschaftler fühlen sich historisch und geografisch von der Forschungsgemeinschaft ausgeschlossen, was zum großen Teil auf die Art und Weise zurückzuführen ist, wie sie im Laufe ihrer Karriere beurteilt werden. Durch den Ausschluss einiger Formen der Forschung und das Versäumnis, eine Vielfalt an Ideen weltweit zu nutzen, besteht die Gefahr, dass aktuelle Forschungsbewertungspraktiken eine Mainstream-/Followerkultur dominanter westlich konzipierter Modelle fördern.

Forscher in Ländern mit niedrigem Einkommen und in den frühen Stadien ihrer Karriere brauchen eine Stimme, damit sie auf kontextsensitive Weise neue Bewertungsmodelle mitgestalten können, die ihren Zweck erfüllen und den Herausforderungen Rechnung tragen, mit denen sie täglich konfrontiert sind. Tagesbasis. Die GYA und die wachsende Zahl der National Young Academies geben ECRs diese Stimme und das GYAs Arbeitsgruppe für wissenschaftliche Exzellenz [18] äußert sich zur Reform der Forschungsevaluation (siehe Text unten).

Ansichten aus der Community der Nachwuchsforscher

Nachwuchsforscher sind besonders besorgt über die Praktiken der Forschungsevaluierung, da ihre Karriereaussichten und die Verfolgung ihrer Forschungsagenda entscheidend davon abhängen, wie sie evaluiert werden. Dies beeinflusst Finanzierungs-, Einstellungs- und Beförderungspraktiken auf eine Weise, die nicht immer als fair und gerecht wahrgenommen wird.

Während es offensichtlich ist, dass Finanzierungs- und Personalentscheidungen die Zusammensetzung der Arbeitskräfte von Forschern beeinflussen, wird nicht immer anerkannt, dass die Forschungsbewertung durch ihre Auswirkungen auf die Finanzierung Anreize für Institutionen und Forscher schafft, eine bestimmte Forschungsrichtung, Arbeit, einzuschlagen in einem bestimmten Bereich oder treten Sie einigen Netzwerken gegenüber anderen bei. Auf diese Weise prägt die Forschungsevaluation die Entwicklung der Wissenschaft selbst, und dies gilt insbesondere im Hinblick auf ihren unverhältnismäßigen Einfluss auf die Aussichten und Erwartungen von ECRs.

Obwohl es sich bei der Wissenschaft um ein globales Unterfangen handelt, stoßen einige Wissenschaftler aufgrund ihres Geburtsorts, ihrer Identität oder ihres sozioökonomischen Hintergrunds auf höhere Hürden beim Eintritt in die Forschungsgemeinschaft und bei der Zusammenarbeit mit ihnen. Dies ist eine Frage der Organisation der Wissenschaftsindustrie und nicht der Forschungsbewertung an sich, aber viele ECRs sind der Meinung, dass Bewertungskriterien nicht blind gegenüber dieser Realität der Erfahrung von Forschern sein sollten und keine einheitlichen und standardisierten Kriterien für unterschiedliche Situationen vorschreiben sollten.

Untersuchungen der Scientific Excellence Working Group des GYA (bevorstehender Bericht) zeigen, dass die Forschungsbewertung möglicherweise eher von der Forschungspolitik eines Landes als von kulturellen oder wissenschaftlichen Debatten bestimmt wird. Der Bericht konzentriert sich auf die Beförderungskriterien für eine ordentliche Professur (oder eine gleichwertige Stelle) im akademischen Bereich und zeigt, dass nationale Richtlinien und Institutionen in der Regel über spezifische Dokumente verfügen, in denen ihre Kriterien für die Forschungsbewertung dargelegt sind. Anstatt einen großen und vielfältigen Satz von Kriterien zu umfassen, die verwendet werden könnten, um sich ein umfassendes Bild eines Forschers zu machen, konzentrieren sich diese Dokumente in der Regel auf eine einzelne Dimension oder Priorität. Einige Dokumente konzentrieren sich beispielsweise auf die Bewertung der Dienstleistungsaktivitäten eines Forschers (z. B. Lehre und Mentoring) oder andere auf den kumulierten Output eines Forschers (z. B. in Bezug auf die Anzahl der Zeitschriftenartikel) – selten jedoch beides.

Es gibt zwei Hauptimplikationen aus diesem Befund. Erstens erfolgt die Forschungsbewertung hierarchisch und von oben nach unten. Dies stellt insofern ein Risiko dar, als sowohl Metriken als auch qualitative Methoden häufig die Vielfalt der Forscher ignorieren: sowohl in ihrem Hintergrund als auch in ihren Karrierewegen und – was ebenso wichtig ist – in ihren Methoden und Ideen. Im Gegensatz dazu halten die im GYA vertretenen ECRs es für wichtig, die Vielfalt der Aktivitäten anzuerkennen, die für das Forschungsunternehmen notwendig sind, und Forschungsbewertungssysteme zu entwickeln, die Vielfalt und Pluralismus fördern, anstatt Konformität und Homologation vorzuschreiben.

Zweitens sind Unterschiede zwischen den Disziplinen weniger bedeutsam als Unterschiede je nach Wirtschaftslage der Länder, in denen ein Forscher arbeitet. Länder mit niedrigerem Einkommen scheinen sich auf quantitative Messgrößen zu verlassen und „Produktivität“ zu belohnen, während Länder mit höherem Einkommen zunehmend offener für eine qualitative Bewertung der Auswirkungen sind. Sollte sich diese Divergenz weiter verstärken, könnte sie ein weiteres Hindernis für die internationale Mobilität von Wissenschaftlern darstellen – was insbesondere für ECRs wichtig ist.

Abschließend betont der GYA-Bericht, dass es kein Allheilmittel gibt: Die Forschungsevaluation sollte sich an den Zielen der Evaluierung und letztlich an den Zielen einer Institution oder der Forschungspolitik eines Landes orientieren. Die Evaluierung sollte die Vielfalt der Forscherprofile und Karrieren berücksichtigen und je nach Zweck der Evaluierung einen anderen Schwerpunkt haben. Da Wissenschaft ein globales und selbstkritisches Gespräch ist, ist eine externe Bewertung möglicherweise nicht immer notwendig. Tatsächlich wird oft über den Nutzen und den wahren Wert von Rankings (von Personen, Institutionen, Verkaufsstellen oder sogar ganzen Ländern) diskutiert.

Die heutigen globalen Herausforderungen, von denen viele in den Zielen für nachhaltige Entwicklung (SDGs) der Vereinten Nationen (UN) zum Ausdruck kommen, erfordern transformative, interdisziplinäre und transdisziplinäre Forschung, die wiederum neue Modalitäten der Forschungsdurchführung und -zusammenarbeit erfordert (ISC, 2021) [19]. Die Dringlichkeit einer inklusiven, partizipativen, transformativen und transdisziplinären Forschung wird nicht durch die Art und Weise erreicht, wie Forschung unterstützt, bewertet und finanziert wird – damit die Forschung ihr Versprechen an die Gesellschaft einlösen kann, braucht sie offenere, inklusivere und kontextsensitivere Bewertungssysteme (Glückmann, 2022) [20]. Das eingebettete Verhalten von Wissenschaftlern, Geldgebern und Verlagen kann Veränderungen erschweren, sodass Investitionen möglicherweise von den Bereichen mit dem größten Bedarf abgelenkt werden können.

Das Wachstum der interdisziplinären und transdisziplinären Forschung sowie der partizipativen oder Bürgerwissenschaft sind wichtige Entwicklungen und von entscheidender Bedeutung für die Bewältigung globaler Herausforderungen. Da die Forschung disziplinäre und institutionelle Grenzen überschreitet und eine breitere Gruppe von Interessengruppen einbezieht – einschließlich der Nutzergemeinschaft, um dringende Forschungsfragen für die Gesellschaft mitzugestalten – sind herkömmliche Bewertungskriterien für akademische Forschung unzureichend und können sogar die Entwicklung und Nutzung transdisziplinärer Forschung behindern (Belcher et al., 2021) [21]. Es sind geeignetere Grundsätze und Kriterien erforderlich, um die transdisziplinäre Forschungspraxis und -bewertung zu leiten: Ein frühes Beispiel eines Qualitätsbewertungsrahmens basiert auf den Grundsätzen Relevanz, Glaubwürdigkeit, Legitimität und Nutzen (Belcher et al., 2016) [22].

Die Art und Weise, wie Forschung in Auftrag gegeben, finanziert, durchgeführt und kommuniziert wird, entwickelt sich rasant weiter und erfordert eine Beschleunigung der Reform der Forschungsbewertung. Dazu gehören Folgendes:

(1) Der Übergang zur offenen Wissenschaft

Die Open-Science-Bewegung erfordert eine gleichzeitige Reform der Forschungsbewertungssysteme, um Offenheit und Transparenz zu verbessern. Viele der zur Messung der Forschungsleistung verwendeten Metriken und Indikatoren sind selbst undurchsichtig und werden häufig hinter verschlossenen kommerziellen Türen berechnet. Dieser Mangel an Transparenz gefährdet die Autonomie der Forschungsgemeinschaft – er schränkt die Möglichkeiten zur Bewertung, Prüfung, Verifizierung und Verbesserung von Forschungsindikatoren ein (Wilsdon et al., 2015 [23]). Eine verantwortungsvolle Forschungsbewertung wird zu einem zentralen Aspekt globaler Bewegungen in Richtung offener Wissenschaft, wie beispielsweise in der Empfehlung der Organisation der Vereinten Nationen für Erziehung, Wissenschaft und Kultur (UNESCO) zu offener Wissenschaft (Unesco, 2021 [24]) – dazu gehört auch die Entwicklung eines Open Science Toolkits für seine Mitglieder, um ihnen bei der Überprüfung und Reform ihrer Forschungslaufbahnbewertungen und Bewertungskriterien zu helfen [25].

(2) Entwicklungen im Peer-Review

Das Wachstum des offenen Peer-Reviews – sei es die Veröffentlichung von Peer-Review-Berichten und/oder die öffentliche Identifizierung von Gutachtern – ist eine wichtige Entwicklung für die Forschungsbewertung (Barroga, 2020 [26] Woods et al., 2022 [27]). Das Wachstum der Dateninfrastruktur hat es Verlagen ermöglicht, Digital Object Identifiers (DOIs) für Peer-Review-Berichte zu generieren, Peer-Review-Berichte mit einzelnen Open Researcher and Contributor IDs (ORCIDs) zu verknüpfen und Artikel als Vorabdrucke zu veröffentlichen. Die Zahl der Vorabdrucke stieg während der globalen COVID-Pandemie erheblich an und machte die Herausforderungen deutlich, die sich bei der Bewertung von Forschung im Schnellreaktionsmodus ergeben. Dennoch können offene Peer-Review-Praktiken – ob vor oder nach der Veröffentlichung – dazu beitragen, die Kontrolle kommerzieller Verlage über Forschungskommunikation und Wissensproduktionsprozesse zu stören und die Macht der wissenschaftlichen Zeitschrift und damit verbundener Metriken wie JIFs zu verringern. Offene Aufzeichnungen über Peer-Review-Aktivitäten können auch eine Infrastruktur für die Dokumentation von Peer-Review-Aktivitäten bieten – und mit der Zeit einen größeren Wert für sie generieren – eine wichtige professionelle Dienstleistung, die bei akademischen Bewertungen oft weitgehend unsichtbar ist und nicht ausreichend gewürdigt wird (Kaltenbrunner et al., 2022 [28]).

(3) Die Anwendung von künstlicher Intelligenz und maschinellem Lernen

Technologische Fortschritte in der künstlichen Intelligenz (KI) und im maschinellen Lernen werden wahrscheinlich tiefgreifende Konsequenzen für die Forschungsbewertung haben, einschließlich der sie unterstützenden Peer-Review-Prozesse (z. B Holm et al., 2022 [29] Proctor et al., 2020 [30]). KI wird bereits eingesetzt, um Peer-Reviews zu rationalisieren und zu stärken (Natur, 2015 [31]; Natur, 2022 [32]), testen Sie die Qualität des Peer-Reviews (Severin et al., 2022 [33]), testen Sie die Qualität von Zitaten (Gadd, 2020 [34]), Plagiate erkennen (Foltynek et al., 2020 [35]), fangen Forscher ein, Daten zu manipulieren (Quach, 2022 [36]) und finden Peer-Reviewer, die immer knapper werden, weil diese Arbeit in der Forscherbewertung nicht die Anerkennung erhält, die ihr gebührt. „Konversations-KI“ wie ChatGPT (Chat Generative Pre-Trained Transformer) hat die Fähigkeit, Experimente zu entwerfen, Manuskripte zu schreiben und zu vervollständigen, Peer-Reviews durchzuführen und redaktionelle Entscheidungen über die Annahme oder Ablehnung von Manuskripten zu unterstützen (Natur, 2023 [37]). Es besteht auch das Potenzial für KI, die Effizienz von Peer-Reviews zu verbessern, indem Algorithmen eingesetzt werden, um die Belastung von Peer-Reviewern als Gutachter von Forschungsergebnissen zu verringern (Natur, 2022 ). Der Einsatz von KI wird in China bereits erprobt, um Schiedsrichter zu finden (Natur, 2019 [39]).

Alle diese KI-Anwendungen können diese Belastung reduzieren und es erfahrenen Experten ermöglichen, ihr Urteil auf die Forschungsqualität und komplexere Bewertungen zu konzentrieren (Thelwall, 2022 [40]). Sie laufen aber auch Gefahr, Verzerrungen zu verbreiten, da es sich um Vorhersagetechnologien handelt, die vorhandene Daten verstärken, die möglicherweise verzerrt sind (z. B. nach Geschlecht, Nationalität, ethnischer Zugehörigkeit oder Alter): Tatsächlich könnte der Einsatz von KI selbst von einem tieferen Verständnis dessen profitieren, was „Qualität“ ausmacht ' Forschung (Chomsky et al., 2023 [41] ISI, 2022 [42]).

Grundsätzlich sind jedoch alle Formen von KI und maschinellem Lernen anfällig für Missbrauch (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Akademische und Forschungsgemeinschaften müssen darauf vorbereitet und widerstandsfähig sein und mit der Regierung, der Industrie und der Zivilgesellschaft zusammenarbeiten, die diesen Bereich regeln.

(4) Der Aufstieg der sozialen Medien

Herkömmliche quantitative Messungen der Forschungswirkung berücksichtigen nicht den Anstieg des Engagements in sozialen Medien und der sozial vernetzten Forscher/Akademiker (Jordanien, 2022 [45]). Viele Wissenschaftler nutzen Social-Media-Plattformen, um während der gesamten Laufzeit ihres Forschungsprojekts Gemeinschaften, politische Entscheidungsträger und die Öffentlichkeit einzubinden. sich positiv mit ihrer Forschung auseinanderzusetzen, sie zu testen und zu informieren und eine Vielfalt an Ideen und Inputs einzubringen, anstatt einfach das Endergebnis als vollendete Tatsache für ein Empfängerpublikum zu veröffentlichen. Dieses Engagement wird von herkömmlichen Formen der Forschungsbewertung nicht aufgegriffen, kann jedoch zu umfassenderen Möglichkeiten zur Einflussnahme und Öffentlichkeitsarbeit führen. Social-Media-Metriken („Altmetrics“) werden als Beitrag zu verantwortungsvollen Metriken entwickelt (Wouters et al., 2019 [4]) und umfassen beispielsweise Twitter- oder Facebook-Erwähnungen und die Anzahl der Follower auf ResearchGate. Einerseits können diese Altmetriken dabei helfen, sich zu öffnen, Raum zu schaffen und die Bewertung zu erweitern (Rafols und Stirling, 2021 [47]), können aber andererseits – wie auch andere Indikatoren – auch unverantwortlich eingesetzt werden und/oder den Eindruck erwecken, dass sie eine weitere Ebene von Metriken in Bewertungssystemen auferlegen.

Die Herausforderungen für die Reform der Forschungsbewertung sind vielfältig. Einige der bedeutendsten sind hier dargestellt.

Jede Reform, die mehr qualitative Maßnahmen umfasst, muss gleichzeitig die Qualität der Grundlagen- und angewandten Forschung sichern. Es gibt anekdotische Hinweise darauf, dass einige Wissenschaftler selbst Reformen ablehnen, vielleicht insbesondere fortgeschrittene Karriereforscher, die im aktuellen System erfolgreich waren, weil sie befürchten, dass dadurch die mittelmäßige Forschung gefördert werden könnte oder dass qualitativere Formen der Bewertung die angewandte Forschung gegenüber der Grundlagenforschung bevorzugen könnten. Bei der Reform der Forschungsbewertungskriterien geht es in der Regel um die Entwicklung hin zu missionsorientierter, gesellschaftlich wirkungsvoller Forschung, die öffentliche und politische Unterstützung in einer Weise anzieht, wie dies bei weniger greifbarer Grundlagenforschung oder Blue-Skies-Forschung möglicherweise nicht der Fall ist. Einige argumentieren, dass eine differenziertere Interpretation des „Werts“ der Forschung erforderlich ist, um Innovationen zu untermauern, da die Zukunft kontinuierliche Investitionen in grundlegende, von Neugier getriebene Forschung und eine umfassendere Wertschätzung der entscheidenden Rolle erfordert, die diese für die Fähigkeit spielt, auf globale Herausforderungen zu reagieren (GYA, 2022 [48]).

Der Mangel an Konsistenz in der Bedeutung und Verwendung der Forschungsterminologie ist im Allgemeinen ein Hindernis für Veränderungen. Der konzeptionelle Rahmen für die Forschungsevaluation hat sich im Laufe der Zeit nicht wesentlich verändert, ebenso wenig wie die ihn unterstützende Sprache: Das Forschungssystem steckt immer noch in alten Dichotomien wie „Grundlagenwissenschaft“ und „angewandte“ Wissenschaft fest und Begriffe wie „Wirkung“, „Qualität“ (nicht hilfreich mit Produktivität gleichgesetzt) ​​und „Exzellenz“ sind nicht klar definiert, sodass geografische, disziplinarische, berufliche und geschlechtsspezifische Vorurteile vermieden werden (Jong et al., 2021 [49]): Dies kann besonders akut in Entscheidungsgremien sein, denen es an Diversität mangelt (Hatch und Curry, 2020 ) [50].

Ebenso wie die metrikbasierte Bewertung sind auch qualitativere Bewertungsformen unvollkommen. Das Argument, dass Peer-Review-Prozesse und Expertenurteile mindestens genauso wichtig sind wie die Bibliometrie, ist nicht einfach. Aufgrund mangelnder Klarheit und Transparenz im Peer-Review-Prozess können sie voreingenommen sein. Beispielsweise wurden Peer-Review-Ausschüsse als Mechanismen kritisiert, die etablierte Formen von Macht und Privilegien bewahren, indem sie es ermöglichen, dass „Old-Boys-Netzwerke“ und Homophilie (Gutachter, die Gleichgesinnte suchen) fortbestehen, während sie gleichzeitig anfällig für Gruppendenkendynamiken sind. Quantitative Kennzahlen, so unvollkommen sie auch sein mögen, werden in manchen Teilen der Welt als Schutz gegen Vetternwirtschaft und Voreingenommenheit angesehen. Ähnliche Argumente lassen sich auf die Begutachtung von Forschungsarbeiten durch Fachkollegen anwenden, wobei die Verwendung einer eher qualitativen Bewertung möglicherweise die Tür für andere Formen diskriminierenden Verhaltens öffnet.

Der Mangel an professioneller Anerkennung und Schulung für Peer-Reviews in jeglicher Form schafft negative Anreize, als Peer-Reviewer zu fungieren, und reduziert dadurch die Kapazität. Da die Nachfrage das Angebot übersteigt, kann dies darüber hinaus Anreize schaffen, Abstriche zu machen und die Strenge zu reduzieren. Es sind eine Erhöhung der Peer-Review-Transparenz (ob vollständig offen, anonymisiert oder hybrid) sowie die Schulung, Förderung und Belohnung guter Peer-Review-Praktiken erforderlich; ebenso wie die weitere Erforschung von Modellen für seine Entwicklung im Zuge der Diversifizierung der Forschungsergebnisse (IAP, 2022 [51]) und KI-Technologien schreiten voran.

Die Debatten über eine Reform der Forschungsevaluation sind komplex und nicht binär. Qualitative und quantitative Informationen wurden oft in Peer-Review-Kontexten kombiniert: Aussagen wie das Leiden Manifesto for Research Metrics (Hicks et al., 2015 [52]) fordern eine „informierte Peer-Review“, bei der die Expertenmeinung durch angemessen ausgewählte und interpretierte quantitative Indikatoren und qualitative Informationen gestützt, aber nicht von ihnen geleitet wird. Bei der Debatte über die Forschungsbewertung geht es nicht um eine binäre Wahl der Bewertungsinstrumente „qualitativ versus quantitativ“, sondern darum, wie die beste Kombination mehrerer Informationsformen sichergestellt werden kann.

Schließlich muss jede Reform auch bequem und praktikabel sein. Das Forschungssystem zeigt bereits Anzeichen dafür, dass es unter sich selbst zusammenbricht, da das Volumen der Veröffentlichungen exponentiell ansteigt und die Last der Begutachtung innerhalb des Forschungsunternehmens ungleichmäßig abnimmt (z. B Publons, 2018 [53] Kovanis et al., 2016 [54] Natur, 2023 [55]). Zeitschriftenbasierte Metriken und der H-Index können zusammen mit qualitativen Vorstellungen von Verlagsprestige und institutioneller Reputation praktische Abkürzungen für vielbeschäftigte Gutachter bieten und Hindernisse für Veränderungen darstellen, die in der akademischen Bewertung tief verwurzelt sind (Hatch und Curry, 2020 [56]). Quantitative Kennzahlen werden in einigen Ländern als relativ klare und eindeutige Wege für die Ernennung und Beförderung gepriesen. Im „Globalen Süden“ werden bei der Auswahl der Bewerber routinemäßig durchschnittliche Impact-Faktoren verwendet, und jede Alternative muss gleichermaßen umsetzbar sein und auf die zusätzlichen Ressourcen zurückgreifen können, die zwangsläufig erforderlich sind, um den Umfang der Bewertung zu erweitern. Die Bequemlichkeit der Verwendung einfacher quantitativer Metriken bei der Forschungsbewertung dürfte ein großes Hindernis für Veränderungen darstellen, und die Einführung neuer Bewertungssysteme könnte aufgrund mangelnder Kapazitäten oder Kompetenzen in einigen Ländern sogar zu noch mehr globaler Ungleichheit führen.

Im letzten Jahrzehnt gab es eine Reihe hochkarätiger Manifeste und Grundsätze zur Forschungsbewertung, um diesen Herausforderungen zu begegnen, darunter das Leidener Manifest (entwickelt von einer Gruppe internationaler Experten), die Hongkonger Grundsätze (Moher et al., 2020 [57]) (entwickelt auf der 6. Weltkonferenz für Forschungsintegrität im Jahr 2019) und Die metrische Flut [58] und Die metrische Flut nutzen [59] Berichte (entwickelt im Rahmen einer Überprüfung des britischen Forschungs- und Bewertungsrahmens, REF). Es gibt mindestens 15 verschiedene Bemühungen, die wichtige Interessengruppen – ob politische Entscheidungsträger, Geldgeber oder Leiter von Hochschuleinrichtungen – dazu drängen, den potenziellen Schaden der aktuellen Bewertungssysteme zu minimieren. Alle diese Initiativen haben ein breites Publikum erreicht und konzentrieren sich fortschrittlich auf verantwortungsvolle Kennzahlen als Voraussetzung für die Verbesserung der Forschungskultur und die Förderung von Gleichheit, Vielfalt, Inklusion und Zugehörigkeit in der Forschungsgemeinschaft. Bei einigen Architekten dieser Initiativen wächst jedoch die Sorge, dass sie zwar hilfreich sind, aber von greifbaren praktischen Maßnahmen ablenken: Der Akt der Unterzeichnung ist nur dann wirksam, wenn darauf eine praktische Umsetzung folgt (Natur, 2022 [60]).

Es gibt zunehmend Unterstützung für „verantwortungsvolle Forschungsbewertung oder -bewertung“ und „verantwortungsvolle Metriken“ (DORA, 2012 [61] Hicks et al. 2015 [62] Wilsdon et al., 2015), die sich von rein quantitativen Maßstäben zu einer größeren Vielfalt von Maßen verlagern, um es Forschern zu ermöglichen, die wirtschaftlichen, sozialen, kulturellen, ökologischen und politischen Auswirkungen ihrer Forschung zu beschreiben; um Themen zu berücksichtigen, die der Forschungsgemeinschaft wichtig sind: „Daten für das Gute“ oder „wertorientierte Indikatoren“, die sich mit umfassenderen Merkmalen befassen (Curry et al., 2022 [63]). In den letzten Jahren wurden von einigen Hochschulen und Forschungsförderern in Regionen und Ländern auf der ganzen Welt innovative und fortschrittliche Ansätze zur verantwortungsvollen Forschungsbewertung entwickelt und erprobt. Einige werden hier hervorgehoben.

Von den oben genannten globalen Initiativen ist die San Francisco 2013Erklärung zur Forschungsbewertung' [64] (DORA) ist vielleicht die aktivste globale Initiative. Es hat die Probleme katalogisiert, die durch die Verwendung zeitschriftenbasierter Indikatoren zur Bewertung der Leistung einzelner Forscher entstehen, und bietet 18 Empfehlungen zur Verbesserung dieser Bewertung. DORA rät kategorisch davon ab, auf Zeitschriften basierende Kennzahlen zu verwenden, um den Beitrag eines Forschers zu bewerten oder wenn er eine Einstellung, Beförderung oder Finanzierung anstrebt. Bis Mitte April 2023 wurde die Erklärung von 23,059 Unterzeichnern (Institutionen und Einzelpersonen) in 160 Ländern unterzeichnet und verpflichtet sich zu Reformen. Mit einem Fokus auf die Bewältigung der intrinsischen Herausforderungen und angeborenen Vorurteile der qualitativen Bewertung entwickelt sich DORA weiter Tools zur Förderung der Forschungsbewertung (TARA) [65] um die Umsetzung der Erklärung in die Praxis zu unterstützen: Zu diesen Tools gehören ein Dashboard zur Indexierung und Klassifizierung innovativer Richtlinien und Praktiken bei der Karrierebewertung sowie ein Toolkit mit Ressourcen, die bei der unvoreingenommenen Zusammensetzung von Ausschüssen helfen und verschiedene, qualitative Formen der Forschungswirkung erkennen sollen.

Darüber hinaus finanziert DORA zehn Projekte – in Argentinien, Australien, Brasilien, Kolumbien (2), Indien, Japan, den Niederlanden, Uganda und Venezuela – um verschiedene Möglichkeiten zur Förderung von Reformen in der Forschungsbewertung in ihren lokalen Kontexten zu testen Zusammenstellung von Beispielen guter Praxis: zum Beispiel Sensibilisierung, Entwicklung neuer Richtlinien oder Praktiken, Schulung und praktische Anleitung für Stellenbewerber (DORA [66]). Die Nachfrage nach Zuschüssen dieser Art ist hoch – über 55 Bewerber aus 29 Ländern – was darauf hindeutet, dass die Notwendigkeit einer Reform zunehmend erkannt wird.

Professionelle Forschungsmanagementverbände wie das International Network of Research Management Societies (INORMS) haben ebenfalls aktiv Ressourcen entwickelt, um organisatorische Veränderungen zu steuern, einschließlich der SCOPE Framework Forschungsbewertungsgruppe | INORMS – Das INORMS SCOPE-Framework für die Forschungsbewertung [67], das damit beginnt, zu definieren, was geschätzt wird, wer bewertet wird und warum (ein nützliches erklärendes Poster). Hier [68]).

Der internationale Entwicklungssektor hat neue Perspektiven für die Forschungsevaluation eröffnet, ein Paradebeispiel hierfür ist Forschungsqualität Plus | IDRC – Internationales Entwicklungsforschungszentrum [69], der misst, was für die Menschen am Empfängerende der Forschung wichtig ist. Das Tool „Research Quality Plus“ (RQ+) erkennt an, dass wissenschaftliche Leistung notwendig, aber nicht ausreichend ist, und erkennt die entscheidende Rolle der Nutzergemeinschaft bei der Bestimmung an, ob Forschung relevant und legitim ist. Es erkennt auch an, dass Aktualisierung und Einflussnahme auf die Forschung während des Forschungsprozesses beginnen. Forschungsanträge werden oft von stark interdisziplinären Gremien bewertet, denen auch Entwicklungsexperten von außerhalb der Wissenschaft (z. B. einer Regierungsbehörde oder einer Nichtregierungsorganisation (NGO)), Praktikern und Vertretern im Land angehören: Dies unterstreicht die Bedeutung der Nutzergemeinschaft/fachfremden Experten Sie müssen die Forschungsergebnisse verstehen und wissen, wie sie in der Praxis angewendet werden können. Forschung in komplexen, einkommensschwachen oder fragilen Umgebungen kann von einem Ethik-Toolkit oder -Rahmen begleitet werden, der darauf ausgelegt ist, ethische Entscheidungen im Forschungslebenszyklus zu informieren und zu unterstützen, von der Gründung bis zur Verbreitung und Wirkung, z Reid et al., 2019 [70]. „Theory of Change“-Ansätze werden in der internationalen Entwicklungsforschung von Gebern, NGOs und multilateralen Organisationen häufig verwendet, wobei Antragsteller Wege zur Wirkung formulieren müssen, unterstützt durch Überwachungs-, Evaluierungs- und Lernrahmen, z Valters, 2014 [71]. Die akademische Forschungsgemeinschaft kann möglicherweise von der Entwicklungsgemeinschaft lernen.

In Anerkennung der Rolle von Geldgebern bei der Gestaltung der Strategien von Hochschulen Responsible Research Assessment des Global Research Council (GRC). (RRA)-Initiative [72] hat große Forschungsförderer auf der ganzen Welt dazu angeregt, in ihren eigenen regionalen und nationalen Kontexten auf RRA-Ambitionen hinzuarbeiten und wirksame Bewertungsrahmen zur Bewertung der Auswirkungen zu entwickeln (Erklärungsvideo). Hier [73]). Beauftragung eines Arbeitspapiers zu RRA (Curry et al., 2020 [74]) forderte das GRC seine Mitglieder dazu auf, RRA-Prinzipien zu verankern und konkrete Maßnahmen zu deren Umsetzung zu ergreifen sowie durch Zusammenarbeit und den Austausch bewährter Praktiken voneinander zu lernen. Ein Internationale Arbeitsgruppe [75] bietet GRC-Mitgliedern Anleitung und Unterstützung und hilft ihnen beim Übergang von der Bewegung zur Aktion.

Zum großen Teil dank der Bemühungen des GYA beginnen auch die ECRs, sich für diese Agenda zu mobilisieren. Es ist Arbeitsgruppe für wissenschaftliche Exzellenz [76] arbeitet daran, Forschungsumgebungen zu identifizieren, die dazu geeignet sind, „Neugier und Kreativität in der Wissenschaft zu entfesseln und die Entwicklung des menschlichen Potenzials durch Vielfalt und Inklusion zu fördern“. Ihre Arbeit fordert die ECR-Gemeinschaft auf, die von ihren Organisationen verwendeten Definitionen von „Exzellenz“ in Frage zu stellen, sich an Initiativen zur Reform der Forschungsbewertung zu beteiligen und sich der Young Academies-Bewegung anzuschließen. Außerdem werden die Finanzierungs- und Einstellungsgremien aufgefordert, ECRs in Debatten zur Forschungsbewertung einzubeziehen und eine größere Vielfalt an Beiträgen und Karrieren in der Forschung anzuerkennen.

Obwohl einige Universitäten und andere Hochschulen Unterzeichner von DORA sind und/oder sich der europäischen Bewegung anschließen (siehe unten), scheinen sie sich nicht kollektiv um die Forschungsbewertung zu organisieren, wie dies bei anderen wichtigen Interessengruppen der Fall ist.

Probleme, die durch fast ausschließlich quantitative Bewertungssysteme entstehen, werden größtenteils aus der Perspektive des „Globalen Nordens“ betrachtet und diagnostiziert, wobei der „Globale Süden“ Gefahr läuft, aufzuholen. Auch wenn die Gefahr einer Überverallgemeinerung besteht, gibt es im „Globalen Norden“ große systemische Probleme im Zusammenhang mit dem Mangel an Vielfalt, Gerechtigkeit und Inklusion, die durch Bewertungssysteme noch verschärft werden. Im „Globalen Süden“ mangelt es an einer lokalen und regionalen Definition dessen, was „Qualität“ und „Wirkung“ ausmacht, es gibt sehr unterschiedliche Bewertungssysteme (sogar zwischen den Abteilungen derselben Universität) und es gibt relativ wenig Möglichkeiten, dies zu hinterfragen Der Status quo. Weltweit ergeben sich Probleme aus der Überbetonung quantitativer Indikatoren, dem Zusammenhang zwischen Evaluierung und Ressourcenallokation, dem hart umkämpften Finanzierungssystem und Veröffentlichungsdruck sowie der Missachtung anderer, weniger quantifizierbarer Dimensionen der Forschung und des akademischen Lebens.

Es gibt kaum peer-reviewte Literatur zu vergleichenden Studien zur Reform der Forschungsevaluierung. Eine seltene Ausnahme ist ein Vergleich von Forschungsevaluierungsinterventionen in sechs verschiedenen Regionen (Australien, Kanada, Deutschland, Hongkong, Neuseeland und Vereinigtes Königreich), bei dem festgestellt wird, dass sich die indexierte Leistung aller sechs nach mehreren Interventionstypen (mindestens) zu verbessern scheint unter Verwendung herkömmlicher bibliometrischer Indikatoren) (ISI, 2022 [77]). DORA bietet (überwiegend institutionelle) Fallstudien auf seiner Webseite (DORA [78]) und in einem Bericht (DORA, 2021 [79]) sollen andere zum Handeln inspirieren, es handelt sich dabei jedoch überwiegend um europäische Beispiele.

Hier liefern die Autoren regionale Übersichten und nationale Beispiele von Experimenten und Reformen zur weiteren Einsicht – diese erheben nicht den Anspruch, umfassend oder erschöpfend zu sein.

Die EU-Koalition zur Reform der Forschungsbewertung [80] oder CoARA, genehmigt im Juli 2022, ist die weltweit größte Initiative zur Reform der Forschungsbewertung. Vier Jahre lang haben die European University Association und Science Europe (ein Netzwerk der Wissenschaftsförderer und Akademien des Kontinents) in Zusammenarbeit mit der Europäischen Kommission eine Vereinbarung oder einen Vertrag entwickelt, der von 350 Organisationen in 40 (überwiegend europäischen) Ländern entwickelt wurde von Prinzipien (ein 'Reformreise'), für eine umfassendere und verantwortungsvollere Forschungsbewertung (CoARA, 2022 [81]). Die Vereinbarung konzentriert sich auf drei Bewertungsebenen: Institutionen, einzelne Forscher und die Forschung selbst. Obwohl die Koalition von europäischen Partnern regiert wird, hat sie Ambitionen, global zu werden, und sowohl DORA als auch GYA sind bereits Unterzeichner. Die Unterzeichner verpflichten sich, Ressourcen bereitzustellen, um die Forschungsbewertung zu verbessern, neue Kriterien und Instrumente für die Bewertung zu entwickeln, das Bewusstsein zu schärfen und Schulungen zur Forschungsbewertung anzubieten (z. B. für Peer-Reviewer). Diese Entwicklung wurde als „das bisher hoffnungsvollste Zeichen einer echten Veränderung“ beschrieben (Natur, 2022 [82]).

Die EU finanziert auch einige spannende neue Initiativen zur Unterstützung der Reform der Forschungsbewertung: insbesondere Open and Universal Science (OPUS [83]) – um eine „umfassende Suite“ von Indikatoren für mehrere Forschungsprozesse und -ergebnisse zu entwickeln und dadurch europäische Forscher zu motivieren, Open Science – und den Open Science-Bewertungsdatenraum – zu praktizieren GraspOS [84] – Aufbau eines offenen Datenraums zur Unterstützung politischer Reformen zur Forschungsbewertung.

Der Europäische Forschungsrat (ERC), der Pionierforschung in allen Bereichen unterstützt (mit einem Budget von 16 Milliarden Euro für 2021–2027), hat CoARA unterzeichnet und seine Bewertungsformulare und -prozesse geändert, um mehr narrative Beschreibungen einzubauen, einschließlich der Berücksichtigung weniger konventionelle Karrierewege und „außergewöhnliche Beiträge“ zur Forschungsgemeinschaft. Vorschläge werden mehr nach ihren Verdiensten als nach den bisherigen Leistungen des Antragstellers beurteilt und weiterhin von Peer-Review-Gremien bewertet, die sich aus führenden Wissenschaftlern zusammensetzen, wobei das einzige Kriterium der wissenschaftlichen Exzellenz zugrunde gelegt wird (ERC, 2022 [85]).

Auch einige europäische Akademien engagieren sich. Der Vorstand von ALLEA [86] Die Europäische Föderation der Akademien der Wissenschaften, die neun der über 50 nationalen Akademien in 40 europäischen Ländern vertritt, hat die CoARA-Bewegung unterstützt. ALLEA hat sich verpflichtet, eine spezielle Task Force einzurichten, um bewährte Verfahren für die Aufnahme neuer Academy Fellows zu sammeln, auszutauschen und zu fördern und zu einem „sinnvollen kulturellen Austausch“ der Forschungsbewertung beizutragen, der auf den Grundsätzen Qualität, Integrität, Vielfalt und Offenheit basiert. In seinem Erklärung vom 2022. Oktober ALLEA fordert die Mitgliedsakademien auf, Folgendes zu tun:

1. die Vielfalt der Beiträge und Karrieren in der Forschung entsprechend den Bedürfnissen und der Art der Forschung anerkennen; Im Fall von Akademie-Stipendiaten sollten die Auswahlverfahren (1) das Geschlechtergleichgewicht und die besonderen Herausforderungen von Nachwuchsforschern berücksichtigen, (2) die Vielfalt der Kulturen und Disziplinen unterstützen, (3) eine Vielfalt an Kompetenzbereichen und Talenten wertschätzen und (4) Interdisziplinarität und Mehrsprachigkeit fördern.

2. Die Bewertung der Forschung in erster Linie auf der qualitativen Bewertung stützen, für die die Begutachtung durch Fachkollegen im Mittelpunkt steht, unterstützt durch den verantwortungsvollen Einsatz quantitativer Indikatoren. Die Bewertung der Exzellenz und der Auswirkungen auf die Arbeit der Kandidaten sollte auf einer qualitativen Begutachtung durch Fachkollegen basieren, die den Grundprinzipien von Genauigkeit und Transparenz entspricht und die Besonderheiten der wissenschaftlichen Disziplin berücksichtigt.

3. Verzichten Sie auf die unangemessene Verwendung von auf Zeitschriften und Veröffentlichungen basierenden Metriken bei der Forschungsbewertung. Dies bedeutet insbesondere, dass wir uns von der Verwendung von Metriken wie dem Journal Impact Factor (JIF), dem Article Influence Score (AIS) und dem H-Index als dominanten Indikatoren für Qualität und Wirkung abwenden müssen.

Allea-Erklärung zur Reform der Forschungsbewertung innerhalb der europäischen Akademien

In ihren gemeinsame Antwort [87] Im Rahmen des EU-Abkommens und der CoARA-Koalition hat auch die ECR-Gemeinschaft in der GYA dieses Engagement begrüßt und bietet Möglichkeiten zur Umsetzung seiner Grundsätze an. Dazu gehören Praktiken, die inklusiv sind und die Vielfalt der nationalen Besonderheiten und Besonderheiten der Disziplinen widerspiegeln, wobei Forscher aller Karrierestufen Schulungen, Anreize und Belohnungen erhalten, wobei obligatorische Schulungen zu Open Science für Forscher, Mitarbeiter und Ausschussmitglieder von entscheidender Bedeutung sind.

Auch forschungsintensive Universitäten in Europa haben sich für die Reform der Forschungsevaluation als Weg für „multidimensionale“ Forschungskarrieren eingesetzt (Overlaet, B., 2022 [88]). Sie haben einen gemeinsamen Rahmen entwickelt, um Universitäten zu inspirieren und dabei zu unterstützen, vielfältige Beiträge in Forschung, Bildung und Dienst für die Gesellschaft anzuerkennen.

Auf nationaler Ebene testen mehrere Länder mittlerweile unterschiedliche Bewertungsmodelle: zum Beispiel nationale Förderagenturen in Belgien, Niederlande, Schweiz und UK verwenden alle „narrative Lebensläufe“. In narrativen Lebensläufen wird die akademische Leistung ganzheitlicher betrachtet: Beitrag zur Wissensgenerierung, zur Entwicklung des Einzelnen, zur breiteren Forschungsgemeinschaft und zur breiteren Gesellschaft (Royal Society [89]). Zwar gibt es eine zunehmende Unterstützung für diese Art von Lebensläufen, es besteht jedoch auch die Sorge, dass sie Akademiker dazu zwingen, in allem gut zu sein, und somit das Risiko eingehen, dass fundierte Fachkenntnisse bei der Suche nach dem Status eines Allrounders aufs Spiel gesetzt werden (Grove, J., 2021 [90]).

In den folgenden Textboxen sind vier Beispiele für nationale Forschungssysteme aufgeführt, die landesweite Reformen bei der berufsbezogenen akademischen Beurteilung koordinieren.

Nationales Beispiel: Großbritannien

Das UK Research Evaluation Framework (REF) misst die Auswirkungen der Forschung anhand von zwei Dimensionen: „Signifikanz“ (der greifbare Unterschied, den ein Projekt macht) und „Reichweite“ (das quantifizierbare Ausmaß, in dem es dies bewirkt) (UKRI). Auswirkung wird hier definiert als „eine Auswirkung, Veränderung oder ein Nutzen für die Wirtschaft, die Gesellschaft, die Kultur, die öffentliche Ordnung oder Dienstleistungen, die Gesundheit, die Umwelt oder die Lebensqualität außerhalb der Wissenschaft“, aber darüber hinaus ist es sehr offen und disziplinarisch. variabel und möglicherweise mehrdeutig, da beispielsweise das öffentliche Engagement nicht ausreichend berücksichtigt wird.

Der britische REF wird in den Jahren 2022–2023 im Rahmen des evaluiert Zukünftiges Forschungsbewertungsprogramm Erforschung möglicher neuer Ansätze zur Bewertung der Forschungsleistung im Hochschulbereich im Vereinigten Königreich, einschließlich des Verständnisses internationaler Forschungsbewertungspraktiken. Die nächste Iteration des REF wird möglicherweise eine größere Vielfalt an Ergebnissen berücksichtigen und möglicherweise sogar die ihnen beigemessene Bedeutung verringern. Das aktuelle Modell legt 60 % Wert auf Ergebnisse, 25 % auf Forschungswirkung und 15 % auf Forschungskultur/-umfeld. Wenn diese gleichmäßiger gewichtet wären, würde das REF ganz anders aussehen und der Forschungskultur, der Forschungsintegrität und der Teamarbeit mehr Bedeutung beigemessen werden (Hain, 2020).

Nationales Beispiel: Finnland

Im Jahr 2020 koordinierte der finnische Verband gelehrter Gesellschaften eine Taskforce aus Forschungsförderern, Universitäten und Gewerkschaften, die die Erklärung veröffentlichte Gute Praxis in der Forschungsbewertung. Darin werden Leitlinien für die Einhaltung eines verantwortungsvollen Prozesses zur Beurteilung einzelner Akademiker dargelegt, einschließlich fünf allgemeiner Bewertungsprinzipien: Transparenz, Integrität, Fairness, Kompetenz und Vielfalt. Gute Praxis bei der Forschungsbewertung fordert, dass Forschungsintegrität, Bildung und Mentoring sowie wissenschaftliche Leistungen (z. B. Peer-Review) bei der Bewertung der akademischen Beiträge einzelner Personen stärker anerkannt werden. In der Erklärung geht es bei Beurteilungen nicht nur um die Erstellung summativer Urteile: Sie ermutigt die Bewerter auch dazu, Feedback mit den zu bewertenden Personen zu teilen, um Feedback und Lernen zu erleichtern.

Forschungsdurchführende Organisationen und Forschungsförderungsorganisationen haben sich alle dazu verpflichtet, bewährte Verfahren bei der Forschungsbewertung umzusetzen und ihre eigenen lokalen Variationen der Leitlinien zu entwickeln. Außerdem wird derzeit ein nationales Forscherportfolio-Lebenslaufmodell entwickelt. Good Practice in Research Assessment verpflichtet sich zu regelmäßigen Überprüfungen und Verbesserungen.

Nationales Beispiel: Niederlande

In den Niederlanden startete das nationale Anerkennungs- und Belohnungsprogramm im Jahr 2019 mit der Veröffentlichung der Stellungnahme Raum für jedes Talent. Diese landesweite Zusammenarbeit zwischen der Königlich Niederländischen Akademie der Künste und Wissenschaften (KNAW – ein IAP- und ISC-Mitglied), Forschungsförderern, Universitäten und medizinischen Zentren besagt, dass eine systemweite Modernisierung der Forschungsbewertungskulturen stattfinden muss. Dabei werden fünf Ambitionen für eine Änderung der Bewertungsverfahren dargelegt: größere Vielfalt an Karrierewegen, Anerkennung der Leistung von Einzelpersonen und Teams, Priorisierung der Arbeitsqualität gegenüber quantitativen Indikatoren, offene Wissenschaft und akademische Führung.

Seit 2019 sind niederländische Universitäten dazu übergegangen, ihre eigenen lokalen Übersetzungen des nationalen Leitbilds in Kraft zu setzen. Gleichzeitig haben Förderagenturen eher „narrative Lebenslauf“-Formate eingeführt und aufgehört, bibliometrische Informationen anzufordern, wobei sie San Francisco DORA als Inspiration nannten. Der niederländische Forschungsrat ist kürzlich zu einem umgezogen „evidenzbasierter“ Lebenslauf in dem einige quantitative Informationen verwendet werden können. Die KNAW hat auch eine eigene entwickelt Dreijahresplan die Anerkennungs- und Belohnungsagenda intern umzusetzen. Ein Vollzeit-Programmmanager und ein Team wurden ernannt, um das Reformprogramm „Anerkennung und Belohnungen“ zu unterstützen, und jedes Jahr findet ein „Anerkennungs- und Belohnungsfestival“ unter den wichtigsten Reformbeteiligten statt, um gemeinschaftsweites Lernen zu unterstützen.

Schließlich finanziert durch ein DORA Community Engagement-Stipendium, das Initiative „Young Scientist in Transition“ für Doktoranden, mit Sitz in Utrecht, hat einen neuen Bewertungsleitfaden für Doktoranden entwickelt, um die Forschungskultur zu verändern.

Nationales Beispiel: Norwegen

Im Jahr 2021 veröffentlichten Norwegen, die norwegischen Universitäten und der norwegische Forschungsrat NOR-CAM – Eine Toolbox für Anerkennung und Belohnung bei akademischen Beurteilungen. NOR-CAM bietet einen Matrixrahmen zur Verbesserung der Transparenz und zur Erweiterung der Bewertung von Forschung und Forschern weg von engen bibliometrischen Indikatoren. NOR-CAM steht für „Norwegian Career Assessment Matrix“ und wurde aus dem Jahr 2017 übernommen berichten von der Europäischen Kommission, die die Open Science Career Assessment Matrix vorgestellt hat. Wie sein europäischer Vorgänger zeigt auch NOR-CAM Wege auf, um Open-Science-Praktiken besser in Bewertungen zu integrieren. Ziel der Matrix ist es, Gutachter und Kandidaten für akademische Positionen, Anträge auf Forschungsförderung sowie nationale Gutachter bei der Bewertung norwegischer Forschung und Bildung anzuleiten. Es soll auch als allgemeiner Leitfaden für die individuelle Karriereentwicklung dienen.

Die Matrix umfasst sechs Hauptkompetenzbereiche: Forschungsergebnisse, Forschungsprozess, pädagogische Kompetenzen, Wirkung und Innovation, Führung und andere Kompetenzen. Die Matrix liefert dann Vorschläge, um die Karriereplanung und die Bewertungserkennung rund um jedes der Kriterien zu ermöglichen – Beispiele für Ergebnisse und Fähigkeiten, Mittel zur Dokumentation und Anregungen zur Reflexion über jedes Kriterium. Von den Kandidaten wird nicht erwartet, dass sie bei allen Kriterien die gleichen Leistungen erbringen.

NOR-CAM wurde von einer Arbeitsgruppe aus Interessenvertretern von Forschungs- und Finanzierungsorganisationen unter der Koordination von Universities Norway ins Leben gerufen, was bedeutet, dass es im Prinzip von Mitgliedern aller norwegischen Universitäten unterstützt wird. Anschließend wurden Workshops unter Beteiligung norwegischer Universitäten abgehalten, um gemeinsam Möglichkeiten zur Integration von NOR-CAM in Verfahren zur Beurteilung von Ernennungen und Beförderungen zu entwickeln. Außerdem wird derzeit ein „automatisches“ Lebenslaufsystem entwickelt, um Daten aus mehreren nationalen und internationalen Quellen abzurufen und den Verwaltungsaufwand zu reduzieren Last. Die Koordinatoren der oben genannten drei Reformprogramme auf nationaler Ebene trafen sich regelmäßig, um ihre Erfahrungen auszutauschen und gemeinsame Erkenntnisse zu gewinnen.

Lateinamerika und die Karibik (LAC) unterscheiden sich in vielerlei Hinsicht von anderen Teilen der Welt. Dabei gilt die Wissenschaft als globales öffentliches Gut, und ihre Forschungs- und wissenschaftlichen Publikationssysteme und -infrastrukturen sind in öffentlichem Besitz (finanziert) und nicht kommerziell. Diese regionalen Stärken und Traditionen spiegeln sich jedoch noch nicht in Bewertungssystemen wider. Zu den wichtigsten Akteuren, die Veränderungen bewirken können, gehören die nationalen Forschungsräte, die Wissenschaftsministerien und die großen Forschungsuniversitäten – die Rolle der Hochschulen ist von entscheidender Bedeutung, da mehr als 60 % der Forscher an Universitäten angesiedelt sind (RiCyT, 2020 [91]). Es besteht das Potenzial, Bewertungssysteme stärker an den SDGs und an den Open-Science- und Citizen-Science-Bewegungen auszurichten, die in der Region eine blühende Tradition haben.

Derzeit gibt es eine starke Fragmentierung der Forschungsbewertungssysteme auf nationaler, lokaler und institutioneller Ebene, wodurch die Forschung in Konkurrenz zu anderen Funktionen wie Lehre, Erweiterung und Koproduktion steht. Forschungsbewertungs- und Forscherauszeichnungssysteme in LAC bevorzugen im Allgemeinen eine Vorstellung von Exzellenz, die in den Methoden des „Globalen Nordens“ verankert ist und ausschließlich auf dem Impact-Faktor von Zeitschriften und Universitätsrankings basiert (CLACSO, 2020 [92]). Die Anerkennung unterschiedlicher Formen der Wissensproduktion und -kommunikation sowie der Vielfalt akademischer Karrieren (z. B. Lehre, Ausbildung und Mentoring, Citizen Science und öffentliche Wissenschaftskommunikation) fehlt in der Forschungsbewertungspraxis weitgehend. Dies ist besonders problematisch für Forscher in den Sozial- und Geisteswissenschaften, wo Monographien und lokale Sprachen häufig verwendet werden (CLACSO, 2021 [93]). Regionale Zeitschriften und Indikatoren werden in solchen Bewertungsprozessen abgewertet oder nicht berücksichtigt. All dies wird durch schwache Informationssysteme und eine schwache Interoperabilität von (insbesondere gemeinschaftseigenen) Infrastrukturen verschärft, die unterfinanziert sind, weil knappe Mittel für APC-Zahlungen für Open-Access-Zeitschriften verwendet werden.

Dennoch beginnen einige Universitäten in der Region mit der Einführung von Bewertungspraktiken, die eine Kombination aus qualitativen und quantitativen Methoden anwenden, insbesondere bei der Bewertung von Forschern und missionsorientierter Forschung (Gras, 2022 [94]). Der Übergang zu umfassenderen Forschungsbewertungssystemen erfordert die Mitgestaltung qualitativerer Kriterien. der verantwortungsvolle Umgang mit quantitativen Daten und die Stärkung von Peer-Review-Prozessen; schrittweise Änderungen, die Richtlinien und Methoden harmonisieren und koordinieren, um gemeinsame Grundsätze für verantwortungsvolle Forschungsbewertung und offene Wissenschaft zu erreichen; neue Methoden und Daten zur besseren Bewertung inter-/transdisziplinärer Wissenschaft, Umwelt- und lokaler Themen; gemeinsame, interoperable, nachhaltige, föderierte Infrastrukturen, die Bibliodiversität und Mehrsprachigkeit unterstützen; und partizipative Bottom-up-Designs, die die Beteiligung von Bürgern und sozialen Bewegungen sowie die Einbeziehung unterrepräsentierter Forschungsgruppen erweitern.

Um diesen Herausforderungen zu begegnen, hat die Region eine Reihe von Grundsätzen und Richtlinien für die Forschungsbewertung verabschiedet. Der CLACSO-FOLEC-Grundsatzerklärung zur Forschungsbewertung [95], genehmigt im Juni 2022, zielt darauf ab, Qualität und gesellschaftlich relevante Wissenschaft zu garantieren und zu schützen und die Prinzipien von DORA und offener Wissenschaft, die Vielfalt der Forschungsergebnisse und Forschungskarrieren, den Wert regionaler Zeitschriften und Indexierungsdienste usw. zu berücksichtigen von Interdisziplinarität, lokaler Sprache und indigenem Wissen. Bis heute hat es über 220 Anhänger und es gibt bereits positive Trends in der verantwortungsvollen Forschungsbewertung und Beispiele für Reformen. Einige nationale Beispiele finden Sie in den folgenden Textfeldern.

Nationales Beispiel: Kolumbien

Gefördert durch einen DORA Community Engagement Award haben unter anderem die kolumbianischen Universitätsverbände, Universitätsverlage, Forschungsmanager und ein Netzwerk aus Wissenschafts- und Technologiemanagement gemeinsam an den Chancen und Herausforderungen verantwortungsvoller Kennzahlen in Kolumbien gearbeitet. Durch eine Reihe von Workshops und Konsultationen, unter anderem mit internationalen Organisationen als Benchmark, haben sie eine Rubrik entwickelt, um kolumbianischen Institutionen bei der Gestaltung ihrer eigenen REFs zu helfen. Diese Rubrik versucht, die auf lokaler Ebene identifizierten Herausforderungen zu berücksichtigen, zu denen – für Hochschulen – der Mangel an Wissen über Alternativen zur Forschungsbewertung, die Art des nationalen Forschungsbewertungsökosystems und der Widerstand gegen Veränderungen gehören. A spezielle Website wurde zusammen mit Infografiken zur Unterstützung von Forschern entwickelt, und die Verbreitung und das Lernen werden weiterhin im ganzen Land geteilt.

Weitere Informationen: Das kolumbianische Projekt für verantwortungsvolle Metriken: Auf dem Weg zu einem kolumbianischen institutionellen, methodischen Instrument zur Forschungsbewertung | DORA (sfdora.org)

Nationales Beispiel: Argentinien

Ein interessanter Reformversuch in der Nationaler Rat für wissenschaftliche und technische Forschung (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) war die Schaffung eines Sonderbeschlusses für die Sozial- und Geisteswissenschaften, der im Mainstream-Bereich indexierte Zeitschriften auf die gleiche Ebene stellt wie regional indexierte Zeitschriften wie z SciELO, Redalyc or Latindex-Katalog. Die Verordnung wird derzeit überprüft, um einige Unklarheiten bei ihrer Umsetzung zu klären und ihre Kriterien zu erweitern. Im Gegenzug trat der Vorstand von CONICET im Jahr 2022 der San Francisco DORA bei und würdigte öffentlich sein Engagement für die Verbesserung der Forschung durch eine verstärkte Bewertung und kontinuierliche Verbesserung seiner Prozesse.

Die Nationale Agentur zur Förderung von Forschung, technologischer Entwicklung und Innovation (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), unter der Ministerium für Wissenschaft, Technologie und Innovationist aufgrund der Vielfalt und des Umfangs seiner äußerst wettbewerbsintensiven Ausschreibungen der wichtigste Forschungsförderer des Landes. Derzeit implementiert AGENCIA a programm die Forschungsbewertungsprozesse in ihren wichtigsten Finanzfonds zu stärken. Zu den aktuellen Verbesserungen gehören die Vergütung von Peer-Reviewern, um ihr Engagement bei diesen Prozessen zu fördern, sowie Anreize für Open Access, da Projektergebnisse durch Veröffentlichungen oder Dokumente zur öffentlichen Verbreitung öffentlich zugänglich gemacht werden sollten (im Einklang mit den Verpflichtungen von „Institutionelle digitale Open-Access-Repositories' National Law 26.899) und die Einbeziehung von Gerechtigkeits- und Inklusivitätsdimensionen durch Geschlecht, unterrepräsentierte Generationengruppen und/oder institutionell stärkende Ausgleichsmechanismen in Forschungsbewertungsprozesse. Dennoch wird in verschiedenen Fachausschüssen der Lehrplanhintergrund führender Forscher, die für die Vorschläge verantwortlich sind, von ihren Kollegen immer noch anhand von Zitierwirkungsindikatoren bewertet.

Schließlich veranstaltete die Fakultät für Psychologie der Universidad Nacional de la Plata, finanziert durch ein DORA Community Engagement Grant, eine virtuelles Ereignis im September 2022 zum Thema Beurteilung in Psychologie und Sozialwissenschaften, an der über 640 (hauptsächlich Studenten) aus 12 Ländern teilnahmen, was das Interesse junger Menschen auf dem Kontinent zeigt. Die Veranstaltung hat zur Gestaltung des vierjährigen Managementplans der Fakultät beigetragen und wird als Grundlage für ein Buch über die Reform der akademischen Bewertung im spanischsprachigen Kontext dienen.

Nationales Beispiel: Brasilien

Die Forschungsbewertung wird in Brasilien unter Forschungseinrichtungen und Forschern, wenn nicht sogar unter Landes- und Bundesregierungen, heftig diskutiert. Doch trotz der weltweit höchsten Zahl institutioneller Unterzeichner von DORA gibt es überraschend wenige Beispiele für eine Reform der Forschungsbewertung. Nach einer Umfrage unter DORA-Unterzeichnern im Land, institutionellen Konsultationen und einer öffentlichen Veranstaltung, finanziert durch einen DORA Community Engagement Grant, a Guide wurde für Hochschulleiter erstellt, um verantwortungsvolle Bewertungspraktiken zu erkunden.

Der Leitfaden konzentriert sich auf drei Hauptmaßnahmen: (1) Sensibilisierung für verantwortungsvolle Bewertung in all ihren Formen; (2) Schulung und Kapazitätsaufbau der Evaluatoren und der zu evaluierenden Personen; und (3) Umsetzung und Bewertung. Die nächsten Schritte bestehen darin, ein Netzwerk von Praktikern – oder zehn Geheimdienstbüros der Universitäten – aufzubauen, um Änderungen in den Bewertungspraktiken herbeizuführen und kontextsensitive Modelle zu testen und schließlich einen Fahrplan für brasilianische Institutionen zu entwickeln, die Änderungen herbeiführen möchten.

Projekt Métricas (2022). Institutionelle Herausforderungen und Perspektiven für eine verantwortungsvolle Bewertung in der brasilianischen Hochschulbildung: Zusammenfassung der Ergebnisse der Partnerschaft „Projeto Métricas DORA“. Universität von São Paulo, Brasilien.

In Nordamerika findet eine anhaltende Abkehr von rein quantitativen Indikatoren statt, die durch die Open-Science-Agenda beschleunigt wird. Offene Wissenschaft und offene Begutachtung tragen dazu bei, Bewertungspraktiken transparenter zu machen, bieten Gelegenheit zur Selbstreflexion und bringen Probleme zum Vorschein, z. B. Selbstzitierung und Vetternwirtschaft bei Einstellungen, Beförderungen und Peer-Review-Gremien sowie angeborene Geschlechter- und andere Vorurteile. Derzeit wird über die Notwendigkeit diskutiert, intelligentere, intelligentere Indikatoren und gemischte Bewertungsmethoden zu entwickeln, mit dem Potenzial für ein hybrides, konvergentes Bewertungsmodell, das der Grundlagenwissenschaft (Wissensfortschritt) und der angewandten Wissenschaft (gesellschaftliche Auswirkungen) dient.

Es besteht auch die Erkenntnis, dass Universitäten akademischen Raum und die Freiheit benötigen, sich ohne „First-Mover-Nachteile“ von den Tools zu lösen, die sie derzeit zur Evaluierung verwenden, und dass die Benutzergemeinschaft Teil des Evaluierungsprozesses sein sollte, um dabei zu helfen, die Benutzerfreundlichkeit zu messen Wissen, seine Aufnahme und Wirkung. Aber es gibt auch einen bedingten Widerstand gegen Veränderungen (eine „vorsätzliche Blindheit“) von oben und unten im Forschungsökosystem – von denen, die vom Status quo profitieren, und von denen, die erst kürzlich in ihn eingetreten sind. Nur sehr wenige US-Universitäten haben DORA unterzeichnet und ein neues DORA-Projekt versucht zu verstehen, warum dies der Fall ist (SCAN). Dennoch gibt es sowohl in Kanada als auch in den USA einige interessante Beispiele für nationale und institutionelle Initiativen, die darauf abzielen, systemische Veränderungen herbeizuführen (siehe die folgenden Textboxen).

Nationales Beispiel: USA

In den USA ist die National Science Foundation durch ihre Initiative eine führende Stimme für Veränderungen Förderung der Forschungswirkung in der Gesellschaft Programm und Begleitung umfassenderes Impact-Toolkit für Forscher und Gutachter. Gerechtigkeit, Vielfalt und Inklusion, einschließlich der Einbeziehung indigener und traditionell marginalisierter Gemeinschaften, sind wichtige Treiber. Als IAP- und ISC-Mitglied möchten die US-amerikanischen National Academies of Sciences ebenfalls umfassende Reformen anstoßen und eine Plattform für den Informationsaustausch und das Lernen über die Reform des traditionellen Lebenslaufs von Forschern bieten (NAS-Strategischer Rat, 2022). Entstanden aus der Arbeit der US-Akademien Higher Education Leadership Initiative für offene Stipendien ist eine Kohorte von mehr als 60 Hochschulen und Universitäten, die sich für gemeinsame Maßnahmen zur Förderung offener Wissenschaft einsetzen, einschließlich der Neugestaltung der Forschungsbewertung, um Offenheit und Transparenz zu belohnen.

Das National Institute for Health hat beispielsweise ein neues Konzept entworfen Bioskizze (SciENcv) für Personal in Zuschussanträgen, um systemische Verzerrungen und Berichtslasten zu minimieren und gleichzeitig wirkungsorientierter zu sein.

Nationales Beispiel: Kanada

In Kanada gibt es mehrere Gespräche über die von DORA vorangetriebene Reform der Forschungsbewertung; alle drei Bundesforschungsräte sind Unterzeichner. Der Rat für Naturwissenschaften und Technik hat Kriterien für Forschungsqualität neu definiert, unter Verzicht auf Bibliometrie, Zitierungen und den h-Index, im Einklang mit den DORA-Grundsätzen: Qualitätsmetriken umfassen jetzt gute Forschungsdaten und Datenzugriffsmanagement, Gerechtigkeit, Vielfalt und Inklusion sowie Schulungsverantwortung. Die anderen beiden Forschungsräte dürften diesem Beispiel folgen.

Kanadische Forscher konzentrieren sich in der Regel auf die „Wissensmobilisierung“, eine bewusste Anstrengung, die gesellschaftliche Wirkung der Forschung durch Koproduktion mit Nutzergemeinschaften zu fördern (ISI, 2022). Forschungswirkung Kanada ist ein Netzwerk von über 20 Universitäten, das darauf abzielt, institutionelle Kapazitäten durch Impact Literacy aufzubauen, d Maximierung der Wirkung der Forschung für das Gemeinwohl.

Es ist erwähnenswert, dass nur sehr wenige kanadische Universitäten DORA unterzeichnet haben. Der Hauptmotivator für jede Veränderung dürfte die Akzeptanz der indigenen Wissenschaft sein: Dies ist in Kanada zu einem moralischen Gebot geworden.

Forschungsanreiz- und Belohnungssysteme in Afrika neigen dazu, „internationale“, vor allem westliche Normen und Konventionen widerzuspiegeln. Afrikanische Institutionen sind bestrebt, diese bei der Entwicklung ihres Ansatzes für „Qualität“ und „Exzellenz“ in der Forschung zu berücksichtigen, sie sind jedoch nicht immer auf das Wissen und die Bedürfnisse vor Ort abgestimmt. „Qualität“, „Exzellenz“ und „Auswirkung“ der Forschung sind auf dem Kontinent nicht genau definiert, und einige Forscher sind eine Kultur der „Forschungswirkung“ nicht gewohnt.

Evaluierungssysteme in Afrika berücksichtigen Forschung zum gesellschaftlichen Nutzen, Lehre, Kapazitätsaufbau, Forschungsverwaltung und -management in der Regel nicht. Publikationsmodelle sind nicht kontextsensitiv, da APCs Hindernisse für afrikanische Forschungsergebnisse darstellen. Eine Reform der Forschungsbewertungssysteme könnte dazu beitragen, Asymmetrien im Beitrag der afrikanischen Forschung zu gesellschaftlichen Herausforderungen zu korrigieren und den Zugang zu Ressourcen zu verbessern, um die afrikanische Forschungsgemeinschaft dabei zu unterstützen. Der Abbau von Hindernissen für die sektor- und disziplinenübergreifende Zusammenarbeit ist unerlässlich, um eine Vielfalt an Ansichten und Wissenssystemen zu ermöglichen und dabei zu helfen, zu verstehen, was Forschungsqualität für Afrika ausmacht. Bei jeder Reform müssen Mechanismen berücksichtigt werden, die lokale, indigene und „konventionelle“ Weltanschauungen zur Bewertung von Forschungsqualität und -exzellenz integrieren.

Auf dem Kontinent entstehen rund um RRA starke Partnerschaften. Gefördert durch ein internationales Konsortium von Entwicklungsagenturen Science Granting Councils Initiative (SGCI) [96] führte unter Beteiligung von 17 afrikanischen Ländern eine Studie über Forschungsexzellenz in Afrika durch und untersuchte Wissenschaftsfinanzierungsagenturen und Forscherbewertung aus der Perspektive des globalen Südens (Tijssen und Kraemer-Mbula, 2017 [97], [98]). Dabei ging es um die Frage der Forschungsexzellenz in Subsahara-Afrika und um die Notwendigkeit eines Ansatzes, der den Begriff der Exzellenz über Veröffentlichungen hinaus erweitert (Tijssen und Kraemer-Mbula, 2018 [99]); Erstellung eines Leitliniendokuments, das derzeit aktualisiert wird, über bewährte Praktiken bei der Durchführung von Forschungswettbewerben (SGCI [100]). Auf dem World Science Forum im Jahr 2022 unter der Schirmherrschaft des SGCI und des GRC, Südafrika Nationale Forschungsstiftung (NRF) und das Ministerium für Wissenschaft und Innovation versammelten internationale und lokale Partner, um die Rolle von Finanzierungsagenturen bei der Förderung von RRA zu diskutieren, Erfahrungen auszutauschen, bewährte Verfahren voranzutreiben und Fortschritte beim Kapazitätsaufbau und der Zusammenarbeit zu bewerten (NRF, 2022 [101]).

Die African Evidence Network [102], ein panafrikanisches, sektorübergreifendes Netzwerk von über 3,000 Praktikern hat einige Arbeiten zur Bewertung transdisziplinärer Forschung durchgeführt (African Evidence Network [103]), aber inwieweit dies in nationalen und regionalen Bewertungssystemen verankert ist, ist noch nicht klar. Der Afrika-Netzwerk für Forschung und Auswirkungen [103] hat an einer Scorecard gearbeitet, die eine Sammlung von Indikatoren zur Bewertung der Qualität der Bewertung von Wissenschaft, Technologie und Innovation (STI) in Afrika umfasst. Sie hofft, diese zu einem webbasierten Entscheidungsfindungstool zur Steuerung von STI-Investitionsentscheidungen weiterzuentwickeln .

Auf nationaler Ebene haben schrittweise Veränderungen begonnen – einige Beispiele sind in den folgenden Textboxen aufgeführt. Weitere Länder, in denen Forschungsförderungsagenturen die Führung übernehmen, sind Tansania (COSTECH), Mosambik (FNI) und Burkina Faso (FONRID). Die RRA-Initiative des GRC erweist sich als wichtige Plattform für Veränderungen auf dem Kontinent, ebenso wie die Erkenntnisse aus dem internationalen Entwicklungssektor, insbesondere den IDRCs Bewertungsrahmen für Research Quality Plus (RQ+). [104], mit dem Unterschied, dass es bereits angewendet, untersucht und verbessert wurde. Der in Afrika ansässige Internationale Evaluierungsakademie [105] könnte auch eine interessante Gelegenheit bieten.

Nationales Beispiel: Elfenbeinküste

Im Herzen der Elfenbeinküste Programm Appui Stratégique à la Recherche Scientifique (PASRES) (Strategic Support Program for Scientific Research) ist die Überzeugung, dass Exzellenz in der Forschung über die Anzahl der Forschungspublikationen hinausgehen und die Dimension „Forschungsaufnahme“ einbeziehen muss. Der Forschungsbewertungsprozess passt sich dem nationalen Kontext an und basiert auf Kriterien im Zusammenhang mit wissenschaftlicher und sozialer Relevanz, der Einbindung von Partnern, der Ausbildung der Studierenden, der Mobilisierung von Wissen und der Durchführbarkeit. Zu den Bewertungsgremien gehören wissenschaftliche Experten (zur Beurteilung der Qualität der durchgeführten Forschung), der Privatsektor (zur Beurteilung der wirtschaftlichen Bereicherung) und andere Institutionen (zur Messung des kulturellen und sozialen Potenzials der Forschung).

PASRES hat zwei lokale Zeitschriften eingerichtet (eine für Sozialwissenschaften und Linguistik und die andere für Umwelt und Biodiversität) und übernimmt die gesamten Kosten für die Veröffentlichung in diesen. Schließlich finanziert PASRES Aktivitäten zum Kapazitätsaufbau und thematische Konferenzen, um Forschern die Möglichkeit zu geben, ihre Forschung dem privaten Sektor und der Zivilgesellschaft vorzustellen.

Weitere Informationen: Ouattara, A. und Sangaré, Y. 2020. Unterstützende Forschung in Côte d'Ivoire: Prozesse zur Auswahl und Bewertung von Projekten. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Hrsg.), African Minds, S. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Nationales Beispiel: Südafrika

Die Forschungsevaluation in Südafrika (SA) konzentriert sich hauptsächlich auf die Bibliometrie. Seit 1986, als das Department of Higher Education (DHET) eine Politik der Zahlung von Zuschüssen an Universitäten für Forschungspublikationen einführte, die in Zeitschriften akkreditierter Indexe veröffentlicht wurden, stieg die Ausgabe universitärer Forschungspublikationen gleichzeitig mit dem Rand-Wert, der pro Veröffentlichung vergeben wurde. Um Forschungsgelder zu sichern und ihre Karriere voranzutreiben, veröffentlichten südafrikanische Forscher so schnell wie möglich so viele Artikel wie möglich, was zu perversen und unbeabsichtigten Konsequenzen führte.

Die Academy of Science of South Africa (ASSAf) gab einen Bericht über das wissenschaftliche Publizieren im Land (2005–2014) in Auftrag und fand Hinweise auf fragwürdige redaktionelle Praktiken und Raubpublikationen (ASSAf, 2019). Mithilfe eines differenzierten Kategorisierungssystems wurden in den letzten zehn Jahren schätzungsweise 3.4 % aller Artikel als räuberisch eingestuft, wobei die Zahlen seit 2011 noch stärker anstiegen. Als räuberisch eingestufte Zeitschriften wurden in die DHET-Liste „Zur Finanzierung akzeptabel“ aufgenommen. Es wurde festgestellt, dass Wissenschaftler aller südafrikanischen Universitäten beteiligt waren (Mouton und Valentine, 2017).

Der ASSAf-Bericht enthielt Empfehlungen auf systemischer, institutioneller und individueller Ebene und die daraus resultierenden Gegenmaßnahmen seitens des DHET, der NRF und einiger Universitäten scheinen räuberische Praktiken in Südafrika eingedämmt zu haben, wobei die Häufigkeit räuberischer Veröffentlichungen durch südafrikanische Akademiker (in DHET-akkreditierten Fachzeitschriften) im Jahr 2014 ihren Höhepunkt erreichte. 2015 und anschließend rückläufig. Unter Forschern gab es auch Bedenken, dass die DHET-Richtlinien in Südafrika die Zusammenarbeit behindern und den Beitrag von Einzelpersonen in großen Forschungsteams nicht anerkennen, was eine Überarbeitung der Leistungsbeurteilungs-/Forschungsbewertungssysteme erforderlich macht. Die Verwendung des Publikationseinheitensystems wird mittlerweile als schlechter Indikator für die Bewertung der Forschungsqualität und -produktivität sowie für die Auswahl und Förderung von Wissenschaftlern angesehen.

Weitere Informationen:

Akademie der Wissenschaften Südafrikas (ASSAf). 2019. Zwölf Jahre: Zweiter ASSAf-Bericht über Forschungspublikationen in und aus Südafrika. Pretoria, ASSAf.

Mouton, J. und Valentine, A. 2017. Das Ausmaß der von Südafrikanern verfassten Artikel in räuberischen Fachzeitschriften. South African Journal of Science, Bd. 113, Nr. 7/8, S. 1–9.

Mouton, J. et al. 2019. Die Qualität der Forschungspublikationen Südafrikas. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Nationales Beispiel: Nigeria

Universitäten in Nigeria bewerten Forscher in drei Hauptbereichen: Lehre, Forschungsproduktivität und gemeinnützige Dienste. Dabei wird die Forschungsproduktivität stärker gewichtet, wobei der Schwerpunkt auf veröffentlichten, peer-reviewten Forschungsartikeln liegt und die Anzahl und Rollen der Autoren (Erstautorenschaft und/oder Korrespondenzautorenschaft) in diesen Publikationen berücksichtigt werden. Um weltweit wettbewerbsfähiger zu werden, messen die meisten Universitäten den von International Scientific Indexing oder SCOPUS indexierten Zeitschriften mehr Bedeutung bei, um mehr Wert auf Qualität und internationale Zusammenarbeit zu legen. und verwenden Sie den Prozentsatz der Artikel in diesen Zeitschriften als Werbekriterium.

Eine bedauerliche Folge davon ist, dass es vielen Forschern, insbesondere in den Geisteswissenschaften, an ausreichender Finanzierung und/oder Kapazität mangelt, um in diesen Zeitschriften zu veröffentlichen. Stattdessen veröffentlichen sie mehr Rezensionen statt Forschungsartikel, oder sie fühlen sich gezwungen, einflussreiche, erfahrene Kollegen als Co-Autoren einzubeziehen, und zwar aufgrund ihres finanziellen und nicht aufgrund ihres intellektuellen Beitrags. Plagiate nehmen ebenso zu wie Raubveröffentlichungen. Allerdings hat sich das weltweite Ranking der nigerianischen Universitäten insgesamt verbessert, was die Regierung und die Förderagenturen zufrieden stellt und als Erfolg gewertet wird. Nigeria ist in dieser Hinsicht nicht allein.

Die Nigerian Academy of Science hat ihre eigene, von Experten begutachtete Zeitschrift als Flaggschiff-Journal neu etabliert, in der Wissenschaftler (derzeit kostenlos) veröffentlichen und von ihren Institutionen hoch bewertet werden können.

In der Region dominieren hart umkämpfte, auf quantitativen Kennzahlen basierende Bewertungssysteme, wobei anglophone Länder in der Regel Bewertungsrahmen prägen und andere Länder diesem Beispiel folgen. In Australien beispielsweise gebe es ein wettbewerbsfähiges Finanzierungssystem, das auf Bibliometrie und Hochschulrankings basiert: „Sogar die SDGs werden zu Leistungsindikatoren.“ Ähnliche Herausforderungen bestehen in Malaysia und Thailand, und andere ASEAN-Länder werden wahrscheinlich folgen. Eine wichtige Ausnahme bildet China, wo die Regierung eine wichtige Rolle bei der Schaffung großer systemischer Veränderungen spielt, die tiefgreifende Auswirkungen auf die ganze Welt haben könnten (siehe Textkasten).

Erfreulicherweise besteht in der Forschungsgemeinschaft in der Region ein wachsendes Bewusstsein und eine wachsende Besorgnis über die Grenzen der aktuellen Forschungsbewertungssysteme und deren Bedrohung für die Forschungsintegrität. Obwohl sich ECRs, darunter National Young Academies und das ASEAN-Netzwerk junger Wissenschaftler, zusammen mit Basisbewegungen zunehmend für dieses Thema engagieren, haben sie Schwierigkeiten, Gehör zu finden. Regierungs- und Fördergemeinschaften, einschließlich der Universitätsleitung, sind in der Debatte weitgehend abwesend: Sie legen Wert auf quantitative Kennzahlen, sind sich aber der Implikationen für die Forschung nicht bewusst. Tatsächlich berichten Befragte, dass mehr quantitative Kriterien hinzugefügt werden, und zwar in einem Ausmaß, dass Institutionen und Forscher beginnen, das System zu manipulieren, was zu Fehlverhalten in der Forschung führt.

Es gibt jedoch erhebliche Veränderungsmöglichkeiten, wie in den folgenden Textfeldern veranschaulicht.

Nationales Beispiel: China

Heute das forschungsproduktivste Land der Welt (Tollefson, 2018; Statista, 2019) und der zweite in Bezug auf Forschungsinvestitionen (OECD, 2020) hat das, was in China passiert, das Potenzial, einen echten systemischen Wandel herbeizuführen. Eine neue Politik auf Landesebene zielt darauf ab, „den wissenschaftlichen Geist, die Innovationsqualität und den Dienstleistungsbeitrag“ der Forschung wiederherzustellen und „die Rückkehr der Universitäten zu ihren ursprünglichen akademischen Zielen zu fördern“ (AM MEISTEN, 2020). Weder Web of Science-Indikatoren noch die Anzahl der Publikationen und JIFs werden ein vorherrschender Faktor für Evaluierungs- oder Förderentscheidungen sein. Veröffentlichungen in hochwertigen chinesischen Fachzeitschriften werden gefördert und deren Entwicklung unterstützt. In Bewertungsgremien werden „repräsentative Veröffentlichungen“ – also 5 bis 10 ausgewählte Arbeiten statt erschöpfender Listen – gesucht, zusammen mit Kriterien, die den Beitrag der Forschung zur Lösung wichtiger wissenschaftlicher Fragen, zur Bereitstellung neuer wissenschaftlicher Erkenntnisse oder zur Einführung von Innovationen und echten Fortschritten bewerten eines bestimmten Feldes.

Bei der Entwicklung eines Systems zur Bewertung von Forschungsqualität und -exzellenz, das stärker auf die eigenen Bedürfnisse zugeschnitten ist, hat Chinas größte Finanzierungsagentur für Grundlagenforschung, die National Natural Science Foundation of China (NSFC), seit 2018 systematische Reformen durchgeführt, um den Veränderungen in der Wissenschaft Rechnung zu tragen: sich verändernde Globalität Wissenschaftslandschaften, die Bedeutung der Transdisziplinarität, die Verbindung von angewandter und Grundlagenforschung und das Zusammenspiel von Forschung und Innovation (Manfred Horvat, 2018), Weg von der Bibliometrie hin zu einem System, das die lokale Relevanz der Forschung in China stärkt (Zhang und Sivertsen, 2020). Es hat sein Peer-Review-System für die Bewertung von Vorschlägen verbessert, um es besser an die von Neugier getriebene disruptive Forschung, brennende Probleme an den Grenzen der Forschung, exzellente Wissenschaft, die auf wirtschaftliche und soziale Anforderungen angewendet wird, und transdisziplinäre Forschung, die sich mit großen Herausforderungen befasst, anzupassen. Im Jahr 2021 wurden 85 % der Vorschläge anhand dieser Kategorien eingereicht und geprüft. Kürzlich, im November 2022, wurde ein zweijähriger Pilotreformplan für die Bewertung von Talenten in Wissenschaft und Technologie angekündigt, an dem acht Ministerien, zwölf Forschungsinstitute, neun Universitäten und sechs Kommunalverwaltungen beteiligt waren. Ziel ist die Erforschung von Bewertungsindikatoren und -methoden für Talente aus Wissenschaft und Technik, die in verschiedenen Teilen des Innovationssystems tätig sind.

Subregionales Beispiel: Australien und Neuseeland

Sowohl Australien als auch Neuseeland befinden sich derzeit an wichtigen Wendepunkten. In Australien bieten die laufenden gleichzeitigen Überprüfungen des Australian Research Council, der Excellence in Research in Australia und der Gold Open Access-Verhandlungen kumulativ eine Chance (Roß, 2022).

Nach einer öffentlichen Konsultation zur Zukunft der Wissenschaftsfinanzierung entwickelt Neuseeland ein neues systemisches Programm für die Zukunft seines nationalen Forschungs- und Innovationssystems. Sowohl Australien als auch Neuseeland haben zur Entwicklung eines Metriksystems für ihre indigenen Forschungsgruppen beigetragen (CARE-Grundsätze).

Nationales Beispiel: Indien

Das Zentrum für Politikforschung (DST-CPR) des Ministeriums für Wissenschaft und Technologie hat aktuelle Studien zur Forschungsbewertung und ihrer Reform in Indien durchgeführt und Workshops mit wichtigen Interessengruppen (nationale Förderagenturen, Forschungseinrichtungen und Akademien), Interviews und Umfragen geleitet. Es wurde festgestellt, dass sich Universitäten und viele Institutionen von nationaler politischer Bedeutung (wie die Landwirtschaft) fast ausschließlich auf quantitative Kennzahlen konzentrieren, einige Finanzierungsagenturen und Institutionen wie Indian Institutes of Technology jedoch auch eher qualitative Kennzahlen übernommen haben. Dieser eher qualitative Ansatz an Spitzeninstitutionen trägt bereits dazu bei, mehr Gelder in die Forschung zu nationalen Prioritäten umzuleiten, obwohl es noch zu früh ist, um zu sagen, ob er irgendeine quantifizierbare Auswirkung auf die Qualität und Wirkung der Forschung hat.

Der primäre Maßstab für die Bewertung ist ein Peer-Review auf der Grundlage der Meinung eines Expertenausschusses, jedoch erst nach einer ersten Prüfung der Anträge, die ausschließlich auf quantitativen Kennzahlen basiert. Auch bei diesen Ausschüssen bestehen grundlegende Herausforderungen: mangelnde Vielfalt und mangelndes Verständnis für Open-Science-Praktiken, geringe Berücksichtigung der gesellschaftlichen Auswirkungen der Forschung sowie mangelnde Kapazität und Voreingenommenheit. Diese Probleme und Bewertungsmethoden im Allgemeinen sind kaum verstanden und es gibt einen Mangel an Leitlinien und Literatur zu diesem Thema.

Dennoch wächst das Bewusstsein für die Notwendigkeit einer Reform der Forschungsbewertung. Gefördert durch ein DORA-Gemeinschaftsengagement-Stipendium arbeitete die Indian National Young Academy of Sciences mit dem Indian Institute of Science (IISc) und DST-CPR zusammen, um Möglichkeiten zu erkunden, wie die Forschungsbewertung verbessert werden kann – ihre Überlegungen wurden mit wichtigen Interessenvertretern geteilt Ziel ist es, eine landesweite Diskussion über die Notwendigkeit anzuregen, Indiens Forschungskultur zu reformieren und letztendlich zu verändern, damit die Forschung innovativer und/oder gesellschaftlich relevanter wird. DST-CPR beabsichtigt, einen Rahmen für Forschungsexzellenz zu entwickeln, der in sein National Institutional Ranking Framework integriert werden könnte.

Weitere Informationen:

Battacharjee, S. 2022. Erfüllt die Art und Weise, wie Indien seine Forschung bewertet, seinen Zweck? – Die Drahtwissenschaft

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. und Koley, M. 2022. Forschungsbewertung in Indien: Was sollte bleiben, was könnte besser sein? DST-CPR, IISc.

Nationales Beispiel: Japan

Protokolle zur Forschungsbewertung sind in Japan stark dezentraler Natur: Es gibt „Nationale Richtlinien für die Bewertung von Forschung und Entwicklung“, die vom Rat für Wissenschaft, Technologie und Innovation des Kabinettsbüros, dem Ministerium für Bildung, Kultur, Sport, Wissenschaft und Technologie (MEXT) und anderen herausgegeben werden Auch die Ministerien haben eigene Richtlinien entwickelt. Darüber hinaus verfügen Universitäten und Forschungsinstitute über eigene Forschungsbewertungssysteme für Forschung und Forscher, die – wie in vielen Teilen der Welt – an die institutionelle Leistung und die Budgetzuweisung gekoppelt sind.

Es gibt wachsende Bedenken hinsichtlich einer übermäßigen Abhängigkeit von der quantitativen Bewertung. Als Reaktion darauf hat der Wissenschaftsrat Japans vorbereitet eine Empfehlung zur Zukunft der Forschungsevaluation in Japan (2022) fordert eine geringere Betonung quantitativer und mehr qualitativer Maßnahmen, eine stärkere Anerkennung der Forschungsvielfalt und -verantwortung bei der Forschungsbewertung und die Überwachung internationaler Trends bei der Reform der Forschungsbewertungspraktiken. Letztendlich sollten Forschungsinteressen und -förderung im Mittelpunkt der Forschungsbewertung stehen und alle Anstrengungen unternommen werden, um Ermüdung, Demotivation und übermäßigen Druck auf Forscher zu verhindern.

Eine Umfrage von MEXT zu Bewertungsindikatoren ergab, dass der JIF einer von vielen Indikatoren ist und als solcher keinen großen Einfluss auf die japanische Forschung hatte, obwohl dies disziplinabhängig ist: Beispielsweise ist der JIF-Einsatz in den medizinischen Wissenschaften höher – und weniger traditionelle Forschungsaktivitäten wie offene Daten werden seltener evaluiert.

Weitere Informationen: EMPFEHLUNG – Auf dem Weg zur Forschungsbewertung zur Förderung der Wissenschaft: Herausforderungen und Perspektiven für eine wünschenswerte Forschungsbewertung (scj.go.jp)

Zusammenfassend lässt sich sagen, dass es in einigen Regionen, Ländern und Institutionen eine wachsende Dynamik für die Reform der Forschungsbewertung gibt. Zu den hier veranschaulichten Beispielen gehören landesweite Reformen, der Aufbau von Konsortien oder Koalitionen gleichgesinnter Institutionen, die Veränderungen anstreben, die Ausrichtung/Steuerung bestimmter Sektoren sowie Interventionen zur Bekämpfung perverser Anreize und Verhaltensweisen.

Dies ist noch kein kohärenter und umfassender globaler Dialog, und Praktiken und Erkenntnisse werden auch nicht unbedingt offen geteilt. Einige GYA-, IAP- und ISC-Mitglieder sind in diesem Bereich bereits proaktiv und es könnten sinnvolle Möglichkeiten gefunden werden, ihnen dabei zu helfen, ihre Erkenntnisse und bewährten Verfahren untereinander und mit der breiteren Mitgliedschaft zu teilen. Die Einführung des Global Observatory of Responsible Research Assessment (AGORRA) durch das Research on Research Institute (RoRI) später im Jahr 2023 wird eine weitere Plattform für den Austausch von Erkenntnissen, für die vergleichende Analyse nationaler und internationaler Reformsysteme und zur Beschleunigung der beiden bieten. Möglichkeit, gute Ideen über diese Systeme hinweg auszutauschen und zu testen.

In diesem Papier wurden die wichtigsten Treiber, Chancen und Herausforderungen für die Reform der Forschungsbewertung dargelegt und anschauliche Beispiele für Veränderungen auf globaler, regionaler, nationaler und institutioneller Ebene zusammengestellt. Der Zweck besteht darin, GYA, IAP und ISC und ihre jeweiligen Mitglieder als wichtige Mitglieder des globalen Forschungsökosystems zu mobilisieren.

Aufbauend auf der wissenschaftlichen Literatur und der Interessenvertretung des letzten Jahrzehnts lassen sich fünf Hauptschlussfolgerungen ziehen.

1. Die Notwendigkeit, die Art und Weise, wie Forschungspersonen, -institutionen und -ergebnisse bewertet werden, zu überdenken, ist klar und dringend. Die Wahrung der Forschungsintegrität und -qualität, die Maximierung vielfältiger, integrativer und diskriminierungsfreier Wissenschaft und die Optimierung der Wissenschaft für das globale öffentliche Wohl sind wichtige Triebfedern im Kontext einer sich schnell verändernden Welt.

2. Die Art und Weise, wie Forschung in Auftrag gegeben, finanziert, durchgeführt und kommuniziert wird, entwickelt sich rasant weiter. Bewegungen hin zu missionsorientierter und transdisziplinärer Wissenschaft, offene Wissenschaftsrahmen, sich entwickelnde Modelle der Peer-Review, der Einsatz von KI und maschinellem Lernen sowie der rasante Aufstieg sozialer Medien verändern traditionelle Methoden der Durchführung und Kommunikation von Forschung und erfordern ein neues Denken in Bezug auf Forschungsbewertungssysteme und die ihm zugrunde liegenden Kennzahlen und Peer-Review-Prozesse. Um diese Systeme zukunftssicher zu machen, sind weitere und dringende Forschungsarbeiten erforderlich.

3. Es besteht ein Bedarf an ausgewogeneren Forschungsbewertungssystemen mit sowohl quantitativen als auch qualitativen Indikatoren, die verschiedene Formen von Forschungsergebnissen, -prozessen und -aktivitäten bewerten. Allerdings ist die Aussage, dass qualitative Peer-Review-Prozesse mindestens genauso wichtig sind wie die Bibliometrie, nicht einfach und wird dadurch noch komplizierter, dass sich verschiedene Teile der Welt in unterschiedlichen Stadien bei der Entwicklung ihrer Bewertungssysteme befinden: In einigen sind die Debatten über die Reform der Forschungsbewertung recht weit fortgeschritten, in anderen sind sie im Entstehen begriffen oder fehlen.

4. Es bedarf einer konzertierten, wirklich globalen und integrativen Initiative, um wichtige Interessengruppen zu mobilisieren, um kohärente Methoden zur Bewertung und Finanzierung von Forschung zu entwickeln und umzusetzen. voneinander und von anderen Sektoren (insbesondere den Forschungsförderern und Entwicklungsagenturen) lernen. Kollektive, integrative Maßnahmen für einen transformativen Wandel müssen die Vernetzung und nicht die Internationalisierung oder Universalisierung anerkennen, d Homogenität, um kompatible Forschungs- und Finanzierungssysteme und Forschermobilität zu ermöglichen und Divergenz und Fragmentierung zu minimieren. Ein teilweises, exklusives Gespräch birgt die Gefahr, diejenigen, die in der Vergangenheit ausgeschlossen waren, noch weiter zu verzerren und zu benachteiligen.

5. Veränderungen sind auf allen Ebenen erforderlich – global, regional, national und institutionell –, da sich Messdaten durch das gesamte Forschungsökosystem ziehen und alle diese Ebenen miteinander verbunden sind. Alle Beteiligten müssen ihre Rolle als Partner und nicht als Gegner spielen – darunter Geldgeber, Universitäten, Universitäts- und Forschungsinstitutsverbände, zwischenstaatliche Organisationen (IGOs), Regierungen und Regierungsnetzwerke, Akademien, wissenschaftspolitische Entscheidungsträger, Forschungs- und Innovationsmanager und einzelne Forscher. Die GYA-, IAP- und ISC-Mitglieder decken zusammen einen großen Teil dieser reichen Landschaft ab (Abbildung 1, Anhang C).

Abbildung 1: Stakeholder-Karte im Verhältnis zur GYA-, IAP- und ISC-Mitgliedschaft (Klicke zum Zeigen)

Die Zusammenführungskraft von Organisationen wie GYA, IAP und ISC kann dazu beitragen, vielfältige Ansichten und Erfahrungen in weiten Teilen des Forschungsökosystems zusammenzubringen: mit bestehenden und neuen Initiativen zu experimentieren, von ihnen zu lernen und darauf aufzubauen. Entscheidend ist, dass sie sich mit den wichtigsten Interessenvertretern vernetzen können, die Veränderungen herbeiführen – Regierungen, Forschungsförderer und Universitäten sowie wichtige globale Bewegungen wie DORA –, um zur Mobilisierung einer Akteursarchitektur beizutragen. Zusammen können sie als Folgendes dienen:

● Befürworter – Sensibilisierung für Debatten, Entwicklungen und Reformen zur Forschungsbewertung in Anerkennung der Tatsache, dass ihre Mitglieder (i) als Mentoren und Betreuer von Nachwuchskollegen, (ii) als Leiter von Hochschuleinrichtungen, (iii) als Vorstandsmitglieder von Finanzierungs- und Verlagsleitungsgremien fungieren und ( iv) Berater für politische Entscheidungsträger;

● Innovatoren – Erforschung verschiedener Ansätze zur Bewertung von Grundlagenforschung und angewandter Forschung auf integrative und innovative Weise;

● Vorbilder – ihre eigene institutionelle Kultur verändern – ihre Mitgliedschaft, Auszeichnungen, Veröffentlichungs- und Konferenzpraktiken auffrischen und mit gutem Beispiel vorangehen;

● Gutachter – Nutzung der Rolle von Mitgliedern sowohl auf institutioneller als auch auf individueller Ebene, deren Aufgabe es ist, Forscher, Forschung und Institutionen zu bewerten, sowie derjenigen, die Veröffentlichungs-, Redaktions- und Peer-Review-Funktionen innehaben;

● Geldgeber – insbesondere auf die im ISC vertretenen Förderagenturen und Mitglieder, die große nationale und internationale Zuschüsse verwalten und verteilen;

● Mitarbeiter – Unterstützung bereits etablierter Reformkampagnen, z. B. DORA, das CoARA der EU und das Open-Science-Engagement der UNESCO.

Die Autoren dieses Papiers ermutigen die GYA, das IAP und das ISC sowie ähnliche Organisationen, sich auf folgende Weise zu engagieren:

AKTION 1: Lernen und bewährte Verfahren teilen

In diesem Artikel werden Beispiele für Interventionen und Innovationen aus der ganzen Welt hervorgehoben. Raum für den Erfahrungsaustausch und den Aufbau einer starken und integrativen „Koalition der Willigen“ ist von entscheidender Bedeutung.

1.1: Bereitstellung einer Plattform für Mitglieder, die in diesem Bereich bereits proaktiv sind, um ihre Erkenntnisse auszutauschen und strategische Verbindungen aufzubauen, insbesondere auf nationaler Ebene. Verwenden Sie diese Beispiele, um beim Ausfüllen zu helfen DORAs Dashboard [106] des Lernens und der guten Praxis.

1.2: Von Mitgliedern geleitete Entwicklungen in der Forschungsbewertungsreform untersuchen und kartieren, um institutionelle, nationale und regionale Ansätze zu identifizieren und bewährte Praktiken zu finden und auszutauschen. Rufen Sie diejenigen zusammen, die bereits große nationale und internationale Initiativen geleitet bzw. sich daran beteiligt haben, um Interessenvertretung und Lernen in der gesamten Mitgliedschaft aufzubauen.

AKTION 2: Gehen Sie mit gutem Beispiel voran

Die Mitgliedschaft bei GYA, IAP und ISC deckt viele Teile des Forschungsökosystems ab und jeder kann eine wichtige Rolle bei der Gestaltung des Erfolgs als Wissenschaftler spielen.

2.1: Übergang zu fortschrittlicheren Forschungsbewertungsmethoden für die breite Mitgliederschaft. Gehen Sie mit gutem Beispiel voran und tragen Sie dazu bei, die Kultur der Forschungsbewertung durch ihre eigenen Mitgliedschaftsphilosophien und -praktiken zu verändern, während Sie sich dabei auf die Erkenntnisse von DORA und dem GRC stützen. Akademien als traditionell Eliteorganisationen spielen hier eine besondere Rolle – sie sollten ermutigt werden, ihre eigenen Wahl- und Auswahlkriterien zu erweitern, um ein breiteres und pluraleres Verständnis von Forschungsqualität und -wirkung widerzuspiegeln, um diesen Pluralismus (und damit) widerzuspiegeln (es bedeutet mehr Inklusion und Vielfalt) in ihrer Mitgliedschaft.

2.2: Förderung der regionalen Zusammenarbeit und Führung. Ermutigen Sie die regionalen Netzwerke der GYA-Mitglieder und National Young Academies, die regionalen Akademienetzwerke des IAP und die regionalen Focal Points des ISC, eine Nachahmung des ALLEA-Vorstands in Betracht zu ziehen Initiative, zugeschnitten auf ihre jeweiligen Kontexte.

AKTION 3: Bauen Sie strategische Partnerschaften mit wichtigen Zielgruppen auf.

Die drei Hauptakteure, die für die Reform der Forschungsbewertung verantwortlich sind, sind Regierungen, Forschungsförderer und Universitäten. GYA, IAP und ISC können jeweils dazu beitragen, die Forschungsgemeinschaft in ihre Bemühungen zur Reform und Überbrückung der derzeit bestehenden Unstimmigkeiten einzubeziehen.

3.1: Arbeiten Sie mit der GRC-Führung zusammen, um Möglichkeiten der Zusammenarbeit zu erkunden – im Wesentlichen, um Mitglieder und ihre jeweiligen nationalen GRC-Vertreter anzuregen, zu erkunden, wie sich ihre Forschungsgemeinschaften engagieren können.

3.2: Mit globalen und regionalen Universitätsnetzwerken wie der International Association of Universities (IAU) zusammenarbeiten, um neue Schulungsinstrumente für die Forschungsgemeinschaft zu entwickeln; Nutzen Sie die Leitung der Hochschuleinrichtungen innerhalb der kollektiven Mitgliedschaft von GYA, IAP und ISC als Fürsprecher.

3.3: Verbinden Sie Mitgliedsinstitutionen in DORA-Förderländern (Argentinien, Australien, Brasilien, Kolumbien, Indien, Japan, Niederlande, Uganda und Venezuela) mit DORA-Förderleitern, um Ideen auszutauschen und diese lokalen Initiativen möglicherweise auszuweiten.

3.4: Bauen Sie Beziehungen zu führenden internationalen Entwicklungsagenturen auf, die bereits innovative und wirkungsvolle Strategien zur Forschungsbewertung in Ländern mit niedrigem und mittlerem Einkommen sowie in den am wenigsten entwickelten Ländern einsetzen.

3.5: Arbeiten Sie mit der UNESCO zusammen, um die nationalen Forschungsbewertungsverpflichtungen im Rahmen der UNESCO mitzugestalten Empfehlung zu Open Science.

AKTION 4: Bieten Sie eine intellektuelle Führung für die Zukunft der Forschungsbewertung.

Es ist unerlässlich, sich auf spezifische und dringende Herausforderungen für die Reform der Forschungsbewertung zu konzentrieren. GYA, IAP und ISC sowie internationale Netzwerke wie sie können auf ihre jeweiligen Versammlungsbefugnisse, das intellektuelle Gewicht und den Einfluss ihrer Mitglieder sowie auf Verbindungen zu wichtigen Wählergruppen zurückgreifen.

4.1: Gemeinsam mit wichtigen Interessengruppen eine Reihe von Multi-Stakeholder-Diskussionsforen oder „Transformation Labs“ einberufen, um die Reform der Forschungsbewertung zu überdenken und umzusetzen – binden Sie Führungskräfte von Hochschulen und ihre globalen (z. B. IAU und IARU) und regionalen Netzwerke (z. B. LERU und AAU) ein [107 ]), Forschungsförderer (einschließlich nationaler Vertreter des GFK), internationale Entwicklungsagenturen und führende Verlage. Sammeln Sie neue oder nutzen Sie vorhandene Ressourcen, um diese Arbeit zu finanzieren (einige vorläufige Ideen finden Sie in Anhang D).

4.2: Entwickeln Sie eine neuartige Studie zu einem wichtigen Aspekt der zukünftigen Entwicklung der Forschungsbewertung, wie zum Beispiel (1) den Einfluss technologischer Fortschritte auf Forschungsbewertung und Peer-Review (einschließlich Nutzung und Missbrauch) und wie sich diese in Zukunft entwickeln könnten und ( 2) Reform des Peer-Review-Systems im weiteren Sinne (im Hinblick auf Transparenz, Offenheit, Kapazität, Anerkennung und Ausbildung). Beide Aspekte sind für die Verlässlichkeit des Wissens und die Vertrauenswürdigkeit der Wissenschaft von wesentlicher Bedeutung.

Im Mittelpunkt all dieser Bemühungen sollten drei grundlegende Dinge stehen:

• Ausweitung der Bewertungskriterien für wissenschaftliche Forschung und Forscher über traditionelle akademische Maßstäbe hinaus, um mehrere Formen von Forschungsergebnissen und -funktionen einzubeziehen, einschließlich quantitativer Kriterien, die die sozialen Auswirkungen der Forschung messen können.

• Ermutigung von Hochschulleitern und Forschungsförderern, diese neuen Bewertungskriterien als Maß für die Qualität und den Wert der Forschung zu übernehmen und zu fördern.

• Zusammenarbeit mit diesen Führungskräften an neuen Formen der Sensibilisierung und Ausbildung für künftige Generationen von Forschern, um sie mit den notwendigen Fähigkeiten auszustatten, um effektiv mit politischen Entscheidungsträgern, der Öffentlichkeit und anderen wichtigen Interessengruppen zu kommunizieren und zusammenzuarbeiten; und um Vielfalt und Inklusion im Forschungsunternehmen zu fördern.

Die Autoren dieses Papiers kommen zu dem Schluss, dass Netzwerke wie GYA, IAP und ISC zusammen mit anderen wichtigen Interessengruppen und deren Unterstützung dazu beitragen können, eine kohärente, partizipative, globale Initiative aufzubauen, um Forschungsgemeinschaften, Universitäten und andere Hochschulen rund um diese Agenda zu mobilisieren und zu berücksichtigen Wie können neue Methoden zur Bewertung und Finanzierung von Forschung umgesetzt werden, um sie effizienter, fairer, integrativer und wirkungsvoller zu machen?

Herunterladen

Dieses Papier wurde von den Mitgliedern der GYA-IAP-ISC Scoping Group verfasst, die zeitweise zwischen Mai 2021 und Februar 2023 arbeitete (weitere Einzelheiten in Anhang A):

• Sarah de Rijcke (Vorsitzende, Niederlande)

• Clemencia Cosentino (USA)

• Robin Crewe (Südafrika)

• Carlo D'Ippoliti (Italien)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Malaysia)

• Laura Rovelli (Argentinien)

• David Vaux (Australien)

• Yao Yupeng (China)

Die Arbeitsgruppe dankt Tracey Elliott (ISC Senior Consultant) für ihre Koordinierungs- und Entwurfsarbeit. Dank geht auch an Alex Rushforth (Centre for Science and Technology Studies (CWTS), Universität Leiden, Niederlande) und Sarah Moore (ISC) für zusätzlichen Input und Unterstützung.

Die Arbeitsgruppe dankt auch allen, die bei der Erstellung dieses Papiers konsultiert wurden (Anhang B), die ihre Zeit geopfert und ihre Sichtweisen zur Forschungsbewertung in ihren jeweiligen Ländern und Regionen geteilt haben, sowie den vom GYA nominierten Gutachtern. IAP und ISC:

• Karina Batthyány, Geschäftsführerin, Lateinamerikanischer Rat der Sozialwissenschaften (CLACSO) (Uruguay)

• Richard Catlow, Forschungsprofessor, University College London (UK)

• Sibel Eker, Assistenzprofessorin, Radbound University (Niederlande)

• Encieh Erfani, wissenschaftliche Forscherin, Internationales Zentrum für Theoretische Physik (Iran, Italien)

• Motoko Kotani, Executive Vice-President, Riken (Japan)

• Pradeep Kumar, Professor und leitender Forscher, University of Witwatersrand (Südafrika)

• Boon Han Lim, außerordentlicher Professor, Universität Tinku Abdul Rahman (UTAR) (Malaysia)

• Priscilla Kolibea Mante, Dozentin, Kwame Nkrumah University of Science and Technology (KNUST) (Ghana)

• Alma Hernández-Mondragón, Präsidentin der mexikanischen Vereinigung zur Förderung der Wissenschaft (AMEXAC) (Mexiko)

• Khatijah Mohamad Yusoff, Seniorprofessor, University of Putra Malaysia (UPM) (Malaysia)

1. UNESCO. 2021. UNESCO-Wissenschaftsbericht: Der Wettlauf gegen die Zeit für eine intelligentere Entwicklung (Kapitel 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Die Royal Society. (2012). Wissenschaft als offenes Unternehmen. Das Wissenschaftspolitische Zentrum der Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. und Larivière, V. 2014. Der Einsatz bibliometrischer Daten zur Bewertung von Forschung: Möglichkeiten, Grenzen und nachteilige Auswirkungen. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (Hrsg.), Incentives and Performance, Cham, Springer, S. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW und Glasziou, P. 2014 . Biomedizinische Forschung: Mehrwert steigern, Abfall reduzieren. The Lancet, Bd. 383, Nr. 9912, S. 101–104.

5. Bol, T., de Vaan, M. und van de Rijt, A. 2018. Der Matthew-Effekt in der Wissenschaftsfinanzierung. Proceedings of the National Academy of Sciences of the United States of America, Bd. 115, Nr. 19, S. 4887–4890.

6. Internationaler Wissenschaftsrat. 2021. Öffnung der Aufzeichnungen der Wissenschaft: Damit wissenschaftliches Publizieren für die Wissenschaft im digitalen Zeitalter funktioniert. Paris, Frankreich, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. und de Ricke, S. 2017. Denken mit Indikatoren. Erforschung der epistemischen Auswirkungen akademischer Leistungsindikatoren in den Biowissenschaften. Forschungsbewertung, Bd. 26, Nr. 3, S. 157–168.

8. Ansede, M. 2023. Einer der weltweit am häufigsten zitierten Wissenschaftler, Rafael Luque, wurde für 13 Jahre ohne Bezahlung suspendiert. El País. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Bekämpfung räuberischer wissenschaftlicher Zeitschriften und Konferenzen. Triest, Italien, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM und Negra, D. 2022. Wahrnehmungen zur Verbreitung und Auswirkung räuberischer akademischer Zeitschriften und Konferenzen: eine globale Umfrage unter Forschern. Learned Publishing, Bd. 3, Nr. 4, S. 516–528.

11. Collyer, TA 2019. „Salamischneiden“ hilft der Karriere, schadet aber der Wissenschaft. Nature Human Behaviour, Bd. 3, S. 1005–1006.

12. Abad-García, MF 2019. Plagiate und Raubzeitschriften: eine Bedrohung für die wissenschaftliche Integrität. Anales De Pediatría (englische Ausgabe), Bd. 90, Nr. 1, S. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI und Adegboyega, K. 2013. Periphere Wissenschaft und der Kontext des im Ausland bezahlten Publizierens in Nigeria. Aktuelle Soziologie, Bd. 62, Nr. 5, S. 666–684.

14. Ordway, D.-M. 2021. Wissenschaftliche Fachzeitschriften und Journalisten verbreiten Fehlinformationen im Umgang mit Forschungsrückzügen. Die Ressource des Journalisten. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. und Wilsdon, J. 2020. Die sich verändernde Rolle von Geldgebern bei der Bewertung verantwortungsvoller Forschung: Fortschritte, Hindernisse und der Weg voraus. London, Großbritannien, Research on Research Institute.

16. Der globale Norden bezieht sich im Allgemeinen auf industrialisierte oder entwickelte Volkswirtschaften gemäß der Definition der Vereinten Nationen (2021), während sich der globale Süden auf Volkswirtschaften bezieht, die neu industrialisiert sind oder sich im Prozess der Industrialisierung oder Entwicklung befinden und die häufig aktuell sind oder ehemalige Subjekte des Kolonialismus.

17. InterAcademy-Partnerschaft. Sitzung 12: Von größerer Inklusion profitieren: Beziehung zwischen Vielfalt und akademischer Kultur. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Globale junge Akademie. Arbeitsgruppe für wissenschaftliche Exzellenz. Berlin, Deutschland, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Wissenschaft entfesseln: Missionen für Nachhaltigkeit erfüllen. Paris, Frankreich, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Ein Auszug aus Peter Gluckmans Rede beim Endless Frontier Symposium. Paris, Frankreich. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. und Pinto, D. 2021. Ein Werkzeug für die transdisziplinäre Forschungsplanung und -bewertung. Einblicke in Integration und Implementierung. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR und Zornes, DA 2016. Definition und Bewertung der Forschungsqualität in einem transdisziplinären Kontext. Forschungsbewertung, Bd. 25, Nr. 1, S. 1–17.

23. Wilsdon, J. et al. 2015. The Metric Tide: Bericht der unabhängigen Überprüfung der Rolle von Metriken bei der Bewertung und dem Management von Forschung. HEFCE.

24. UNESCO. UNESCO-Empfehlung zu Open Science. Paris, Frankreich, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Eine UNESCO-Quelle gab an, dass diese Arbeit derzeit auf Eis liegt, da die Debatte nur von wenigen dominiert wird und nicht unbedingt bei vielen Anklang findet: Der Entwicklung von Empfehlungen muss ein umfassender Dialog vorausgehen.

26. Barroga, E. 2020. Innovative Strategien für Peer-Review. Journal of Korean Medical Science, Bd. 35, Nr. 20, S. e138.

27. Woods, HB, et al. 2022. Innovationen im Peer-Review im wissenschaftlichen Publizieren: eine Meta-Zusammenfassung. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB und Brumberg, J. 2022. Peer-Review innovieren, wissenschaftliche Kommunikation neu konfigurieren: Ein analytischer Überblick über laufende Peer-Review-Innovationsaktivitäten. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. und Wilsdon, J. 2022. Gute Praxis beim Einsatz von maschinellem Lernen und KI durch Forschungsförderorganisationen: Erkenntnisse aus einer Workshop-Reihe. London, Großbritannien, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. und Jones, E. 2020. Forschung 4.0 Forschung im Zeitalter der Automatisierung. London, Großbritannien, DEMOS.

31. Baker, M. 2015. Intelligente Software erkennt statistische Fehler in psychologischen Arbeiten. Natur, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Die Forscher nutzen KI zur Analyse von Peer-Reviews. Natur 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. und Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. KI-basierte Tools zur Zitatbewertung: gut, schlecht oder hässlich? Der Bibliomagier. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. und Gipp, B. 2020. Akademische Plagiatserkennung: eine systematische Literaturrecherche. ACM Computing Surveys, Bd. 52, Nr. 6, S. 1–42.

36. Quach, K. 2022. Verleger nutzen KI, um schlechte Wissenschaftler zu erwischen, die Daten manipulieren. Das Register. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R und Bockting, C. 2023. ChatGPT: fünf Prioritäten für die Forschung. Natur, Bd. 614, S. 224–226.

38. Chawla, D. 2022. Sollte KI eine Rolle bei der Bewertung der Forschungsqualität spielen? Natur, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Künstliche Intelligenz wählt Fördergutachter in China aus. Natur, Bd. 569, S. 316–317.

40. Mike, T. 2022. Kann die Qualität veröffentlichter wissenschaftlicher Zeitschriftenartikel mit maschinellem Lernen beurteilt werden? Quantitative Science Studies, Bd. 3, Nr. 1, S. 208–226.

41. Chomsky, N., Roberts, I. und Watumull, J. 2023. Das falsche Versprechen von ChatGPT. Die New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Klären. 2022. Forschungsbewertung: Ursprünge, Entwicklung, Ergebnisse. Klären. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ und Zwitter, A. 2022. Kriminalität durch künstliche Intelligenz: ein Überblick über die böswillige Nutzung und den Missbrauch von KI. IEEE Access, Bd. 10, S. 77110–77122.

44. Castelvecchi, D. 2019. KI-Pionier: „Die Gefahren des Missbrauchs sind sehr real.“ Natur, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Wahrnehmung von Wissenschaftlern zu Forschungswirkung und Engagement durch Interaktionen auf Social-Media-Plattformen. Lernen, Medien und Technologie, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. und Costas, R. 2019. Social-Media-Metriken für die Bewertung neuer Forschungsergebnisse. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (Hrsg.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. und Stirling, A. 2020. Entwicklung von Indikatoren zur Öffnung der Evaluierung. Erkenntnisse aus der Forschungsbewertung. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. und Baul, J. 2022. Zurück zu den Grundlagen. Halle, Deutschland, Global Young Academy.

49. Jong, L., Franssen, T. und Pinfield, S. 2021. Exzellenz im Forschungsökosystem: Eine Literaturübersicht. London, Großbritannien, Research on Research Institute.

50. Hatch, A. und Curry, S. 2020. Forschungskultur: Es ist schwierig, aber nicht unmöglich, die Art und Weise zu ändern, wie wir Forschung bewerten. eLife, Bd. 9, S. e58654.

51. IAP. 2022. Bekämpfung räuberischer wissenschaftlicher Zeitschriften und Konferenzen. Triest, Italien, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. und Rafols, I. 2015. Bibliometrie: Das Leidener Manifest für Forschungsmetriken. Natur, Bd. 520, S. 429–431.

53. Publons. 2018. Globaler Stand der Peer-Review. London, Großbritannien, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. und Trinquart, L. 2016. Die globale Belastung durch Zeitschriften-Peer-Review in der biomedizinischen Literatur: starkes Ungleichgewicht im kollektiven Unternehmen. PLoS ONE, Bd. 11, Nr. 11, S. e0166387.

55. Forrester, B. 2023. Die Nase voll und ausgebrannt: „Stilles Aufgeben“ trifft die Wissenschaft. Natur, Bd. 615, S. 751–753.

56. Hatch, A. und Curry, S. 2020. Forschungskultur: Es ist schwierig, aber nicht unmöglich, die Art und Weise zu ändern, wie wir Forschung bewerten. eLife, Bd. 9, S. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. und Dirnagi, U. 2020. The Hong Kong-Prinzipien zur Beurteilung von Forschern: Förderung der Forschungsintegrität. PLoS Biology, Bd. 18, Nr. 7, S. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. und Kerridge, S. 2015. The Metric Tide: Bericht der unabhängigen Überprüfung der Rolle von Metriken bei der Bewertung und dem Management von Forschung. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. und Wilsdon, J. 2022. Die metrische Flut nutzen: Indikatoren, Infrastrukturen und Prioritäten für die Bewertung verantwortungsvoller Forschung im Vereinigten Königreich. London, Großbritannien, Research on Research Institute.

60. Nature Editorial. 2022. Unterstützen Sie Europas mutige Vision einer verantwortungsvollen Forschungsbewertung. Natur, Bd. 607, S. 636.

61. Erklärung zur Forschungsbewertung (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. und Rafols, I. 2015. Bibliometrie: Das Leidener Manifest für Forschungsmetriken. Natur, Bd. 520, S. 429–431.

63. Curry, S., Gadd, E. und Wilsdon, J. 2022. Die metrische Flut nutzen: Indikatoren, Infrastrukturen und Prioritäten für die Bewertung verantwortungsvoller Forschung im Vereinigten Königreich. London, Großbritannien, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. Erklärung von San Francisco zur Forschungsbewertung. https://sfdora.org/read/

65. DORA. Tools zur Förderung der Forschungsbewertung. DORA. https://sfdora.org/project-tara/

66. DORA. DORA Community Engagement Grants: Unterstützung der Reform der akademischen Bewertung https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Unnormen. SCOPE-Rahmen für Forschungsbewertung. https://inorms.net/scope-framework-for-research-evaluation/

68. Unnormen. Das SCOPE-Framework. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Internationales Entwicklungsforschungszentrum. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. und Grant, L. 2019. Ethisches Handeln in der globalen Forschung: Ein Toolkit. Edinburgh, Schottland, Universität Edinburgh. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Theorien des Wandels in der internationalen Entwicklung: Kommunikation, Lernen oder Rechenschaftspflicht? Die Asien-Stiftung. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. und Dias, SM 2021. Verantwortungsvolle Forschungsbewertung. Globaler Forschungsrat. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Der Global Research Council. GRC Responsible Research Assessment. Youtube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. und Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. London, Großbritannien, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Globaler Forschungsrat. Arbeitsgruppe für verantwortliche Forschungsbewertung. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Globale junge Akademie. Wissenschaftliche Exzellenz. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. und Williams, K. 2022. Forschungsbewertung: Ursprünge, Evolution, Ergebnisse. Institut für wissenschaftliche Information. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Ressourcenbibliothek. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. und Lakoduk, A. 2021. Reimagining Academic Career Assessment: Geschichten über Innovation und Wandel. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Koalition zur Förderung der Forschungsbewertung (CoARA). https://coara.eu/

81. CoARA. 2022. Vereinbarung zur Reform der Forschungsbewertung. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Nature Editorial. 2022. Unterstützen Sie Europas mutige Vision einer verantwortungsvollen Forschungsbewertung. Natur, Bd. 607, S. 636.

83. Offene und universelle Wissenschaft. OPUS Home – Open and Universal Science (OPUS) Projekt. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS auf dem Weg zu einer verantwortungsvolleren Forschungsbewertung. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Europäischer Forschungsrat. 2022. Der Wissenschaftliche Rat des ERC beschließt Änderungen an den Bewertungsformularen und -prozessen für die Ausschreibungen 2024. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Alle europäischen Akademien. 2022. ALLEA-Erklärung zur Reform der Forschungsbewertung innerhalb der europäischen Akademien. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA und GYA. 2022. Gemeinsame Erklärung zu den Schlussfolgerungen des EU-Rats zur Forschungsbewertung und zur Umsetzung von Open Science. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Ein Weg zu mehrdimensionalen akademischen Karrieren – Ein LERU-Rahmen für die Bewertung von Forschern. LERU, Löwen, Belgien. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Königliche Gesellschaft. Lebenslauf für Forscher. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Erzählen narrative Lebensläufe die richtige Geschichte? Times Higher Education (THE). https://www.timeshighereducation.com/ Depth/do-narrative-cvs-tell-right-story

91. RICYT. Forscher nach Beschäftigungssektor (FTE) 2011–2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Bewertung der wissenschaftlichen Forschungsbewertung. Auf dem Weg zu einer Transformation der wissenschaftlichen Forschungsbewertung in Lateinamerika und der Karibik, Reihe vom Lateinamerikanischen Forum für Forschungsbewertung (FOLEC). CLACSO, Buenos Aires, Argentinien. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Auf dem Weg zu einer Transformation der Evaluierungssysteme in Lateinamerika und der Karibik, Instrumente zur Förderung neuer Evaluierungsrichtlinien. Reihe des Lateinamerikanischen Forums für Forschungsbewertung (FOLEC). CLACSO, Buenos Aires, Argentinien. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. An Entwicklungsproblemen orientierte Formen der Forschungsbewertung. Praktiken und Perspektiven nationaler Wissenschafts- und Technologieorganisationen und Hochschuleinrichtungen in Lateinamerika und der Karibik. FOLEC. CLACSO, Buenos Aires, Argentinien. 2022_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO ist der Rat für Sozialwissenschaften in der Region und ein führender Verfechter sozial relevanter und verantwortungsvoller Wissenschaft. Das Lateinamerikanische Forum zur Forschungsbewertung (FOLEC) ist ein regionaler Raum für Debatten und den Austausch bewährter Verfahren und entwickelt regionale Leitlinien für die Forschungsbewertung, um diese Grundsätze zu unterstützen. Beide bieten eine starke regionale Führung.

96. SGCI. Science Granting Councils Initiative (SGCI) in Subsahara-Afrika. https://sgciafrica.org/

97. SGCI. Tijssen, R. und Kraemer-Mbula, E. 2017. Policy Brief: Perspektiven auf Forschungsexzellenz im globalen Süden – Bewertung, Überwachung und Evaluierung im Kontext von Entwicklungsländern. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- Länderkontexte.pdf

98. Tijssen, R. und Kraemer-Mbula, E. 2018. Forschungsexzellenz in Afrika: Richtlinien, Wahrnehmungen und Leistung. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. und Kraemer-Mbula, E. 2018. Forschungsexzellenz in Afrika: Richtlinien, Wahrnehmungen und Leistung. Wissenschaft und öffentliche Ordnung, Bd. 45 Nr. 3, S. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Good-Practice-Leitfaden zur Qualität von Forschungswettbewerben. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. Die NRF veranstaltet strategische Treffen zur Förderung von Forschungspartnerschaften in Afrika – Nationale Forschungsstiftung

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR und Zornes, DA 2016. Definition und Bewertung der Forschungsqualität in einem transdisziplinären Kontext, Research Evaluation, Bd. 25, S. 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Kennzahlen für Wissenschaft, Technologie und Innovation (STI) – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. und Feinstein O. 2022. Research Quality Plus (RQ+) – Forschung anders bewerten. Ottawa, Internationales Entwicklungsforschungszentrum. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Internationale Akademie für Überwachung und Bewertung

106. DORA. TARA-Dashboard. https://sfdora.org/tara-landing-page/

107. IARU, International Association of Research-Intensive Universities; LERU, Liga Europäischer Forschungsuniversitäten; AAU, Afrikanischer Universitätsverband