Metrike za vrednotenje znanstvenega vpliva

Če si izposodim besede svojega znanca, je “naš sistem ocenjevanja znanstvene odličnosti tako obseden s točkovanjem“, da je tale prispevek na prvi pogled odveč. Vsi vemo, kaj v slovenski znanosti zares šteje – SICRIS točke. In vsi vemo, kako se SICRIS točke izračunavajo – na podlagi faktorja vpliva. Ker pa mnogokoga (vključno z mano) ta točkokracija moti, je koristno, če se seznanimo še s kakšno drugo metriko za vrednotenje raziskovalne uspešnosti in znanstvenih objav. Vsaj dokler čakamo, da se katera od slovenskih institucij opogumi podpisati Sanfranciško deklaracijo o vrednotenju raziskovalne dejavnosti (DORA), ki jo je do dneva objave tega prispevka podpisalo že 1267 organizacij in 13.936 posameznikov.

1) Faktor vpliva (Clarivate Analytics)

Vseeno začnimo najprej na začetku. Oče faktorja vpliva (impact factor) je bil ameriški jezikoslovec in poslovnež Eugene Garfield (1925–2017), ki je med drugim zasnoval še Science Citation Index (SCI) in Journal Citation Reports (JCR) ter ustanovil časopis The Scientist. Garfield je ustanovil tudi Institute for Scientific Information (ISI), ki ga je leta 1992 prevzela Thomson Corporation (zdaj Thomson Reuters), nato pa leta 2016 njegov oddelek za znanost in intelektualno lastnino odcepila v samostojno podjetje Clarivate Analytics. Garfieldovo delo je vodilo tudi do razvoja različnih algoritmov za pridobivanje informacij, kot je npr. Googlov PageRank.

Faktor vpliva je določen kot povprečno število citatov, ki ga je prejel tipičen članek v določeni znanstveni reviji v preteklih dveh letih. Izračunan je kot preprost ulomek, v katerem je števec vrednost, kolikokrat so članki, objavljeni v določenem letu, citirali članke, objavljene v dveh letih pred tem; imenovalec pa je celokupno število objav v tistih dveh letih, ki jih je mogoče citirati (izključuje npr. uvodnike in pisma urednikom). Faktorje vpliva za vsako preteklo leto objavlja Clarivate Analytics v svojem Journal Citation Reports.

formila za izračun faktorja vpliva

Formula za izračun faktorja vpliva (vir: Wikipedia)

Faktorji vpliva so odvisni od znanstvenega področja, zato znanstvenih revij z različnih področij glede na faktor vpliva ni mogoče primerjati. Zavedati se je treba tudi, da zelo odmevni članki zvišujejo povprečni faktor vpliva revije. V reviji Nature je npr. leta 2004 90 % faktorja vpliva temeljilo na zgolj četrtini objavljenih člankov, torej je bil povprečni članek citiran manjkrat, kot bi se dalo sklepati iz faktorja vpliva. Uredniki zato včasih uporabijo strategije, s katerimi lažno zvišujejo faktorje vpliva svoje revije; več o tem si lahko preberete na Wikipedii in v povezanih virih. Mnoge znanstvene iniciative zato pozivajo k opustitivi faktorja vpliva kot merila za ocenjevanje raziskovalcev ali raziskovalnih programov.

2) 5-letni faktor vpliva (Clarivate Analytics)

Izračun 5-letnega faktorja (5-year impact factor) vpliva se od izračuna običajnega faktorja vpliva razlikuje v tem, da se upošteva obdobje preteklih petih let. V nekaterih disciplinah je namreč število citatov tako majhno, da krajša obdobja ne omogočajo verodostojnih primerjav. Drugi razlog je lahko, da raziskave trajajo tako dolgo, da sta za objavo članka potrebni več kot dve leti. To še podaljša čas, preden drugi znanstveniki citirajo določen članek.

3) Eigenfactor® in Article Influence® (Eigenfactor® Project)

Metriko Eigenfactor® sta leta 2007 zasnovala raziskovalca Jevin West in Carl Bergstrom z Univerze v Washingtonu. Temelji na prepričanju, da so citati iz višje rangiranih revij pomembnejši in vplivnejši kot tisti iz nižje rangiranih revij. Eigenfactor® pomembnost določene znanstvene revije rangira na podlagi števila prejetih citatov v preteklih petih letih, ki jih pridobi iz baze Journal Citation Reports. Algoritmi za izračun te metrike so natančno opisani in javno dostopni tukaj. Metrika Eigenfactor® naj bi bila bolj robustna od faktorja vpliva, saj slednji upošteva samo število prejetih citatov, ne pa tudi njihove pomembnosti.

Poenostavljeno povedano Eigenfactor® znanstvene revije rangira na podlagi vseh prejetih citatov, pri čemer citati iz višje rangiranih revij prejmejo dodatno utež, da se poveča njihov vpliv na metriko v primerjavi z nižje rangiranimi revijami. Eigenfactor® je tudi premo sorazmeren z “velikostjo” znanstvene revije; tj. se podvoji, če revija podvoji število izdanih člankov. Metrika je umerjena tako, da se vrednosti Eigenfactor® vseh revij v bazi Journal Citation Reports seštejejo do vrednosti 100. Če ima torej neka revija Eigenfactor® 1,0, ima med vsemi indeksiranimi publikacijami 1 % vpliv. Najvišji Eigenfactor® med vsemi revijami ima Nature, in sicer je npr. leta 2013 imela Eigenfactor® 1,603.

Metrika Article Influence® je določena kot razmerje med vrednostjo Eigenfactor® in deležem vseh člankov v določeni znanstveni reviji, ki so bili zabeleženi v Journal Citation Reports. Article Influence® torej meri povprečen vpliv posameznega članka v določeni reviji. Vrednosti Article Influence® so normalizirane tako, da ima povprečen članek v bazi Journal Citation Reports vrednost 1,0.

Obe navedeni metriki izključujeta avtocitate.

4) SNIP (Elsevier)

Metriko SNIP (source-normalized impact per paper) je leta 2012 vpeljal Elsevier na podlagi svoje bibliografske baze Scopus, da bi izmeril kontekstualni vpliv publikacij. SNIP je ulomek, ki obtežuje citate glede na skupno število citatov na določenem raziskovalnem področju, s čimer omogoča primerjavo virov med različnimi področji. Določenemu citatu se pripiše višja vrednost na področjih, kjer je verjetnost za citiranje manjša, in obratno.

V števcu je vrednost, imenovana “vpliv publikacije” (impact per publication, IPP), ki je določena kot povprečno število citatov v nekem letu, ki jih je publikacija prejela v predhodnih treh letih. V imenovalcu je vrednost, imenovana “citacijski potencial podatkovne baze” (Database Citation Potential, DCP). Elsevier za vsako od svojih znanstvenih revij izračuna indikator citacijskega potenciala na raziskovalnem področju, ki ga revija pokriva (a ne pojasnjuje, kako), saj se raziskovalna področja zelo razlikujejo po frekvenci, s katero raziskovalci citirajo članke. Citacijski potencial se poleg tega razlikuje tudi med revijami znotraj istega raziskovalnega področja: bazične revije imajo npr. višji citacijski potencial od aplikativnih, revije z na novo vzpostavljenih področij pa višjega od revij z že uveljavljenih področij ali bolj splošnih revij.

Namen metrike SNIP je, da bi avtorjem pomagala razbrati, katere znanstvene revije se najbolje odrežejo na njihovem raziskovalnem področju, ter se tako odločiti, kam bodo svoje članke poslali v objavo.

5) SCImago Journal Rank (SCImago Lab)

SCImago Journal Rank (SJR) je metrika, ki jo le leta 2012 zasnoval SCImago Lab, podjetje, v katerega so vključeni raziskovalci z različnih španskih univerz, inštitutov in raziskovalnih agencij. Tako kot faktor vpliva tudi SJR meri, kolikokrat je citiran povprečen članek v določeni reviji. Za razliko od faktorja vpliva, ki vse citate vrednoti enako, SJR vsakemu citatu pripiše vrednosti, manjše ali večje od 1,00, odvisno od vplivnosti revije, iz katere izhaja citat. Uteži so izračunane na podlagi triletnega okna podatkov v Elsevierjevi bazi Scopus. Celoten postopek je podoben Googlovemu algoritmu PageRank.

Citati iz višje rangiranih revij imajo torej večjo težo kot citati iz nižje rangiranih revij. Ta faktor “pomembnosti” je izračunan rekurzivno, tj. kot pomembne bodo določene tiste revije, ki bodo prejele veliko citatov s strani drugih pomembnih revij. Tako kot SNIP je tudi SJR namenjen avtorjem olajšati odločitev, v katerih revijah objavljati. Kako se znanstvene revije rangirajo glede na SJR, si lahko ogledate tukaj.

6) h-indeks

h-indeks je leta 2005 predlagal Jorge E. Hirsch, fizik z UC San Diego, kot orodje za primerjavo relativne kakovosti objav posameznega raziskovalca. h-indeks se običajno uporablja kot merilo znanstvene produktivnosti in znanstvenega vpliva oseb, vendar pa se lahko uporablja tudi za vrednotenje znanstvenih revij in celo držav.

h-indeks je definiran kot največje število člankov, h, ki so bili vsaj h-krat citirani. Njegov namen je, da bi izboljšal natančnost drugih metrik, kot je celokupno število citatov ali publikacij. Z njim se lahko primerja samo raziskovalce oz. druge enote z istega raziskovalnega področja, saj se pogostost citiranja med področji zelo razlikuje.

izračun h-indeksa

Izračun h-indeksa (vir: Wikipedia)

Vrednost h-indeksa je mogoče zmanipulirati z avtocitati, v Google Učenjaku celo s pomočjo strojno generiranih psevdoznanstvenih besedil, kot jih npr. proizvaja SCIgen.

7) g-indeks

g-indeks je alternativa h-indeksu, ki jo je leta 2006 predlagal bibliometrik Leo Egghe z Univerze v Hasseltu. g-indeks je definiran kot največje število člankov, g, ki so skupno prejeli vsaj g2 citatov. Z drugimi besedami, povprečno število citatov v najbolj citiranih g člankih je enako g. Vrednost g je vedno najmanj enaka h, običajno pa je višja.

izračun g-indeksa

Izračun g-indeksa (vir: Wikipedia)

Po Egghejevih besedah ima g-indeks vse pozitivne lastnosti h-indeksa, hkrati pa bolj poudari vpliv najbolj citiranih publikacij nekega raziskovalca. S tem je raziskovalce mogoče še bolj natančno razvrščati po odmevnosti.

8) Indeks i10 (Google)

To je zelo preprost indeks, ki predstavlja število člankov določenega avtorja z vsaj 10 citati. Pri raziskovalcih, ki so si ustvarili profile v Google Učenjaku, je prikazan poleg njihovega h-indeksa.

9) CiteScore (Elsevier)

CiteScore je še ena od metrik na podlagi Elsevierjeve baze Scopus, uvedena leta 2016, ki meri povprečno število citatov, ki jih prejme posamični dokument, objavljen v neki znanstveni reviji. CiteScore je ulomek, kjer je števec število citatov v določenem letu, ki jih je revija prejela za dokumente, objavljene v preteklih treh letih; imenovalec pa je celokupno število dokumentov, objavljenih v tej reviji v preteklih treh letih, z izjemo člankov v tisku (articles in press). Elsevier na podlagi te metrike uvaja še razne izpeljanke, kot sta npr. CiteScore Percentile in CiteScore Quartiles.

Ste v prejšnjem odstavku opazili besedo “dokumenti”? Avtorja metrike Eigenfactor® sta ugotovila, da Elsevier v izračun CiteScore ne šteje samo znanstvenih člankov, pač pa tudi novice, uvodnike in podobne dokumente. Zaradi tega metrika močno favorizira Elsevierjeve lastne revije v primerjavi z, na primer, revijami Nature Publishing Group, ki vsebujejo več takšnih dokumentov na posamezno številko. Celotno analizo tega pojava si lahko preberete tukaj.

10) diamScore (diamScience)

Metriko diamScore sta leta 2015 zasnovala raziskovalca Fabien Cornillier in Vincent Charles. diamScore je merilo vpliva znanstvenih revij, ki temelji na rekurzivnem uteževanju citatov ter parnih primerjavah med revijami. Rezultat je podoben rangiranju revij glede na ekspertna mnenja. Na diamScore temelječo lestvico revij si je mogoče ogledati na spletni strani diamScience (ki pa je bila žal nazadnje posodobljena leta 2015).

Spletna stran uvaja pojem Area Score, ki predstavlja vpliv povprečnega članka, objavljenega v neki znanstveni reviji. Area Score je neodvisen od števila člankov v tej reviji, odvisen pa je od števila vzajemnih citatov med dvema revijama, pri čemer pripisuje večjo težo citatom iz prestižnejše revije. Izključuje tudi avtocitate in strateške manipulacije citatov. Algoritem diamScore je normaliziran, tako da ima povprečen Area Score vrednost 1,00. Če ima npr. revija A Area Score 1,60, revija B pa 0,40, je njun povprečen Area Score 1,00, vendar je povprečen članek v reviji A štirikrat vplivnejši od povprečnega članka v reviji B. Podatki za izračun Area Score so bili pridobljeni iz Journal Citation Reports za leto 2013.

diamScore je primeren za primerjavo revij samo znotraj istega raziskovalnega področja. Zato je spletna stran razdeljena na 266 vnaprej določenih področij, ki temeljijo na Journal Citation Reports. Namen diamScore je enak kot namen metrik SNIP in SJR.

11) RG Score (ResearchGate)

RG Score je metrika, s katero ResearchGate ocenjuje raziskovalce, ki imajo ustvarjene profile na tem socialnem omrežju. Kot pravijo pri ResearchGate, naj bi RG Score meril znanstveni ugled v odvisnosti od tega, kako delo posameznega raziskovalca sprejemajo njegovi vrstniki. RG Score je izračunan na podlagi vseh prispevkov, ki jih raziskovalci delijo preko omrežja ali objavijo na svojih profilih, vključno z objavljenimi članki, neobjavljenimi podatki, projekti, vprašanji in odgovori.

Algoritem, ki ga uporablja ResearchGate, ovrednoti, kdo so raziskovalci, ki interagirajo s profilom nekega drugega raziskovalca, ter kako sprejemajo in ocenjujejo objavljene prispevke. Višji kot je njihov RG Score, bolj se bo zvišal RG Score raziskovalca, s katerim so v stiku (to spet spominja na Googlov PageRank). Nizkokakovostne objave, ki v znanstveni skupnosti ne pritegnejo pozornosti in pozitivnih povratnih informacij, k RG Score ne prispevajo bistveno.

12) Altmetrike

To pa je tema za naslednji prispevek. 🙂

Glavni viri: Elsevier Journal Insights, Wikipedia (faktor vpliva, razvrščanje znanstvenih publikacij, h-indeks, g-indeks)

[Nazadnje spremenjeno: 2. 4. 2019]

Oddajte komentar

Fill in your details below or click an icon to log in:

WordPress.com Logo

Komentirate prijavljeni s svojim WordPress.com računom. Odjava /  Spremeni )

Google photo

Komentirate prijavljeni s svojim Google računom. Odjava /  Spremeni )

Twitter picture

Komentirate prijavljeni s svojim Twitter računom. Odjava /  Spremeni )

Facebook photo

Komentirate prijavljeni s svojim Facebook računom. Odjava /  Spremeni )

Connecting to %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.