Indexek és pofonok
Lehet-e objektíven a tudományos teljesítményt értékelni?
Rövid válasz: igen. Hosszú válasz: nem.
A kérdés azért fontos, mert a közpénzeket a felsőoktatásra és kutatásra osztók adatokra, tényekre és mérőszámokra hivatkoznak, mikor erről döntéseket hoznak. Legújabb csatatér az MTA volt kutatóintézeteinek értékelése, melybe sok külföldi kollégát is belerángattak, nyilván jó pénzért. Most már a politikán múlik, hogy az amúgy is kétséges értékelést mire használja fel.
Tehát nézzük a Bevezetést a tudományértelésbe 1.0.
A tudományértékelésnek három módja van:
1. Kvantitatív: hány cikk jelent meg, mekkor impact faktoros folyóiratban és ezt hányan idézik. Ezek az indexek.
2) Kvalitatív: ez a szöveges értékelés. 5000 szavas értékelést kell adni az ERC értékelésnél a kutatási téma újszerűségéről, a jelölt munkásságról és a projekt lehetőségeiről. Itt nem lehet h-indexet nézni, itt nincs mese: el kell olvasni a kutató munkáit és ismerni kell a szakterületet, amihez ez a munka hozzájárul. Évek óta értékelek ERC pályázatokat, ez nagy munka.
3) Vegyes. Mikor a kutató számszerűsíthető publikációs tevékenységét (hány folyóirat cikk, milyen folyóiratban jelent meg) és a szakmai szöveges értékelés együtt jelenik meg.
Miért félrevezető a csak kvantitatív tudományos teljesítmény értékelés?
Röviden: mert nem mutat szinte semmit. Hosszan: mert a tudományos kiadók profit érdekei határozzák meg a tudományos kutatás minőségének értékelését.
Ennek a teljesítményértékelési módszernek komoly szakmai kritikája van, mert az ügynökségek, akik ezt az értékelést végzik, azokat a folyóiratokat teszik bele a csomagba, hogy megmérjék, hogy hányan idézik azokat a cikkeket, melyek ők adnak ki. Tehát ők adnak el. Tehát nekik kattog a pénztárgép.
Erre a turpisságra már sokan korábban rájöttek és a DORA nyilatkozatot minden EUs ország egyeteme aláírta, amely kötelezi az egyetemeket arra, hogy NE használjanak CSAK kvanitatív értékelést (lsd. 1. fent), mert ezt egy üzleti alapon működő nemzetközi publikációs lobby állítja elő. Amúgy a nagy kiadói konzorciumok, a Nagy Ötök, több nyereséget produkálnak, mint a fegyverkereskedő vagy kábitószer kereskedő cégek, 40%-os a profirátájuk. Hogy miért nem magasabb, hiszen csak a saját személyzetükre költenek, az egy rejtély. (Hogy ezt hogy érik el, erről majd lesz egy poszt.)
Ebből az indexes értékelési rendszerből, mint egyedüli tudomány értékelési rendszerből a legjobb egyetemek Zürich, Utrecht stb. kilépnek, mert kiszolgáltatottá teszi a kutatást a kiadók pénzügyi érdekeinek. A lengyel állami kutatásfinanszirozási rendszer, ahol évek óta értékelek, például explicite írásban megtiltja az értékelőknek, hogy a h-indexet figyelembe vegye.
Példa: az én 61 oldalas publikációs listám h-indexe a Google Scholaron 26, a Magyar Tudományos Művek Tárában 2020. szeptember 1-ig, míg ki nem rúgtak minket ceusokat a magyar felsőoktatásból, feltöltött publikációkkal (MTMT) 18, a Scopusban 12, a Web of Science-ben 5.
Az MTMT, a magyar tudományos teljesítményértékelés alapköve, ahol az MTA határozta meg, melyik folyóirat számít Magyarországon tudományosnak, például a Rubicon. A kutatóknak kell gyűjtögetnie és felvezetnie az idézettséget, ami nem rossz. Viszont az rossz, hogy általában a könyvtárosok, feleségek és/vagy doktori hallgatónők csinálják ezt a feltöltést, mert nincsen olyan software, ami ezt automatikusan megtenné, ellentétben az angol nyelvű publikációkkal, melyek az indexeken keresztül bekerülnek a rendszerbe.
Az angol nyelvű publikációk AI (mesterséges intelligencia) monitorozása inkább maga a probéma, mint megoldás. Az AI-ban semmi mesterséges nincsen, mert komoly pénzügyi és politikai érdekeket szolgál.
Példa: Az angol nyelvű indexen a teljes magyar nyelven publikált életművem: kuka. A szerkesztett angol nyelvű kötetben megjelent fejezetek: kuka. Monográfiák bármilyen nyelven: kuka. Minden más nyelven publikációk, esetemben 22 nyelven megjelent könyv, tanulmány vagy könyvfejezet: kuka. Egyszerűen azért, mert különböző profitorientált cégek különböző folyóiratokban megjelent publikációkat engednek látni a rendszerüknek.
Ha nekem fontos, hogy más közönség is olvassa a munkáimat, necsak a szűk szakma, nekem kell szakmai kockázatot vállalnom. Van aki ezt megteheti, van aki nem. Van aki nagyon jól elvan az évenkénti egy nemzetközi cikkel és azzal, hogy akiket ismer, jókat mondanak vagy írnak róla.
Akit ez bövebben érdekel olvasse ezt el.
A nemzetközesítés
Van még egy probléma itt. A tudomány nemzetközi és nemzetközi mércével kell mérni. És mivel a nevemben van egy csak a magyar ábécében létező betü, a hosszú ő, ezért az algoritmus látja hogyan írják a kollégák a nevemet: Pető, Pete, Peti, Peto, Petoe, Petö, Pet, Pet? (további változatok Pere, Preto, Peri) és ezeket meg kell adni az algoritmusnak, hogy az mind én vagyok. Külön probléma hogy Pet szerbül az ötös (5) számot jelenti. Tehát, ha valaki olyan mondatot publikál, mely az ötös számmal kezdődik nagybetüvel írva szerbül, mondjuk: “Öt ember lépett be az ajtón” nálam az hivatkozásként jelenik meg a h-indexben. Tehát rendszeresen ellenőrizni kell, hogy mit lát az én esetemben az algoritmus.
Tanulság: merni kellene gondolni valamit arról, hogy mi a magyar tudomány feladata nemcsak 2024-ben, mert ez belefullad a saját egzisztenciális érdekekek védelmébe „magyar tudomány“címen, hanem mondjuk húsz év múlva is.
Hogy honnan lehet tudni mi lesz fontos húsz év múlva? Iratkozzon fel, hogy ne mulassza el.