Na 8. i 9. sjednici Povjerenstva za prigovore Hrvatske zaklade za znanost (u daljnjem tekstu Povjerenstvo), održanoj 2. odnosno 10. prosinca 2024. godine, provedeno je vrednovanje opravdanosti prigovora na odluke Upravnog odbora o financiranju istraživačkih projekata prijavljenih na natječaj IP-2024-05.
Povjerenstvo je uočilo da unatoč znatnom poboljšanju procesa vrednovanja, sukladno novom Pravilniku o postupku dodjele sredstava (u daljnjem tekstu Pravilnik), posebno činjenici da su ovom natječaju za svaki projekt bila imenovana tri recenzenta, te je cijeli postupak transparentniji (npr. objava rang liste i bodova), i dalje postoje problemi za koje Povjerenstvo smatra da utječu na kvalitetu evaluacijskog postupka, te ovim putem predlaže slijedeće:
1. Usuglašavanje ocjena recenzenata. Jedan od najvažnijih problema koje je Povjerenstvo uočilo tijekom vrednovanja navedenih prijava jest neusuglašenost mišljenja i bodovanja recenzenata. Iako je sukladno Članku 25, stavak 9 Pravilnika, omogućeno da, ukoliko postoje značajna razilaženja u mišljenju recenzenata ili nejasnoće, paneli mogu zatražiti pojašnjenje recenzenata ili dodatnu raspravu s recenzentima, Povjerenstvo smatra kako se ovaj postupak nije primijenio u dovoljnoj mjeri, te da isti nije dovoljno transparentan niti učinkovit.
S time u vezi, Povjerenstvo se i dalje zalaže za potrebu uvođenja direktne razmjene mišljenja među recenzentima, zbog usklađivanja bodova, odnosno preporuka (završnih ocjena). Razlog navedenome su različita iskustva, standardi i kriteriji pojedinih recenzenata, kao i činjenice da recenzenti (unatoč dobivenim uputama) nemaju jasnu sliku o kriterijima i specifičnostima natječaja te neke elemente pogrešno tumače. Usuglašavanje ocjena između samih recenzenata smanjuje subjektivnost i osigurava da konačna ocjena bude rezultat zajedničkog dogovora, tj. konsenzusa. Navedeno smanjuje mogućnost pogrešnog tumačenja i pristranosti te osigurava da sve stavke prijave budu uzete u obzir.
2. Kao što je već rečeno u priopćenju Povjerenstva od 19. rujna 2024. godine te u zaključcima zajedničkog sastanaka Upravnog odbora i Povjerenstva za prigovore, održanog 30. listopada 2024. godine, Povjerenstvo predlaže uvođenje panela recenzenata (vidi točku 6. Priopćenja od 19. rujna 2024. godine), a što bi omogućilo da jedan recenzent vrednuje više projektnih prijedloga iz svog znanstvenog područja. U tom slučaju pokazuje se potreba za uključivanjem međunarodnih stručnjaka u rad takvog panela, s ciljem povećanja njihove učinkovitosti i smanjenja rizika od sukoba interesa. Na taj način bit će omogućeno da projekti koji su zadovoljili najviše kriterije dobivaju odgovarajuće ocjene, odnosno budu financirani.
3. Razumljivost ocjena. Nadalje, radi uočenih nesrazmjera dodijeljenih bodova i preporuka recenzenata bilo bi dobro definirati bodovnu skalu za svaku od ponuđenih preporuka. Jasne ocjene omogućuju prijaviteljima da točno razumiju na koji su način ocijenjene njihove prijave i zašto su dobili određene ocjene. Povjerenstvo je, naime, primijetilo da bodovi nisu u skladu s opisom i komentarom, a što u ovom konkretnom natječaju ima značajan utjecaj na rang listu, s obzirom da su se prijave rangirale isključivo prema ukupno ostvarenim bodovima. Ukoliko bi recenzenti dobili konkretne kriterije (primjere) koji definiraju svaku ocjenu, primjenjivali bi ocjene na sličan način, neovisno o njihovim osobnim preferencijama ili interpretacijama. Time bi se smanjila subjektivnost i osiguralo objektivno i standardizirano ocjenjivanje, a pri tom bi prijavitelji mogli bolje shvatiti na koji način, sukladno tome, poboljšati prijavu.
predsjednik Povjerenstva za prigovore
dr. sc. Ivica Vilibić
