Na 4. sjednici Povjerenstva za prigovore Hrvatske zaklade za znanost, održanoj 2. rujna 2024. godine, provedeno je vrednovanje opravdanosti prigovora na odluke Upravnog odbora o financiranju istraživačkih projekata prijavljenih na natječaj IP-2022-10. Rješavanjem navedenih predmeta, Povjerenstvo je uočilo niz nelogičnosti, nedorečenosti i nepreciznosti za koje smatra da utječu na kvalitetu evaluacijskog postupka, te drži da se sustav vrednovanja projektnih prijedloga može i mora poboljšati. U tom smislu, evo nekih opažanja i prijedloga:
1. Zakonski okvir djelovanja Povjerenstva za prigovore nije prikladan, s obzirom na to da formulacija „Povjerenstvo za prigovore stručno je tijelo Zaklade koje razmatra prigovore zbog sukoba interesa ili administrativnih, odnosno postupovnih pogrešaka na odluke Upravnog odbora Zaklade o financiranju znanstvenih projekata“ (Zakon o Hrvatskoj zakladi za znanost) ne omogućuje efikasan rad Povjerenstva. Naime, prijava potencijalnih sukoba interesa i utvrđivanje administrativnih pogrešaka u postupku evaluacije prijedloga projekata je standardni postupak pri prijavama projekata. Iz toga slijedi da je uloga Povjerenstva kontrola administrativnih postupaka Zaklade, a ne sadržajno vrednovanje samih prigovora. Ovdje bismo skrenuli pažnju na to da praksa pri evaluaciji projektnih prijedloga u Okvirnom istraživačkom programu EU Obzor Europa uključuje tzv. „redressing procedure“, koja je definirana kao: „Complaints must focus on aspects concerning the evaluation of the proposals (e.g. admissibility or eligibility checks, evaluation procedure, etc.), not their merits. Thus, applicants can raise procedural irregularities, factual errors, manifest errors of assessment, or abuse of powers (e.g. lack of coherence between scores and comments, lack or inadequate reasoning of the conclusions, the existence of a conflict of interests, exceeding the limits of discretion, etc).“ (https://webgate.ec.europa.eu/funding-tenders-opportunities/display/OM/Complaints+about+proposal+rejection). Povjerenstvo smatra da ovako definirani razlozi za prigovore moraju biti uključeni i u evaluacijske dokumente Hrvatske zaklade za znanost, što trenutno nije slučaj, te stoga moli Upravni odbor da shodno tome poboljša zakonodavni okvir rada Povjerenstva.
2. Izvješća panela ponekad sadrže formulacije koje nisu prikladne u evaluacijskom postupku jer predstavljaju potencijalno kršenje etičkih normi, netočne podatke izdvojene iz projektnih prijedloga ili podatke koji nisu evaluacijski kriteriji. Primjerice, u izvješćima evaluacijskih panela mogu se naći neprikladne formulacije koje ne doprinose vrednovanju prijavitelja ili projektnog prijedloga (npr. „predlagatelj je mlad“, „nije više među najzanimljivijim istraživačkim temama“). Također, neka izvješća panela uzimaju u obzir podatke koji ne potpadaju pod evaluacijske kriterije već pod radne odnose u pojedinim institucijama (npr. „istraživanje je koncipirano tako da predviđa involviranost predlagateljice na razini 80% od ukupnog radnog vremena, što je visok angažman s obzirom na znanstveno-nastavne obveze na matičnoj ustanovi.“). Povjerenstvo je također primijetilo da su mnoga izvješća vrlo kratka te da dobrim dijelom sadrže prebrojavanje definiranih kriterija za vrednovanje (npr. kriterij o 5 Q1 radova u posljednjih 5 godina kao prvi ili dopisni autor), umjesto da se fokusiraju na vrednovanje samog projektnog prijedloga i ukupne kvalitete istraživača i projektnog tima, odnosno prikladnosti glavnog istraživača i projektnog tima za provođenje planiranih projektnih aktivnosti.
3. Nedostatak jasnih uputa panelima rezultira nedosljednim vrednovanjem projekata. Povjerenstvo je primijetilo da evaluacijski paneli često specificiraju neke od kriterija vrednovanja (npr. prethodno navedeni kriterij o 5 Q1 radova u posljednjih 5 godina kao prvi ili dopisni autor) kao uvjet natječaja, što nije točno. Kriteriji za vrednovanje služe objektivnijoj evaluaciji pojedinih prijedloga projekata, dok se uvjeti pojedinih natječaja definiraju u samim natječajima i temelj su za administrativno odbijanje projektnih prijedloga. Povjerenstvo smatra da je nepostojanje jasnih uputa panelima dovelo do toga da su različiti paneli različito implementirali kriterije za vrednovanje projekata, što je u konačnici značajno utjecalo na kvalitetu samog postupka vrednovanja.
4. Povjerenstvo bi se ovdje osvrnulo i na same prigovore od strane projektnih prijavitelja, čiji najveći dio je sadržajno usmjeren na primjedbe recenzenata ili panela. Iako u potpunosti razumije prijavitelje, Povjerenstvo za prigovore ne predstavlja tijelo koji bi evaluiralo primjedbe na komentare recenzenata, već prigovori moraju biti temeljeni na dokazivanju postupovnih pogrešaka, kao što je navedeno u točki 1.
5. Izbor recenzenata i kvalitetu recenzija potrebno je unaprijediti. Povjerenstvo je utvrdilo da postoji prevelik postotak tzv. „savršenih“ recenzija, odnosno onih koje daju maksimalni broj bodova pojedinom projektnom prijedlogu. U uobičajenim evaluacijskim postupcima takve recenzije obično se daju 1-2% najboljih projekata, dok je ovdje taj postotak višestruko premašen. Također, u mnogim slučajevima ocjene dvaju recenzenata su se značajno razlikovale (A i C). U takvim slučajevima, potrebno je tražiti dodatne recenzije, jer nije moguće pravilno vrednovati kvalitetu samog projektnog prijedloga. Nažalost, evaluacijski paneli nisu koristili tu mogućnost, već su uglavnom ocjenjivali projektne prijedloge temeljem „loših“ recenzija, što je praksa koju Hrvatska zaklada za znanost mora promijeniti u budućim natječajima. Povjerenstvo smatra da kvalitetan evaluacijski postupak nije moguć uz samo dvije recenzije; minimalan broj trebao bi biti tri recenzije, a poželjno je imati i više. Naravno, povećanje broja traženih recenzija povećava ukupno vrijeme evaluacije projekata, ali Povjerenstvo smatra da je kvaliteta recenzentskog postupka važnija od brzine provođenja.
6. Nedostatak transparentnosti u radu Hrvatske zaklade za znanost također je uočen. To se prvenstveno odnosi na projektne prijedloge u okviru Weave inicijative, za koju – u slučajevima kad HrZZ nije vodeća agencija – postoji praksa objavljivanja rezultata natječaja (npr., projektne prijave koje je vodila Slovenska agencija za znanost u okviru natječaja IPS-2022-02, https://www.arrs.si/sl/progproj/rproj/rezultati/22/rezult-razp-rp-2022.asp, https://www.arrs.si/sl/progproj/rproj/rezultati/22/inc/rezult-projekti-2022-6.xlsx). Povjerenstvo smatra da slična praksa mora zaživjeti i u Hrvatskoj zakladi za znanost.
7. Prolaznost projekata u okviru Weave inicijative je znatno niža nego za projekte bez međunarodnih partnera. Kako pravila Weave inicijative definiraju prolaznost projekata od oko 20%, a prolaznost nacionalnih projekata je bila veća od 40%, iz ovoga se može zaključiti da je prijava u okviru Weave inicijative bila nepovoljnija za predlagatelje, što je suprotno cilju poticanja međunarodne suradnje kao preduvjeta kvalitetnije znanosti. Zaklada bi u tom smislu trebala poduzeti određene korake kako bi se izbjegle ovakve nelogičnosti.
8. Povjerenstvo predlaže da se evaluacijski postupak u potpunosti internacionalizira, s obzirom na to da je hrvatska znanstvena zajednica vrlo mala i da se znanstvenici u pojedinim strukama (pre)dobro poznaju. Povjerenstvo predlaže uspostavu međunarodnih evaluacijskih odbora u kojima bi sjedili znanstvenici koji bi evaluirali veći broj projektnih prijedloga. Ovakav postupak, uobičajen u mnogim europskim znanstvenim zakladama, a obvezan u Okvirnom istraživačkom programu Obzor Europa, značajno bi poboljšao kvalitetu recenzentskog postupka i riješio problem traženja recenzenata. Ovaj pristup uključivao bi: (A) uspostavu međunarodnog evaluacijskog odbora za pojedini natječaj i pojedina područja (3-5 evaluacijskih panela), (B) dodjeljivanje 5-10 projektnih prijedloga pojedinom članu odbora, ovisno o ukupnom broju projektnih prijava, te plaćanje recenzije po projektnoj prijavi, (C) diskusiju na razini evaluacijskog odbora o svakom projektnom prijedlogu, uz eventualno usklađivanje i korigiranje ocjena pojedinih članova odbora.
