Irek Sadowski

Chciałabym Ci sprawić przyjemność i napisać, że ten wywiad to porażka, ale jest naprawdę ciekawy.

AtlasIntel enters the Polish research market and has published a sensational presidential election poll. Even more "groundbreaking" are the demographic profiles of the electorates they've modeled (see especially the 65+ age group). This might be a harsh debut, akin to their one in Romania in Nov'24.

Dodatkowym, istotnym uwarunkowaniem trafności tego procesu będzie samo przypisanie ponad 34 tysięcy czasopism do 52 dyscyplin. Obecnie wygląda to fatalnie (np. "Biology of Sex Differences" w "stosunkach międzynarodowych"...), a rozporządzenie ten problem zupełnie pomija.
(9/9)

4. Proponowany proces zmian punktacji przez ekspertów i KEN jest źle skalibrowany. Zakłada automatyzm przypisania punktów z nieznanej, arbitralnej dystrybucji w ramach dyscypliny. Łatwo pokazać, że może to skończyć się katastrofą - poważnymi wypaczeniami wyników ewaluacji.
(8/9)

Niezbędne jest wystopniowanie punktacji jak w przypadku czasopism, zwłaszcza, że wartość wskaźnikowa sygnetu wydawniczego jest znacznie słabsza niż marki czasopisma. Wzorce cytowania są w przypadku książek mniej spójne, więc tym ostrożniej trzeba je dzielić na grupy.
(7/9)

3. Wiarygodność i stopień naukowego oddziaływania wydawców monografii nie jest własnością binarną, a empiria nie potwierdza, że np. Routledge należy do całkiem innej jakościowo klasy podmiotów niż np. Springer czy Palgrave.
(6/9)

Wynik ministerialnej ewaluacji nie może być pochodną arbitralnie rozdanych punktów, bo czyni go w pewnym stopniu ekwiwalentem decyzji administracyjnej zamiast bezstronnego pomiaru osiągnięć. Instytucje naukowe stawia to zaś niekiedy w roli sędziów we własnej sprawie.
(5/9)

Endogeny in measuring research excellence. In-house publishing and conflict of interests in Polish science evaluation The ministerial exercise of evaluation of scientific institutions gained a pivotal role in the Polish system of science and higher education after the…

2. Brak jest rozwiązań prawnych przeciwdziałających konfliktom interesów, w szczególności kwestii "wsobności dorobku", który został już dobrze udokumentowany (zob. sciencedirect.com/science/arti...), brakuje też rozwiązań promujących tansparentność decyzji ekspertów, KEN i MNiSW.
(4/9)

względnie niskiej selektywności procesu recenzyjnego (wysoka liczba publikacji w skali roku, brak informacji o rejection rate), opłat za publikację, a także wysokiej rozbieżności między pozycją centylową określoną na podstawie wskaźników: CiteScore i SCImago Journal Rank
(3/9)

1. Projektowane mechanizmy wyłapywania czasopism drapieżnym będą nieskuteczne - siatka ma po prostu zbyt duże oka, żeby złapać coś więcej niż parę wielorybów. Ze względu na brak ścisłej definicji „drapieżnictwa” należałoby sformułować co najmniej trzy konkretne kryteria:
(2/9)

Na stronach Rządowego Centrum Legislacji opublikowane zostały stanowiska zgłoszone w ramach konsultacji projektu rozporządzenia
@MNiSW_GOV__PL
ws. wykazów. Moje uwagi (legislacja.rcl.gov.pl/docs//580/12...) skoncentrowały się na 4 poważnych problemach:
🧵(1/9)

We show how domestic journals reacted to institutional stimuli (increase in volume, more in-house articles) in 2017-22 period. More generally, it contributed to decreasing stimuli in H&SS to publish internationally. The effect not exactly in line with the official policy goals of the Ministry. 4/4

When evaluated institutions play the role of key publishers and their employees – of gatekeepers, then the evaluation based on discretionarily managed registers is not an unbiased measure of scientific excellence but rather a functional equivalent of arbitrary awarding of entitlements. 3/4

Together with Ł. Zamęcki we decided to document how a partly hand-picked registry of journals burdened evaluation results with publishing endogeny:
t.co/jDpDn2gwUs
In terms of public policy, it is an example of conflict of interest. In terms of measurement, a simple illustration of endogeneity. 2/4

In the Polish academic sector both subsidies and entitlements to award scientific degrees depend upon ministerial evaluation. This is thus a high-stake institutional exercise, but in recent years, it has been subjected to rather heavy manipulation.🧵 1/4
#science #evaluation #excellence #endogeny