Raccomandazioni finali sulla valutazione in area umanistica

CUN – Gruppo di lavoro sulla valutazione in area umanistica (aree 10 e 11)
18 dicembre 2009

[su_divider top=no]

 

NB: le variazioni rispetto al documento di giugno sono in rosso. Esse tengono conto delle osservazioni ricevute prima e durante la riunione del 1 dicembre.

Raccogliendo l’invito dei Comitati CUN e di molti degli intervenuti alla riunione, la parte sulle monografie contiene anche un tentativo, di Andrea Graziosi, di fare un ulteriore sforzo in materia di valutazione delle monografie stesse, anche per tener conto del parere del CUN del 19 novembre.

Si ringraziano le seguenti Società e Consulte, che hanno inviato il loro parere (in ordine di ricezione):

1. Consulta storia greca e romana
2. Società Italiana di Glottologia (SIG)
3. Associazione Nazionale Docenti di Anglistica
4. Area Pedagogica (SIPED e CIRSE)
5. Associazione Italiana di Filologia Germanica (AIFG)
6. Consulta per il Medioevo e l’Umanesimo Latino (COMUL)
7. Società Italiana di Filosofia Analitica (SIFA)
8. Società Italiana degli Storici Medievisti (SISMED)
9. Associazione Italiana di Cultura Classica
10. Società Italiana per la Storia dell’Età Moderna (SISEM)
11. Consulta Universitaria per l’Archeologia del Mondo Classico
12. Società Italiana per lo Studio della Storia Contemporanea (SISSCo)
13. Consulta Universitaria Nazionale per la Storia dell’Arte (CUNSTA)
14. Società Filosofica Italiana e Consulta nazionale di Filosofia
15. Consulte di area antichistica (Consulta Universitaria di Archeologia Classica, Consulta Universitaria di Filologia Classica, Consulta Universitaria del Greco, Consulta Universitaria della Letteratura Cristiana Antica, Associazione italiana dei paleografi e diplomatisti, Consulta Universitaria di Preistoria e Protostoria, Consulta Universitaria di Storia Greca e Romana, Consulta Universitaria di Studi Bizantini e Neogreci, Consulta Universitaria di Studi Latini, Consulta Universitaria di Topografia Antica)
16. Società Italiana per gli Studi di Lingua e Letteratura Francese (SUSLLF)
17. Associazione Italiana di Anglistica (AIA)
18. Associazione per lo Studio della Teoria e della Storia comparata della Letteratura (COMPALIT)
19. Centro Interuniversitario di Studi Ungheresi e dell’Europa centro-orientale (CISUECO)
20. Associazione Italiana degli Slavisti (AIS)
21. Conferenza dei Presidi di Psicologia
22. Consulta Universitaria del Cinema (CUC)
23. Associazione Italiana di Psicologia (AIP)
24. Società italiana di logica e filosofia della scienza (SILF)

 

I. Considerazioni generali

Ringraziamo i Comitati 10 e 11 del CUN, che hanno impostato una questione così importante e delicata in modo serio e trasparente, dando alle Società e alle Consulte scientifiche la possibilità di esprimersi. E ringraziamo le Società e le Consulte che ci hanno mandato le loro osservazioni e le loro critiche, cogliendo lo spirito di “dubbio sistematico” e di apertura con cui avevamo steso il documento iniziale. Solo due Società hanno espresso contrarietà allo sforzo intrapreso. Le altre non solo hanno apprezzato il nostro tentativo, ma lo hanno arricchito e affinato.

Prima di entrare nel merito, in ragione dei dubbi sollevati, di perplessità che condividiamo, e di confusioni che è invece possibile chiarire, vorremmo affrontare quattro questioni generali: A. Le origini del nostro lavoro; B. La natura della valutazione di cui ci occupiamo e i suoi problemi; C. La costituenda Agenzia Nazionale per la Valutazione Universitaria (ANVUR) e i suoi possibili rapporti con la comunità scientifica; e D. Gli obiettivi di questa valutazione.

A. Origini

Il nostro lavoro prende le mosse dalla coscienza che, come dimostrano gli impulsi e le richieste provenienti dal Ministero e i DDL in discussione (sui requisiti minimi, la distribuzione del FFO, la riforma dell’Università, la creazione di una Autorità di valutazione ecc.), la valutazione verrà comunque fatta e che quindi, al di là dei differenti giudizi sulla sua utilità, è decisivo che essa venga fatta da chi ha le competenze necessarie, il che implica il coinvolgimento attivo delle Società scientifiche, vale a dire la strada intrapresa dalle aree 10 e 11 del CUN. Le classifiche varate dal Ministero, come quella delle università elaborata nell’estate 2009, così come quelle promosse da vari giornali (“La Repubblica” ecc.), dai risultati spesso paradossali per chi nell’università vive, dimostrano infatti i rischi che può generare quella che si potrebbe definire un’ “incultura della valutazione”.

B. Natura

I criteri di questa valutazione non sono quelli individuali e puntuali cui siamo abituati. Questi ultimi (che tra l’altro non hanno sempre funzionato tanto bene, viste le lamentele, anche nostre, a proposito) non sono adatti a valutare decine, forse centinaia di migliaia di prodotti scientifici. La valutazione cui si riferiscono queste Raccomandazioni è quindi una valutazione di tipo essenzialmente diverso: essa è uno strumento di massa che dovrebbe permettere di valutare con criteri esterni, “oggettivi”, trasparenti, noti in anticipo ai valutati e che possibilmente spingano verso comportamenti virtuosi, decine di migliaia di pubblicazioni, che nessuno potrebbe leggere “puntualmente”.

Ha quindi poco senso mettere in contrapposizione questa valutazione con quella tradizionale, che un’Agenzia di valutazione non potrebbe adottare se non “a campione”, come strumento di controllo sui risultati raggiunti con la valutazione di massa. Ciò che occorre a questa Agenzia sono dei criteri per giudicare, con un margine di errore possibilmente basso, e in modo intelligente, strutture collettive, in modo da produrre delle piramidi più o meno articolate e il più possibile conformi al reale valore scientifico di quanto è stato valutato.

È a questo proposito evidente che tale valutazione di massa è per definizione uno strumento capace di definire uno standard, di spingere verso di esso i comportamenti medi e di isolare la parte inferiore. Essa sembra invece incapace di cogliere sempre le punte di eccellenza, alcune delle quali, proprio perché innovative e inizialmente di nicchia, possono anzi sfuggirle, magari perché pubblicate in riviste più giovani e coraggiose, o meno dominate dall’opinione comune prevalente nella comunità degli studiosi in un momento dato. Tali punte hanno però altrove, per esempio nel riconoscimento futuro e nella soddisfazione di chi le anima, il proprio premio.

C. ANVUR

L’individuazione dei criteri di questa valutazione di massa da parte delle Consulte e delle Società scientifiche è tanto più importante perché essa dovrebbe essere affidata ad un’agenzia, l’ANVUR, di nomina ministeriale. A questo proposito il Gruppo di lavoro ritiene che occorre battersi affinché queste nomine siano fatte tra rose scelte da ambienti scientificamente qualificati, e che comunque le persone nominate, per un mandato temporalmente ben definito, siano quanto di meglio l’Università italiana è capace di esprimere. Anche se queste speranze si realizzassero, sarebbe importante che l’ANVUR fosse chiamata a utilizzare criteri elaborati di concerto con le Consulte e le Società scientifiche. Tale vincolo risulterebbe ancora più importante se l’ANVUR si trovasse a essere composta anche di persone che non godono della stima generale della comunità scientifica.

D. Obiettivi

Come dimostra l’esperienza delle Università dove essa è già stata adottata e sembra funzionare, gli obiettivi e le finalità di tale valutazione di massa sono innanzitutto quelli di una più appropriata relazione tra attività di ricerca e distribuzione di almeno parte delle risorse. Essa potrebbe quindi contribuire a determinare l’assegnazione della percentuale del FFO riservata al “merito”, e che dovrebbe essere in parte assegnata direttamente ai dipartimenti, e in parte alle Università, che potrebbero poi utilizzare metodi simili per l’assegnazione di fondi al loro interno (a dipartimenti, scuole dottorali e dottorati, progetti di ricerca ecc.).

Tale valutazione dovrebbe inoltre essere estesa alla distribuzione di tutte le altre risorse provenienti alle università, e in particolare di quelle erogate dagli enti locali, che già oggi costituiscono una parte significativa dei fondi disponibili. Sarebbe quindi opportuno che il CUN si adoperasse affinché il Ministero adotti delle linee guida in proposito.

Questo è sicuramente il campo di applicazione che più si confà a questo tipo di valutazione, e anche noi condividiamo l’idea, espressa da numerose Società e Consulte, che essa serva a “giudicare” strutture e progetti, e non singole persone.

Sarebbe tuttavia chiudere gli occhi di fronte alla realtà non vedere le evidenti ricadute che tale valutazione avrà sui singoli docenti universitari, che fanno parte di dipartimenti e dottorati, presentano progetti di ricerca ecc.

L’introduzione di requisiti minimi per l’accesso alle varie posizioni accademiche, e la trasformazione degli scatti di anzianità in scatti di merito aprono inoltre un altro campo particolare di applicazione cui è necessario prestare attenzione. Queste due innovazioni, in assenza di pesi assegnati ai diversi tipi di pubblicazioni, scatenerebbero una valanga di pubblicazioni legate solo alla necessità formale di soddisfare quei requisiti o di ricevere gli scatti in questione. Sembra quindi necessario usare i criteri della valutazione di massa anche per dare contenuto ai requisiti minimi (quali articoli, quali monografie?) e serietà agli scatti di merito.

Per quanto riguarda questi ultimi è evidente la difficoltà di valutare periodicamente, anche con questi strumenti, la produzione scientifica di circa 60.000 docenti e ricercatori, anche se fatto a livello dei singoli atenei. In questo caso, più che di valutazione, occorrerebbe quindi parlare di accertamento della presenza di requisiti minimi in termini di pubblicazioni ritenute scientifiche e loro appartenenza alle fasce A, B o C (vedi infra).

Resta, e va difesa, l’importanza del momento valutativo di merito e individuale, successivo ma distinto dalla valutazione esterna e quantitativa. Una commissione di concorso deve leggere i contributi e valutarli criticamente. Le persone andranno cioè giudicate in base alla qualità specifica della loro produzione scientifica. Dimenticarsi di ciò significherebbe apportare un danno gravissimo all’intera comunità scientifica di area umanistica.

 

II. Raccomandazioni del Gruppo di lavoro al CUN

Il Gruppo di lavoro ritiene all’unanimità necessario avanzare al CUN le seguenti richieste:

1. che, data la situazione specifica delle discipline umanistiche, la loro mancanza di esperienza in termini di valutazione, e la parziale assenza di strumenti come banche dati significative, venga introdotto un periodo di transizione e sperimentazione di almeno due anni;
2. che in questo periodo la sperimentazione delle procedure e dei criteri valutativi sia affidata alle Consulte e alle Società scientifiche, con mandato conferito dal CUN stesso;
3. che le Consulte e le Società scientifiche si impegnino a rendere pubblica la composizione delle commissioni interne eventualmente costituite per sperimentare procedure e criteri, nonché per effettuare la valutazione;
4. che il CUN trasmetta i criteri elaborati con l’ausilio delle Consulte e delle Società scientifiche al Ministero, e si adoperi affinché l’ANVUR adotti questi criteri per la sua opera di valutazione nel campo delle discipline umanistiche.

Il Gruppo di lavoro inoltre raccomanda:

1. che la valutazione della produzione scientifica da parte dell’ANVUR e delle Università tenga conto di un arco di tempo sufficiente (tre anni);
2. che una volta sperimentato e adottato, il sistema venga modificato ad intervalli triennali tanto nei criteri quanto negli elenchi di classificazione delle riviste ecc. per correggere eventuali errori e registrare i cambiamenti intervenuti. L’ANVUR deciderà di queste modifiche in collaborazione con le Società e le Consulte scientifiche, con cui sarebbe necessario essa instaurasse – su proposta del CUN – rapporti stabili, acquistando così la capacità di tener conto delle specificità del settore umanistico, nonché il prestigio e la fiducia indispensabili alla felice conduzione della sua opera.

Riteniamo insomma che la valutazione debba essere affidata ad un organo esterno, autorevole, autonomo e indipendente, dotato di appropriato apparato amministrativo e di mezzi propri, i cui membri vengano scelti in base a criteri e procedure trasparenti. Consulte e Società collaboreranno con esso elaborando, in questa fase iniziale, i criteri della valutazione di massa, e partecipando in futuro al loro periodico affinamento.

Ciò pone naturalmente il problema della rappresentatività delle Società e delle Consulte stesse, specie nel caso ve ne sia più d’una in ciascun SSD o macrosettore. Nei casi dubbi, il CUN dovrebbe stabilire una procedura e dei criteri per individuare la Società o la Consulta scientifica di riferimento, tenendo nel dovuto conto le più rappresentative dal punto di vista della docenza universitaria del SSD o del macrosettore.

Il Gruppo di lavoro raccomanda infine che nella valutazione si tenga conto degli incarichi istituzionali eventualmente ricoperti. Rettori, Presidenti di Poli interfacoltà, Presidi e Direttori di dipartimento dovrebbero ricevere d’ufficio, vale a dire senza valutazione, per la durata delle loro cariche, gli scatti triennali nella loro interezza, non per concedere apprezzamenti aggiuntivi ma per tener conto dell’impegno da esse richiesto.

Sarebbe opportuno che tale disposizione si applicasse a partire dall’anno successivo a quello dell’entrata in funzione (quando vedrebbero la luce i lavori preparati prima dell’elezione) e coprisse l’intero anno successivo al decadere dalla carica (quando si farebbero ancora sentire gli effetti dell’impegno precedente).

 

III. Tipologia dei prodotti da valutare (cfr. Tabella allegata)

Tale valutazione di massa riguarda per definizione i prodotti della ricerca. Essa esclude quindi a priori le opere di divulgazione e i materiali esclusivamente didattici (escludendo altresì le opere in prevalenza didattiche dalle fasce più alte).

Per quanto riguarda la tipologia dei prodotti della ricerca da valutare la commissione è partita da quella elaborata nel corso del tempo dall’Osservatorio della Ricerca dell’Università di Bologna, in base ai prodotti che gli sono stati sottoposti. Essa è stata opportunamente modificata in base alle osservazioni ricevute (cfr. Tabella allegata). Si raccomanda inoltre:

1. Per quel che riguarda Libri e affini (Monografie, Edizioni critiche, Volumi tematici, Atti di convegni, Miscellanee diverse ecc.), di prendere in considerazione, nella fase di transizione, solo quelli muniti di ISBN o NBN;
2. Per le Riviste, nella fase di transizione, solo quelle munite di ISSN o SBN;
3. Che vengano escluse dalla valutazione le note, le informazioni, le schede bibliografiche, le recensioni (ma non le rassegne critiche) e le altre pubblicazioni minori.

Il parere del CUN del 19 novembre 2009, secondo il quale sono da considerare pubblicazioni scientifiche solo quelle sottoposte preventivamente ad un anonimo e certificato meccanismo di peer review appare opportuno e condivisibile.

Tuttavia, esso genera problemi per le discipline umanistiche, dove tali procedure sono ancora rare nelle riviste e quasi assenti per le monografie. Va inoltre notato che tali discipline non posseggono ancora banche dati rappresentative. Tali certo non sono quella dell’ISI, che pure ha il merito di sottoporre le riviste che vi aderiscono a rigorose procedure di controllo e può quindi essere usata come strumento per giudicare della qualità delle riviste stesse, e a maggior ragione SCOPUS, che non sembra utilizzabile nemmeno come criterio premiante. In prospettiva, specie dopo il recente ingresso di importanti riviste tedesche e francesi, J-Stor e Project Muse potrebbero acquistare per le discipline umanistiche un ruolo importante, ed è quindi opportuno stimolare le migliori riviste italiane a fare i passi necessari per esservi ammesse.

Quanto alle banche dati esclusivamente italiane esistenti (Editoria italiana online, Franco Angeli, Il Mulino) esse non sono pienamente rappresentative, e non sottopongono le riviste che vi aderiscono a procedure di selezione. Possono quindi essere usate al massimo come indicatori positivi, e quindi premiabili, di maggiore visibilità e disponibilità.

* * *

Il periodo di transizione di cui si parlava è quindi tanto più necessario. E se è relativamente facile immaginare che nel giro di due anni si potranno prendere in considerazione solo le riviste munite di un peer review che risponda agli standard di seguito definiti, escludendo quelle che non sono state in grado di dotarsi di un simile strumento, più complesso sembra il caso delle monografie e delle case editrici, discusso nell’apposita sezione.

 

IV. Riviste e altre pubblicazioni periodiche

Nel caso delle riviste e dei periodici giungere alla formulazione di una classificazione soddisfacente non sembra porre grandi problemi.

Si ritiene che si debba partire affidando in prima battuta alle Società e alle Consulte scientifiche la valutazione – sulla base dei criteri di seguito proposti – delle riviste dei loro settori. Si potrebbe col tempo arrivare alla costruzione di un’anagrafe graduata delle riviste, che rispecchi e utilizzi il database del CINECA, che contiene la totalità delle riviste sulle quali hanno fino ad oggi pubblicato i docenti italiani e viene costantemente aggiornato con l’inserimento di nuove riviste.

In teoria sarebbe giusto suddividere le riviste in 1. internazionali, 2. nazionali e 3. locali, indipendentemente dal loro luogo di pubblicazione. Vi sono infatti sia pur poche riviste internazionali pubblicate in Italia, e riviste locali pubblicate in inglese o francese, ed occorre quindi porsi l’obiettivo di arrivare ad una simile suddivisione.

Poiché tuttavia, almeno nelle discipline umanistiche, la stragrande maggioranza degli articoli viene pubblicata su riviste edite in Italia, si ritiene opportuno cominciare a classificare queste ultime.

La valutazione delle riviste da parte delle Società e Consulte scientifiche avrà per obiettivo l’assegnazione delle riviste stesse a tre grandi fasce, le prime due delle quali saranno dotate di tetto rigido. In particolare:

1. Fascia A: dal 20 al 25% delle riviste del SSD, comprese nelle graduatorie composte in base ai criteri di seguito elencati;
2. Fascia B: il secondo dal 25 al 35% % delle riviste del SSD;
3. Fascia C: le restanti riviste del SSD.

Ogni SSD stabilirà le percentuali relative alle fasce A e B all’interno del margine di oscillazione previsto.

L’introduzione di criteri chiari e trasparenti per l’assegnazione alle fasce superiori dovrebbe permettere alle riviste più vive di ascendere nel tempo i gradini di tale piramide. Si tratta quindi di mettere in moto un meccanismo virtuoso di miglioramento continuo, che spinga tra l’altro le migliori riviste italiane ad entrare nelle più importanti banche dati internazionali (ISI, J-Stor, e Project Muse), acquisendo le caratteristiche a ciò necessarie. Almeno in questa fase iniziale, tuttavia, l’assegnazione alle varie fasce rispecchierà l’esistente, premiando le riviste più affermate, piuttosto che dar conto dei movimenti in atto, che saranno registrati dalle valutazioni triennali.

Per quel che riguarda il problema costituito dalle numerose riviste che pubblicano saggi relativi a più SSD si propone che esse ricevano valutazioni differenti da parte dei singoli SSD. Pubblicazioni di appartenenti a diversi SSD sulla medesima rivista potranno cioè ricevere valutazioni, e quindi punteggi, differenti.

Per quel che riguarda infine le riviste presenti solo sulla rete, sembra opportuno l’adozione del criterio, peraltro seguito da tutte le principali banche dati internazionali, secondo cui possono essere valutate solo quelle a pagamento, per ovvie ragioni di parità rispetto alle tradizionali riviste cartacee, nonché per poter giudicare della loro diffusione (abbonamenti ecc.) e della loro capacità di attrazione.

Per quanto riguarda infine le riviste pubblicate all’estero non sembra necessario operare a priori la loro distribuzione in fasce, cosa tra l’altro molto difficile a causa del loro elevatissimo numero.

Si propone perciò di adottare per le riviste di altri paesi dei criteri generali, che andranno poi di volta in volta applicati quando se ne presenterà l’occasione, vale a dire quando uno studioso italiano presenterà un lavoro su rivista straniera.

A quel punto tale rivista sarà assegnata a una delle tre fasce. In particolare:

1. Nella fascia A andranno le riviste ritenute di importanza internazionale da ciascuno SSD o macrosettore, con preferenza per quelle che figurano tra le riviste ISI o sono incluse in J-Stor e Project Muse;
2. Nella fascia B le riviste non ISI, J-Stor e Project Muse ma blind peer-reviewed e/o di riconosciuta importanza nazionale da parte dei singoli SSD;
3. Nel gruppo C tutte le altre.

In ogni momento dato (visto che la valutazione delle riviste straniere verrà di fatto operata nel corso del tempo), la fasce A e B, prese collettivamente, non potranno comprendere più del 45-60% del totale.

I SSD che lo ritengono sin d’ora necessario e possibile, potranno comunque cominciare a classificare anche le riviste straniere, tenendo conto i criteri su indicati.

* * *

Criteri della fase di transizione

NB1: Nel mentre il criterio dell’Impact Factor e gli altri indicatori bibliometrici non sembrano adatti alla grande maggioranza dei SSD umanistici, cui il presente documento appare invece ampiamente applicabile, ve ne sono alcuni, come quelli psicologici, della logica e della filosofia della scienza, in cui essi possono giocare un ruolo importante, e la cui specificità rende indispensabili alcuni aggiustamenti peculiari. Si rimanda a tale proposito ai contenuti del documento unitario di AIP (Associazione Italiana di Psicologia) e CFPF (Conferenza dei Presidi delle Facoltà di Psicologia), e alle delibere della Società italiana di logica e filosofia della scienza.

Per determinare la graduatoria delle riviste, incluse quelle elettroniche, e rendere quindi possibile la loro assegnazione alle tre Fasce proposte, si raccomanda di tener conto nella fase iniziale di transizione (in cui anche saggi pubblicati pubblicati su riviste prive di peer review continueranno ad essere considerati prodotti scientifici) dei seguenti sei criteri disposti secondo l’ordine d’importanza, riflesso nei pesi proposti per ciascuno di essi (pesi normalizzati a 1):

1. Presenza di peer review anonima (0,3);
2. Livello di internazionalizzazione (0,18);
3. Presenza nei più importanti repertori nazionali e internazionali (0,16);
4. Presenza in biblioteche italiane e straniere (0,12);
5. Anzianità, regolarità e continuità di pubblicazione (0,12);
6. Presenza in rete (0,12).

i. Presenza di peer review anonima (peso 0,30 su 1, o 30 punti sui 100 totalmente conseguibili). Il Gruppo di lavoro ritiene che una valutazione terza ed imparziale degli articoli, eventualmente accompagnata da richieste precise di revisione, sia la garanzia migliore della qualità del lavoro nella sua versione finale. Per questo ha attribuito un peso consistente a questo parametro, anche nella speranza che ciò sia di stimolo ad una più vasta adozione della procedura.

Data l’importanza assegnata a questo criterio riteniamo fondamentale che esso: a) venga chiaramente definito; b) vengano stabilite procedure rigorose per la sua documentazione futura; c) vengano introdotti criteri in base ai quali graduare l’assegnazione alle varie riviste del peso complessivo previsto per esso.

Quanto alla definizione, per tener conto della situazione e delle tradizioni italiane se ne propone una leggermente diversa da quella classica, elaborata nel mondo anglosassone:

Per peer review si intende una procedura doppiamente anonima di referaggio (sia l’autore che il valutatore dovranno essere tali reciprocamente) sui testi ricevuti dalle riviste. Ogni testo dovrà perciò essere inviato, eliminando il nome del suo autore, a due lettori, la cui identità non dovrà essere divulgata. Almeno uno dei due lettori non dovrà appartenere alla redazione o al comitato scientifico delle rivista.

Ciascuna rivista sarà tenuta a conservare un archivio dei valutatori utilizzati, il cui nome dovrebbe essere reso noto, sotto forma di elenco collettivo, allo scadere di ogni due anni, vuoi nella rivista stessa vuoi sul sito ad essa coordinato, in modo da assicurare la trasparenza delle sue procedure e indicare l’ampiezza del suo bacino culturale di riferimento.

Una volta annunciato che il peer review costituisce titolo fortemente preferenziale, non è più possibile seguire il criterio, applicato nel 2009 alle riviste dell’annata 2008, secondo cui la semplice dichiarazione scritta di ricorrere a questo sistema garantiva tutti i 30 punti previsti.

In attesa che sia possibile usare metodi più sofisticati si propone perciò per quel che riguarda l’annata 2009 (e seguenti) di assegnare solo 4 dei 30 punti alla semplice dichiarazione. I restanti 26 punti potrebbero essere assegnati in base ai seguenti criteri:

1. Elenco e tipologia dei valutatori utilizzati, da cui si ricavino, come indicatori postivi: 1. La percentuale di valutatori esterni alla rivista (6 punti, così graduati: 6 al 20% delle riviste che presentano la % più alta, 4 al 30% successivo, 2 al restante 50%); 2. La percentuale di valutatori stranieri (6 punti, distribuiti nello stesso modo); 3. L’appartenenza dei valutatori al maggior numero possibile di Università e Centri di ricerca diversi (6 punti, distribuiti nello stesso modo);
2. Media e varianza del numero di saggi assegnati a ciascun valutatore (4, 2 e 1 punto per la media, 4, 2 e 1 punto per la varianza -più bassa è la prima, e più alta la seconda, meglio è).

La pubblicità di questi criteri da parte di ciascuna rivista, anche solo sul proprio sito, dovrebbe permettere di verificare la realtà del processo di peer review dichiarato dalle riviste stesse. In mancanza di possibilità di verifica, resteranno i soli 4 punti assegnati alla semplice auto-dichiarazione. Ne discende quindi che a regime anche le riviste cui nel 2009 è stato riconosciuto il peer review sulla base della autodichiarazione dovranno introdurre le modifiche richieste, e sottoporsi alle necessarie verifiche. In futuro si darà invece importanza per classificare le riviste con peer review all’indice costituito dal rapporto tra articoli ricevuti e articoli pubblicati (che nelle maggiori riviste internazionali è inferiore al 5%) e alla tipologia e alla provenienza degli articoli ricevuti e di quelli pubblicati.

ii. Presenza di un significativo livello di internazionalizzazione (peso 0,18 su 1, o 18 punti sui 100 totalmente conseguibili). Tale livello verrà giudicato in base a:

1. Regolare pubblicazione di contributi (saggi di ricerca, rassegne critiche, discussioni, ma non brevi recensioni o schede bibliografiche), di autori stranieri (almeno il 20% dei contributi pubblicati per annata), 8 punti;
2. Presenza regolare di sommari in lingua straniera, 4 punti;
3. Pubblicazione multilingue, punti 4;
4. Almeno il 20% di studiosi stranieri nei Consigli di redazione o nei Comitati scientifici, 2 punti.

iii. Presenza nei più importanti repertori nazionali e internazionali (peso 0,16 su 1, o 16 punti sui 100 totalmente conseguibili). In particolare alle riviste indicizzate in ISI, J-Stor e Project Muse (che quindi si sono sottoposte alla verifica del possesso dei requisiti necessari ad esservi ammessi) verranno assegnati 8 dei punti previsti. 2 punti saranno assegnati alle riviste presenti nelle tre principali banche dati italiane di riviste online (Editoria italiana online, Franco Angeli, Il Mulino). I restanti 6, infine, saranno assegnati in base alla presenza di un’indicizzazione nei più importanti repertori internazionali delle singole discipline. (Ogni Società o Consulta scientifica indicherà i suoi e/o costruirà una rosa di Repertori Bibliografici Internazionali di riferimento).

iv. Presenza in biblioteche italiane e straniere (peso 0,12 su 1, o 12 punti sui 100 totalmente conseguibili). In particolare alla presenza in Biblioteche italiane verranno assegnati 6 dei punti in questione e 6 a quella in Biblioteche straniere. Sulla base di tale presenza le riviste verranno disposte in entrambi i casi su una scala progressiva e poi divise in tre fasce (sempre pari al 20, 30 e 50%), assegnando 6 punti a quelle della prima fascia, 4 a quelle della seconda e 2 a quelle della terza. Una rivista in fascia A sia come presenza nelle Biblioteche italiane che in quelle estere avrà così tutti i 12 punti, e una rivista in fascia C in entrambi i casi solo 4. Gli indici proposti per controllare queste presenze sono l’ACNP o lo SBN o il Metaopac Azalai per le Biblioteche italiane e il Worldcat o il KVK per quelle straniere. Nessuno di essi è di per se soddisfacente. Ma l’importante è sceglierne uno per le Biblioteche italiane e uno per quelle straniere in modo da assicurare il ricorso a un criterio omogeneo.

v. Anzianità, regolarità e continuità di pubblicazione (peso 0,12 su 1, o 12 punti sui 100 totalmente conseguibili). 8 punti verranno assegnati a tutte le riviste in regola dal punto di vista della pubblicazione, vale a dire che al momento della valutazione non siano in arretrato (si terrà conto del trimestre, quadrimestre o semestre trascorso). 4 punti addizionali verranno assegnati alle riviste in regola con più di 25 anni di anzianità.

vi. Presenza in rete (peso 0,12 su 1, o 12 punti sui 100 totalmente conseguibili). L’assegnazione di tali punti potrebbe avvenire in base a questa scala: Nessun indice su web, 0 punti; Presenza degli indici, 3 punti; Presenza di indici con testi parziali, 6 punti; Presenza di indici con testi integrali e archivio consultabile (senza distinzione tra gratuità e onerosità dell’accesso), 12 punti.

Assegnati alle riviste i punti indicati, e ottenuto un elenco opportunamente graduato, si procederà a tagliarlo in modo da ricavare le tre Fasce previste, in modo che ogni SSD abbia il 20-25% delle riviste in Fascia A, il 25-35% in Fascia B e il restante 40-55% in fascia C. È evidente che nel corso del tempo i punteggi delle varie riviste varieranno. La classificazione così ottenuta non sarà perciò rigida, e rifletterà l’evoluzione della qualità relativa delle riviste considerate.

Si punta cioè non alla costruzione di una gerarchia stabile, bensì di un meccanismo di incentivi, basato su regole note e trasparenti. A regime ogni tre anni tutte le riviste di ciascun settore dovrebbero ricevere un nuovo punteggio, che gli varrà un posto in una classificazione continua, che verrà poi tagliata in gruppi pari al 20-25 (A), 25-35 (b) e 40-55% (C) del totale. Il contenuto, anche se non la forma, della piramide dovrebbe almeno in parte variare negli anni, e le riviste più vive e attive dovrebbero perciò essere in grado di ascenderne i gradini.

* * *

È stato poi discusso il problema dei pesi da assegnare alle pubblicazioni che compaiono nelle tre fasce così costruite per poter assegnare un punteggio complessivo ai dipartimenti, agli enti e ai progetti di ricerca valutati.

Al fine di premiare le pubblicazioni nelle fasce superiori e rendere impossibile che l’accumulo di pubblicazioni nelle fasce inferiori possa permettere a chi segue questa via di accumulare una valutazione pari a quella di chi ha scelto la via più difficile, si raccomanda di adottare i seguenti pesi: A = 1; B = 0,5; C 0,25, introducendo però un criterio di “saturazione” per cui, oltrepassato un certo numero, le pubblicazioni di fascia C non vengono più conteggiate (si propone che tale livello di saturazione sia fissato a 2,5 punti, vale a dire che le pubblicazioni di fascia C oltre la 10° incidano sul computo complessivo).

 

V. Monografie e prodotti affini

Nel caso delle monografie, delle edizioni critiche e dei prodotti affini la compilazione di un classificazione delle sedi di pubblicazione è molto più problematica a causa di numerosi fattori di distorsione quali:

1. l’estrema specializzazione di alcuni lavori che, malgrado il loro valore, non trovano perciò spazio presso gli editori maggiori;
2. la presenza nascosta di finanziamenti di cui sempre più spesso non è denunciata l’origine;
3. i problemi posti anche da finanziamenti di cui l’origine è nota e accreditata, ma che non sono stati concessi attraverso processi di peer review, come quelli degli enti locali;
4. la necessità di reperire comunque fondi di finanziamento per monografie che, indipendentemente dal valore scientifico in esse contenute, risultano scarsamente allocabili sul mercato e devono quindi essere sostenute con contributi anche se pubblicate da case editrici di importanza nazionale;
5. la presenza, presso lo stesso editore, di collane di diversissimo peso e prestigio, ecc.

È probabilmente per questo che sembra non esistano, nei principali paesi occidentali, esperienze di classificazione degli editori.

La situazione è stata inoltre resa ancor più complicata dalla recente comparsa, permessa dalle nuove tecnologie, di editori che pubblicano a prezzi bassissimi, rendendo possibili soluzioni anche personali a costi molto contenuti, così da permettere moltiplicazioni ad libitum del prodotto “monografia”.

Il CUN, nel suo parere del 19 novembre 2009, ha proposto di estendere il criterio del peer review, come requisito minimo di accertamento della scientificità anche alle monografie:

“Come criterio di scientificità anche in questo caso risulterà necessario stabilire una procedura di accreditamento, articolata per case editrici e, ove necessario, per collane. L’editore, per qualificarsi come “scientifico”, dovrà dotarsi di un comitato scientifico e di meccanismi di accettazione/rigetto basati su revisori (sempre fornendo garanzie di terzietà, in particolare quando si tratti di editori fortemente “locali”). Per salvaguardare la libertà di ogni editore di pubblicare senza il parere di revisori qualunque testo che rientri nella propria politica editoriale e che non pretenda di qualificarsi come “scientifico”, potrà risultare opportuno collocare i testi che ambiscono al carattere di scientificità in specifiche “collane”, alle quali potranno essere applicati i protocolli sopra indicati”.

Alla luce di quanto detto si comprendono i motivi di una proposta che pone tuttavia problemi delicatissimi, e rende a maggior ragione indispensabile una fase di transizione nella quale si sperimentino soluzioni di cui allo stato non è facile giudicare. Pensiamo per esempio all’idea, che potrebbe rivelare tratti corporativi e illiberali, dell’accreditamento statale di ciò che è scientifico in materia di monografie.

In ogni caso, occorrerebbe chiedere prima il parere e il consenso degli editori, in particolare quello dei maggiori editori nazionali e degli editori di cultura, che molto hanno fatto per lo sviluppo della cultura italiana.

L’ideale sarebbe che, come nel caso delle riviste, gli editori accettassero l’idea di sottoporre i manoscritti pervenuti alle loro collane a un sistema regolare di peer review , formalizzando ciò che spesso già fanno. Le collane dovrebbero quindi avere un direttore responsabile e garante del processo di peer review, e mantenere una documentazione del processo stesso (in particolare i pareri pervenuti). Questo però senza introdurre procedure di accreditamento ministeriale.

Date le difficoltà di cui si è detto e l’enorme disparità esistente in questo campo, si ritiene che nel caso delle monografie non possa essere elusa, nel periodo di transizione, una valutazione della tipologia del prodotto, visto che quella della sola sede di pubblicazione non può al momento bastare. In altre parole, occorre in questo caso combinare i due approcci.

A questo fine si propone:

1. che anche le monografie ed i prodotti ad esse affini, come le edizioni critiche, le pubblicazioni di fonti inedite e le prime traduzioni commentate di autori classici, i lessici ragionati ecc. (le Società e le Consulte si assumeranno il compito di definire ulteriori tipologie di pubblicazioni assimilabili alle monografie per i loro SSD) vengano divise in tre fasce sulla base di una griglia di valutazione;
2. che tale griglia di valutazione venga costruita dalla Consulte e dalle Società scientifiche integrando dove opportuno quella qui elaborata;
3. che le prime due di tali fasce abbiano tetti prefissati, con margini di oscillazione simili a quelli introdotti per le riviste (A: 20-25%; B: 25-35%; C: 40-55%). In altre parole, non sarà possibile che più del 25% delle monografie di ciascun anno siano assegnate alla fascia A ecc.
4. che alle pubblicazioni delle tre fasce siano assegnati pesi differenziati, tenendo presente che il criterio della saturazione non sembra in questo caso proponibile, perché il numero delle monografie di ogni singolo ricercatore non è di regola molto elevato. In particolare si propone di assegnare alle monografie e simili i seguenti pesi: A = 3; B = 1,5; C = 0,75), per fare in modo che in ogni fascia una monografia valga comunque almeno tre volte un articolo della fascia corrispondente.

* * *

Quanto alla griglia di valutazione, essa dovrebbe distinguere – per quanto possibile – le monografie sostenute da finanziamenti da quelle che non ne hanno goduto. Ciò al fine di introdurre criteri di costruzione della griglia comuni ad entrambe le categorie e criteri invece specifici a ciascuna di esse.

Come criteri comuni si potrebbero adottare:

1. La valutazione in modo differenziato e decrescente della diffusione internazionale, nazionale o locale della sede editoriale o della collana (si potrebbe a tale fine fare ricorso alla presenza della monografia o simile nelle più importanti banche dati e repertori bibliografici nazionali e internazionali della singola disciplina [ogni Società o Consulta scientifica indicherà i suoi], nonché alla lingua utilizzata e alla sua diffusione). In particolare si potrebbe adottare la seguente classificazione: a) Monografia a diffusione internazionale; b) Monografia a diffusione nazionale; c) Monografia a diffusione locale, assegnando a ciascuna punteggi diversi (3, 2, 1). Consulte e Società potrebbero provare a costruire una graduatoria, tagliata nelle solite tre fasce (A, B, C), con le solite percentuali, delle case editrici degne per ciascuna disciplina. Tale graduatoria avrebbe al primo posto le principali case editrici internazionali (a partire dalle maggiori University Press) e le case editrici italiane di prestigio nazionale (Adelphi, Bollati Boringhieri, Donzelli, Einaudi, Mulino, Laterza ecc.); al secondo le case editrici italiane e straniere di valore e dignità nazionali; e al terzo le case editrici di importanza locale. Potrebbero essere escluse dalla graduatoria le case editrici che stampano on demand. In tutti i casi occorrerebbe distinguere tra prodotti finanziati e non, adottando per i primi criteri specifici su cui cfr infra;
2. Eventuale inserimento della monografia in una collana che già oggi sottopone preventivamente i testi pubblicati ad un regolare processo di peer-review, o sua pubblicazione presso un editore che segue questo criterio e costruzione da parte delle Consulte e delle Società per ciascun SSD di una graduatoria, tagliata nelle solite tre fasce (A, B, C), con le solite percentuali, delle collane esistenti, classificate in base alla loro importanza, alla qualità e alla composizione (internazionale, nazionale, locale) dei loro comitati scientifici, alla quantità e alla regolarità delle monografie pubblicate ecc.;
3. Assegnazione di un minimo di pp. (che varierà per ogni SSD) al prodotto da classificare come Monografia e simili;
4. Introduzione di un premio del 50% (ossia A = 4,5, B = 2,25 e C = 1,25) per le monografie e prodotti affini di valore eccezionale, accertato attraverso eventuali traduzioni all’estero, recensioni su riviste di fascia A, premi nazionali e internazionali ricevuti ecc.;

Nel caso delle monografie pubblicate grazie a finanziamenti, i criteri suindicati possono essere integrati da parametri relativi alla qualità e al tipo della fonte di finanziamento. Si potrebbe per esempio pensare di usare come criterio premiale per l’assegnazione alla fascia A l’essere la monografia in questione sostenuta con fondi provenienti da progetti di ricerca internazionali e nazionali che prevedevano meccanismi di peer review per l’assegnazione dei fondi (Progetti quadro UE, principali fondazioni e istituzioni di ricerca stranieri, Prin, e Cnr e Lincei nel caso abbiano rilasciato finanziamenti con processo di peer review).

Come criterio premiale per l’assegnazione alla fascia B si potrebbe utilizzare il ricorso a finanziamenti di università e fondazioni che distribuiscono le risorse in base a peer review preventivo formalizzato o attraverso criteri pubblici di selezione per merito.

Alla fascia C verrebbero invece assegnate le monografie sostenute da fondi di origine locale (dipartimenti, enti locali, ecc.).

Si propone altresì che dalle fasce A e B siano escluse le Traduzioni di carattere strumentale (trattati, saggi, manuali, ecc.), ma non quelle di carattere filologico e letterario, e siano altresì escluse le semplici Curatele (valutando invece gli eventuali saggi pubblicati in Miscellanee di vario tipo coi parametri delle riviste: cfr. infra).

Si propone altresì di escludere dalle fasce A e B le semplici raccolte di saggi già pubblicati, e quindi già “contati”, in precedenza. Anche in questo caso gli eventuali saggi o capitoli inediti saranno valutati ricorrendo ai parametri definiti per le pubblicazioni su riviste.

Coerentemente, anche i capitoli, relazioni o articoli inclusi in pubblicazioni collettanee o miscellanee, inclusi gli atti dei convegni, o nelle Festschriften, dovranno essere valutati coi pesi e i criteri indicati per gli articoli su riviste.

Ad ogni pubblicazione di questo tipo verrebbero quindi assegnati i seguenti pesi: A = 1; B = 0,5; C 0,25, introducendo un criterio di “saturazione” per cui, oltrepassato un certo numero, le pubblicazioni di fascia C non vengono più conteggiate (si propone che tale livello di saturazione sia fissato a 2,5 punti: vale a dire che dopo le pubblicazioni di fascia C oltre la 10° non incidano sul computo complessivo).

Vanno infine menzionati i prodotti digitali, sia on-line che off-line, oramai molto numerosi (organizzazione di banche dati e bibliografie tematiche, edizioni elettroniche dei testi, anche critiche, progettazione e redazione di portali di studio e di ricerca, pubblicazione di saggi e articoli in riviste on-line, analisi del lessico alla produzione di indici e concordanze). Si ritiene che questi prodotti possano essere valutati nell’intero spettro delle fasce A-C, a seconda delle tipologie di appartenenza.

 

VI. Altri prodotti

Le società e le consulte scientifiche interessate (archeologi, storici dell’arte, teatrologi, filmologi, musicologi, etnomusicologi, ecc.) individueranno una classificazione parallela e analoga per i prodotti della ricerca che non assumono la forma di libri o articoli e capitoli a stampa, per esempio scavi; produzioni spettacolari, ideazione e curatela scientifica di mostre, registrazioni discografiche derivanti da ricerche sul campo; carte geografico-storiche ecc.

C’è poi il problema delle traduzioni di articoli e monografie pubblicate in precedenza in italiano o in altra lingua. Non calcolarle per nulla sarebbe disincentivante, calcolarle come nuova pubblicazione sembra eccessivo. Come modico incentivo all’internazionalizzazione si propone di calcolarle come frazione (1/3) della pubblicazione originale.

C’è infine il problema della valutazione delle “attività connesse alla ricerca”, come direzione di riviste e periodici, direzione di collane editoriali, curatele di pubblicazioni collettanee o miscellanee, direzione di progetti scientifici nazionali o internazionali. Si potrebbe pensare di assegnare un punteggio anche a queste attività, distinguendone anche in questo caso la natura internazionale, nazionale o locale.

In particolare si propone di assegnare un peso maggiore (1 punto) alla Direzione di riviste o collane, e un punteggio inferiore (0,5 punti) alla partecipazione ai comitati di redazione, e distinguere nello stesso modo la direzione di progetti internazionali di ricerca da quella dei progetti nazionali.

La cosa andrebbe però fatta con cautela, visto che non si tratta di prodotti di ricerca veri e propri. Il punteggio loro assegnato non può perciò mai essere superiore a quello di un articolo di fascia A.