Beatrice Catinella - Marina Corbolante - Maria Antonia Romeo, Indicatori di performance per biblioteche di ateneo: un esperimento di descrizione statistica e un approccio alla valutazione presso l'Università di Padova
Contenuto principale dell'articolo
Abstract
Beatrice Catinella - Marina Corbolante - Maria Antonia Romeo. Indicatori di performance per biblioteche di ateneo: un esperimento di descrizione statistica e un approccio alla valutazione presso l'Università di Padova, in appendice un saggio di Marina Duzzin. Roma: Associazione italiana biblioteche, 2001. 109 p. (Rapporti AIB; 12). ISBN 88-7812-072-3. Eur 12,91.
Il fatto stesso di avere tra le mani uno dei prodotti della costruzione e implementazione di un sistema informativo che copre l'intero sistema bibliotecario di un ateneo è già da solo motivo di buona disposizione nell'approccio alla lettura. Dopo anni di deserto valutativo e di attività isolate e nascoste, in parte portate alla luce dall'indagine promossa dal Gruppo di lavoro sulla “Misurazione e valutazione delle biblioteche universitarie” dell'allora Osservatorio per la valutazione del sistema universitario del MURST (ora Comitato nazionale per la valutazione del sistema universitario del MIUR, http://www.miur.it/valutazionecomitato/default.htm). I risultati del lavoro del gruppo sono consultabili su http://www.miur.it/osservatorio/ricbibl.htm, il volumetto non può che destare interesse e la stessa pubblicazione da parte dell'AIB ne è un'esplicita testimonianza.La lettura del rapporto conferma in buona parte le aspettative iniziali, in quanto i metodi e i contenuti del lavoro testimoniano una piena assimilazione e una buona personalizzazione dei risultati acquisiti negli ultimi anni dalla letteratura professionale italiana sulla valutazione, sia a livello teorico che pratico.
Va del resto considerato che, mentre nell'ambito delle biblioteche pubbliche la tradizione italiana sulla valutazione risale almeno alla prima metà degli anni Novanta, nel caso delle biblioteche accademiche uno specifico approfondimento su queste tematiche non si è attuato prima della seconda metà di quegli stessi anni. Come fa puntualmente notare Serafina Spinelli nella Presentazione, il 1997 può essere considerato l'anno di riferimento più importante per gli studi sulla valutazione delle biblioteche universitarie, in virtù della concomitanza di alcuni interventi di rilievo sull'argomento.La maggiore sensibilità complessiva del contesto e la diffusione di una cultura della valutazione hanno certamente contribuito all'accelerazione del processo di maturazione metodologica di questi ultimi anni.
Tutto questo trova riscontro innanzitutto nell'impostazione e nella struttura del volumetto, che dopo la Presentazione e la Premessa, si articola in un primo capitolo di introduzione metodologica, Il sistema di monitoraggio e gli indicatori di performance, scritto da Marina Corbolante, un secondo e un terzo capitolo, intitolati rispettivamente I dati di ateneo e Gli indicatori, scritti da Beatrice Catinella, un ultimo capitolo dal titolo Approcci alla valutazione, scritto da Mariella Romeo. Il secondo e il terzo capitolo sono corredati di tabelle e grafici necessari ad una migliore lettura e comprensione delle analisi dei dati proposte. In appendice si trova, infine, un contributo dal titolo Monitoraggio e valutazione tra Sistema bibliotecario di ateneo e Biblioteca del Dipartimento di Scienze dell'antichità, scritto da Marina Duzzin, che vuol essere una prima testimonianza, proveniente da una singola biblioteca, dell'utilità di avere un quadro informativo di riferimento a livello di ateneo e della funzione di stimolo che questo può svolgere. In allegato, a testimonianza del lavoro di impianto del sistema informativo e ad utilità di quanti vorranno ad esso ispirarsi, è presente il questionario utilizzato per la raccolta dei dati.
Il capitolo introduttivo esplicita la storia, gli obiettivi e le scelte di metodo che hanno caratterizzato il lavoro svolto; oltre a chiarire il contesto di riferimento, esso suggerisce gli angoli di visuale da cui leggere i contenuti proposti. Opportunamente veniamo a sapere che il lavoro è il prodotto del sistema informativo gradualmente costruito all'interno del CAB (Centro di ateneo per le biblioteche) di Padova fin dal 1988, che tale sistema informativo è stato, nel corso degli anni, di supporto alle scelte di politica bibliotecaria e che tale lavoro non è il punto di arrivo delle riflessioni, in quanto è chiara nei suoi promotori la consapevolezza di dover approfondire temi quali la quantificazione dell'utenza potenziale e reale, i livelli di soddisfazione degli utenti, la valutazione dei livelli di efficacia dei servizi, il peso sulla valutazione della disomogeneità tipologica e disciplinare delle singole biblioteche.Ritengo fondamentalmente condivisibile anche la dichiarazione che conclude il capitolo introduttivo, ossia che ci troviamo di fronte ad un sistema informativo più che ad un sistema di valutazione.I capitoli 2 e 3, oltre che per la puntualità dell'esposizione e per l'accuratezza della presentazione e dell'analisi di ciascun indicatore, meritano attenzione perché fanno trapelare un lungo lavoro di scambio di conoscenze, di competenze e di esperienze tra bibliotecari e statistici, inaugurando un metodo di collaborazione essenziale in questo ambito e da perseguire con tenacia.
L'ultimo capitolo tenta un difficile lavoro di sintesi delle considerazioni e degli elementi emersi nei capitoli precedenti.Non è meno degno di attenzione il saggio contenuto nell'appendice, che si segnala per il tentativo di guardare in profondità nei dati di Ateneo e per le interessantissime considerazioni finali, di tipo schiettamente valutativo, sullo stato di salute della Biblioteca del Dipartimento di Scienze dell'antichità. Sono soprattutto apprezzabili la lettura dei fenomeni e l'individuazione dei punti di forza e di debolezza di questa struttura, che deriva da uno studio e da una interpretazione approfondita dei dati.In quanto riflesso di un processo di maturazione non ancora perfettamente compiuto dalla letteratura professionale italiana su questi argomenti, anche questo volumetto svela qualche piccolo passaggio ancora non perfettamente realizzato sul piano metodologico. A livello generale, si nota ad esempio una certa difficoltà a passare dalla fase descrittiva a quella più propriamente valutativa; è vero che l'approccio è dichiarato come eminentemente informativo, ma ci si sarebbe forse aspettati qualche elemento in più di riflessione o quantomeno un ulteriore approfondimento degli elementi di riflessione emersi. A questo scopo sarebbe stato utile sperimentare, oltre alla costruzione dei macro-indicatori sintetici (pure di grande interesse) qualche altro approccio valutativo, in particolare quelli di tipo comparativo. Il fatto di avere a disposizione i dati sull'Ateneo di Padova fin dal 1988 e i dati nazionali del triennio 1995-1997 (a seguito dell'indagine del Gruppo di lavoro dell'allora MURST) avrebbe potuto suggerire qualche tentativo di analisi storica e di riflessione complessiva sul funzionamento e sul posizionamento del Sistema bibliotecario dell'Ateneo di Padova nel panorama nazionale. Probabilmente anche la lettura dei dati e degli indicatori delle singole biblioteche avrebbe acquistato altri e nuovi significati alla luce del quadro complessivo di sistema e di altri possibili confronti.
Andando più nello specifico, considero un po' troppo netta la rinuncia, seppure temporanea, al tentativo di misurazione dell'efficacia pur comprendendone le motivazioni, del resto ampiamente chiarite. Un altro nodo cruciale è quello dell'utenza potenziale, che in alcuni passaggi metodologici viene presentato come di difficile soluzione e il cui criterio di definizione viene considerato insufficiente. Pur essendo d'accordo sulle problematiche che investono questo aspetto della misurazione, l'impressione che scaturisce da certe affermazioni è quella di un'alternativa tra l'uso dell'utenza reale e dell'utenza potenziale o comunque la priorità, sul piano metodologico, del calcolo dell'utenza reale. In realtà, a mio parere, utenza reale e potenziale sono entrambe di fondamentale importanza per la costruzione degli indicatori e i relativi indicatori danno due informazioni di tipo diverso e, se si vuole, complementare. Si deve perciò auspicare di arrivare ad una adeguata quantificazione di entrambe queste misure e la proposta di ripartizione dell'utenza potenziale tra le strutture bibliotecarie contenuta nel rapporto è un significativo contributo in questa direzione.Allo stesso modo non sono alternative, ma complementari, la valutazione quantitativa e oggettiva (quella realizzata mediante gli indicatori di performance) e quella qualitativa e soggettiva (che utilizza le indagini sulla user satisfaction). Anche su questo punto, nonostante il fatto che le autrici affermino in premessa la complementarità e sequenzialità dei due momenti valutativi, di tanto in tanto sembra emergere quasi un rammarico per il fatto di doversi accontentare di misure quantitative, quando invece si ritengono, almeno in linea teorica, più rispondenti alla realtà le valutazioni qualitative e soggettive. Andrebbero forse chiariti i limiti che ciascuna di queste impostazioni presenta, se condotta singolarmente e isolatamente.
Pur rispettando e apprezzando alcuni punti di vista originali nella descrizione di certi indicatori, ritengo opportuno, infine, soffermarmi in particolare su un passaggio; nel descrivere i tre indici di efficienza (prestiti/personale FTE, acquisti/personale FTE, orario di apertura settimanale/personale FTE) si afferma che, mentre i primi due intendono valutare i carichi di lavoro reali, l'ultimo tende a misurare i carichi di lavoro “potenziali”. In realtà in tutti e tre i casi si ottengono dei valori fittizi, se vogliamo potenziali (visto che non tutto il personale fa acquisti o prestiti o si fa carico dell'intero orario di apertura), che dunque non hanno un significato in sé ma acquistano significato solo nel confronto dei valori. Un ultimo suggerimento riguarda lo stile di presentazione, che deve sforzarsi di essere tecnico e preciso, ma allo stesso tempo semplice e accessibile per chiunque. Comprendo la difficoltà di raggiungere un tale obiettivo, ma è importante cercare di evitare qualsiasi passaggio involuto o troppo permeato di tecnicismi. In certi casi, probabilmente, non avrebbe guastato qualche chiarimento d'insieme sul contesto padovano, anche soltanto in nota, come nel passaggio in cui si parla del prestito interbibliotecario centralizzato; forse prima di commentare i relativi dati bisognava infatti fornire qualche elemento conoscitivo su questa scelta organizzativa dell'Ateneo.Buono l'apparato bibliografico, eccetto per qualche piccolissima disattenzione stilistica (ad esempio del Follett Report in bibliografia finale non è indicato l'URL, presente invece in una nota a piè pagina); sarebbe inoltre stata consigliabile una nota di ultima consultazione nelle citazioni dei siti Web.
In conclusione, ritengo fondamentale l'operazione di messa in comune delle esperienze di valutazione proposta dall'Ateneo di Padova e sostenuta dall'AIB, in quanto risponde ad una esigenza sempre più diffusamente avvertita all'interno del contesto bibliotecario universitario italiano. La nascita delle prime forme di cooperazione e la spinta dal basso alla standardizzazione dei sistemi di valutazione (si pensi al Gruppo interuniversitario sulla misurazione, GIM, di cui proprio l'Ateneo di Padova è uno dei promotori) sono certamente segnali incoraggianti per il futuro.
Il fatto stesso di avere tra le mani uno dei prodotti della costruzione e implementazione di un sistema informativo che copre l'intero sistema bibliotecario di un ateneo è già da solo motivo di buona disposizione nell'approccio alla lettura. Dopo anni di deserto valutativo e di attività isolate e nascoste, in parte portate alla luce dall'indagine promossa dal Gruppo di lavoro sulla “Misurazione e valutazione delle biblioteche universitarie” dell'allora Osservatorio per la valutazione del sistema universitario del MURST (ora Comitato nazionale per la valutazione del sistema universitario del MIUR, http://www.miur.it/valutazionecomitato/default.htm). I risultati del lavoro del gruppo sono consultabili su http://www.miur.it/osservatorio/ricbibl.htm, il volumetto non può che destare interesse e la stessa pubblicazione da parte dell'AIB ne è un'esplicita testimonianza.La lettura del rapporto conferma in buona parte le aspettative iniziali, in quanto i metodi e i contenuti del lavoro testimoniano una piena assimilazione e una buona personalizzazione dei risultati acquisiti negli ultimi anni dalla letteratura professionale italiana sulla valutazione, sia a livello teorico che pratico.
Va del resto considerato che, mentre nell'ambito delle biblioteche pubbliche la tradizione italiana sulla valutazione risale almeno alla prima metà degli anni Novanta, nel caso delle biblioteche accademiche uno specifico approfondimento su queste tematiche non si è attuato prima della seconda metà di quegli stessi anni. Come fa puntualmente notare Serafina Spinelli nella Presentazione, il 1997 può essere considerato l'anno di riferimento più importante per gli studi sulla valutazione delle biblioteche universitarie, in virtù della concomitanza di alcuni interventi di rilievo sull'argomento.La maggiore sensibilità complessiva del contesto e la diffusione di una cultura della valutazione hanno certamente contribuito all'accelerazione del processo di maturazione metodologica di questi ultimi anni.
Tutto questo trova riscontro innanzitutto nell'impostazione e nella struttura del volumetto, che dopo la Presentazione e la Premessa, si articola in un primo capitolo di introduzione metodologica, Il sistema di monitoraggio e gli indicatori di performance, scritto da Marina Corbolante, un secondo e un terzo capitolo, intitolati rispettivamente I dati di ateneo e Gli indicatori, scritti da Beatrice Catinella, un ultimo capitolo dal titolo Approcci alla valutazione, scritto da Mariella Romeo. Il secondo e il terzo capitolo sono corredati di tabelle e grafici necessari ad una migliore lettura e comprensione delle analisi dei dati proposte. In appendice si trova, infine, un contributo dal titolo Monitoraggio e valutazione tra Sistema bibliotecario di ateneo e Biblioteca del Dipartimento di Scienze dell'antichità, scritto da Marina Duzzin, che vuol essere una prima testimonianza, proveniente da una singola biblioteca, dell'utilità di avere un quadro informativo di riferimento a livello di ateneo e della funzione di stimolo che questo può svolgere. In allegato, a testimonianza del lavoro di impianto del sistema informativo e ad utilità di quanti vorranno ad esso ispirarsi, è presente il questionario utilizzato per la raccolta dei dati.
Il capitolo introduttivo esplicita la storia, gli obiettivi e le scelte di metodo che hanno caratterizzato il lavoro svolto; oltre a chiarire il contesto di riferimento, esso suggerisce gli angoli di visuale da cui leggere i contenuti proposti. Opportunamente veniamo a sapere che il lavoro è il prodotto del sistema informativo gradualmente costruito all'interno del CAB (Centro di ateneo per le biblioteche) di Padova fin dal 1988, che tale sistema informativo è stato, nel corso degli anni, di supporto alle scelte di politica bibliotecaria e che tale lavoro non è il punto di arrivo delle riflessioni, in quanto è chiara nei suoi promotori la consapevolezza di dover approfondire temi quali la quantificazione dell'utenza potenziale e reale, i livelli di soddisfazione degli utenti, la valutazione dei livelli di efficacia dei servizi, il peso sulla valutazione della disomogeneità tipologica e disciplinare delle singole biblioteche.Ritengo fondamentalmente condivisibile anche la dichiarazione che conclude il capitolo introduttivo, ossia che ci troviamo di fronte ad un sistema informativo più che ad un sistema di valutazione.I capitoli 2 e 3, oltre che per la puntualità dell'esposizione e per l'accuratezza della presentazione e dell'analisi di ciascun indicatore, meritano attenzione perché fanno trapelare un lungo lavoro di scambio di conoscenze, di competenze e di esperienze tra bibliotecari e statistici, inaugurando un metodo di collaborazione essenziale in questo ambito e da perseguire con tenacia.
L'ultimo capitolo tenta un difficile lavoro di sintesi delle considerazioni e degli elementi emersi nei capitoli precedenti.Non è meno degno di attenzione il saggio contenuto nell'appendice, che si segnala per il tentativo di guardare in profondità nei dati di Ateneo e per le interessantissime considerazioni finali, di tipo schiettamente valutativo, sullo stato di salute della Biblioteca del Dipartimento di Scienze dell'antichità. Sono soprattutto apprezzabili la lettura dei fenomeni e l'individuazione dei punti di forza e di debolezza di questa struttura, che deriva da uno studio e da una interpretazione approfondita dei dati.In quanto riflesso di un processo di maturazione non ancora perfettamente compiuto dalla letteratura professionale italiana su questi argomenti, anche questo volumetto svela qualche piccolo passaggio ancora non perfettamente realizzato sul piano metodologico. A livello generale, si nota ad esempio una certa difficoltà a passare dalla fase descrittiva a quella più propriamente valutativa; è vero che l'approccio è dichiarato come eminentemente informativo, ma ci si sarebbe forse aspettati qualche elemento in più di riflessione o quantomeno un ulteriore approfondimento degli elementi di riflessione emersi. A questo scopo sarebbe stato utile sperimentare, oltre alla costruzione dei macro-indicatori sintetici (pure di grande interesse) qualche altro approccio valutativo, in particolare quelli di tipo comparativo. Il fatto di avere a disposizione i dati sull'Ateneo di Padova fin dal 1988 e i dati nazionali del triennio 1995-1997 (a seguito dell'indagine del Gruppo di lavoro dell'allora MURST) avrebbe potuto suggerire qualche tentativo di analisi storica e di riflessione complessiva sul funzionamento e sul posizionamento del Sistema bibliotecario dell'Ateneo di Padova nel panorama nazionale. Probabilmente anche la lettura dei dati e degli indicatori delle singole biblioteche avrebbe acquistato altri e nuovi significati alla luce del quadro complessivo di sistema e di altri possibili confronti.
Andando più nello specifico, considero un po' troppo netta la rinuncia, seppure temporanea, al tentativo di misurazione dell'efficacia pur comprendendone le motivazioni, del resto ampiamente chiarite. Un altro nodo cruciale è quello dell'utenza potenziale, che in alcuni passaggi metodologici viene presentato come di difficile soluzione e il cui criterio di definizione viene considerato insufficiente. Pur essendo d'accordo sulle problematiche che investono questo aspetto della misurazione, l'impressione che scaturisce da certe affermazioni è quella di un'alternativa tra l'uso dell'utenza reale e dell'utenza potenziale o comunque la priorità, sul piano metodologico, del calcolo dell'utenza reale. In realtà, a mio parere, utenza reale e potenziale sono entrambe di fondamentale importanza per la costruzione degli indicatori e i relativi indicatori danno due informazioni di tipo diverso e, se si vuole, complementare. Si deve perciò auspicare di arrivare ad una adeguata quantificazione di entrambe queste misure e la proposta di ripartizione dell'utenza potenziale tra le strutture bibliotecarie contenuta nel rapporto è un significativo contributo in questa direzione.Allo stesso modo non sono alternative, ma complementari, la valutazione quantitativa e oggettiva (quella realizzata mediante gli indicatori di performance) e quella qualitativa e soggettiva (che utilizza le indagini sulla user satisfaction). Anche su questo punto, nonostante il fatto che le autrici affermino in premessa la complementarità e sequenzialità dei due momenti valutativi, di tanto in tanto sembra emergere quasi un rammarico per il fatto di doversi accontentare di misure quantitative, quando invece si ritengono, almeno in linea teorica, più rispondenti alla realtà le valutazioni qualitative e soggettive. Andrebbero forse chiariti i limiti che ciascuna di queste impostazioni presenta, se condotta singolarmente e isolatamente.
Pur rispettando e apprezzando alcuni punti di vista originali nella descrizione di certi indicatori, ritengo opportuno, infine, soffermarmi in particolare su un passaggio; nel descrivere i tre indici di efficienza (prestiti/personale FTE, acquisti/personale FTE, orario di apertura settimanale/personale FTE) si afferma che, mentre i primi due intendono valutare i carichi di lavoro reali, l'ultimo tende a misurare i carichi di lavoro “potenziali”. In realtà in tutti e tre i casi si ottengono dei valori fittizi, se vogliamo potenziali (visto che non tutto il personale fa acquisti o prestiti o si fa carico dell'intero orario di apertura), che dunque non hanno un significato in sé ma acquistano significato solo nel confronto dei valori. Un ultimo suggerimento riguarda lo stile di presentazione, che deve sforzarsi di essere tecnico e preciso, ma allo stesso tempo semplice e accessibile per chiunque. Comprendo la difficoltà di raggiungere un tale obiettivo, ma è importante cercare di evitare qualsiasi passaggio involuto o troppo permeato di tecnicismi. In certi casi, probabilmente, non avrebbe guastato qualche chiarimento d'insieme sul contesto padovano, anche soltanto in nota, come nel passaggio in cui si parla del prestito interbibliotecario centralizzato; forse prima di commentare i relativi dati bisognava infatti fornire qualche elemento conoscitivo su questa scelta organizzativa dell'Ateneo.Buono l'apparato bibliografico, eccetto per qualche piccolissima disattenzione stilistica (ad esempio del Follett Report in bibliografia finale non è indicato l'URL, presente invece in una nota a piè pagina); sarebbe inoltre stata consigliabile una nota di ultima consultazione nelle citazioni dei siti Web.
In conclusione, ritengo fondamentale l'operazione di messa in comune delle esperienze di valutazione proposta dall'Ateneo di Padova e sostenuta dall'AIB, in quanto risponde ad una esigenza sempre più diffusamente avvertita all'interno del contesto bibliotecario universitario italiano. La nascita delle prime forme di cooperazione e la spinta dal basso alla standardizzazione dei sistemi di valutazione (si pensi al Gruppo interuniversitario sulla misurazione, GIM, di cui proprio l'Ateneo di Padova è uno dei promotori) sono certamente segnali incoraggianti per il futuro.
Dettagli dell'articolo
Fascicolo
Sezione
Recensioni e segnalazioni
Questo lavoro è fornito con la licenza Creative Commons Attribuzione - Condividi allo stesso modo 4.0.