Il volere non è sufficiente, dobbiamo fare.
Johann Wolfgang Goethe
Tuttavia obiettivi di carattere così generale non sono sufficienti a definire la mission di una singola biblioteca. I compiti specifici di una biblioteca infatti possono dipendere da una serie di fattori diversi come il bacino d'utenza di riferimento o la presenza di altre biblioteche sul territorio, oppure da specifici compiti di conservazione, di deposito legale, o infine da servizi rivolti a utenti con bisogni speciali. Gli obiettivi generali di una biblioteca sono in genere stabiliti nella sua mission, mentre quelli più dettagliati e specifici vengono solitamente inclusi all'interno di piani biennali, triennali o di durata anche maggiore.
Biblioteca (4. edizione dello standard ISO 2789, 2006):
Istituzione, o parte di un'istituzione, i cui obiettivi principali sono creare e mantenere un patrimonio documentario e facilitare l'uso delle risorse e degli strumenti necessari per soddisfare i bisogni informativi, educativi, di ricerca, culturali e ricreativi dei suoi utenti.
Biblioteca (5. edizione dello standard ISO 2789, di prossima pubblicazione):
Istituzione, o parte di un'istituzione, il cui obiettivo principale è di facilitare l'uso delle risorse, dei servizi e degli strumenti necessari per soddisfare i bisogni informativi, educativi, di ricerca, culturali e ricreativi dei suoi utenti (NB: le risorse informative possono essere messe a disposizione degli utenti attraverso un patrimonio documentario e/o garantendone in qualche modo l'accesso).
Gli altri fattori che hanno contribuito alla modifica dei criteri per valutare la qualità sono:
Domande | Indicatori |
I servizi della biblioteca vengono utilizzati dalla popolazione3? | Visite pro-capite (per membro della popolazione) alla biblioteca Prestiti pro-capite Download pro-capite delle collezioni digitali |
Il patrimonio (sia cartaceo che digitale) della biblioteca viene incontro ai bisogni degli utenti? | Indice di uso dei documenti (indice di uso del patrimonio) Effettiva disponibilità dei titoli richiesti |
Le procedure della biblioteca sono bene organizzate? | Ordine degli scaffali Velocità del prestito interbibliotecario |
C'è un buon rapporto costo-efficienza? | Costo per prestito Costo per visita |
I dati utilizzati dagli indicatori di performance provengono per lo più dalle statistiche di biblioteca (il numero delle visite, dei posti a sedere ecc.), dalle statistiche dell'istituzione di cui la biblioteca fa parte (il numero di personale accademico, il numero di studenti ecc.), e dalle statistiche elaborate dal sistema di automazione bibliotecaria (numero dei prestiti, numero di utenti attivi, richieste di prestito interbibliotecario ecc.). I dati che devono essere raccolti manualmente (come per esempio il numero delle richieste di reference) sono relativamente pochi.
Gli indicatori di performance possono naturalmente essere anche utilizzati singolarmente (e anche un uso una tantum può offrire nuove soluzioni a specifici problemi), ma saranno tanto più efficaci se adottati in serie e applicati regolarmente nel corso degli anni. Il massimo dell'efficacia si otterrebbe con l'adozione di un unico set di indicatori (e di medesime procedure di raccolta e analisi dei dati) da parte di un gruppo di biblioteche.
Nonostante i pochi anni trascorsi dall'ultima edizione (pubblicata nel 2008) anche lo standard ISO 11620 - allo stesso modo dello standard ISO 2789 - è stato sottoposto a revisione, poiché alcuni degli indicatori si sono dimostrati obsoleti o inadeguati. Soprattutto però era necessario individuare dei nuovi indicatori di qualità per tutte quelle attività bibliotecarie che si sono sviluppate o modificate in questi ultimi anni (e la lista - non a caso - è molto simile a quella elaborata per le nuove statistiche di biblioteca):
Gli indicatori di performance ci dicono se una biblioteca è efficiente ed efficace nell'offrire i propri servizi alla comunità, ma non dimostrano se e come gli utenti hanno beneficiato di quei servizi (questione che invece un ente finanziatore troverebbe assai interessante).
In passato il valore delle biblioteche per la società non veniva messo in dubbio. I bibliotecari non erano certo gli unici a pensare che la costruzione di un patrimonio documentario e la catalogazione e la conservazione di libri e documenti per le generazioni future fossero attività culturali indispensabili, né erano gli unici a pensare che i libri della biblioteca contribuissero ad accrescere il livello culturale della loro comunità.
Negli ultimi tempi tuttavia sembra che sia possibile trovare ogni tipo di informazione online e gli utenti potenziali spesso bypassano la biblioteca; di conseguenza questi argomenti hanno perso gran parte della loro forza. Le biblioteche si sono accorte molto presto del problema e in tutta risposta hanno sviluppato e testato una serie di metodi per individuare e dimostrare il proprio valore - ossia il loro impatto, o outcome - sugli utenti e sulla società.
Outcome o impatto? Beneficio o valore? Per questo tipo di studi non esiste ancora una terminologia standardizzata e spesso succede che lo stesso termine venga utilizzato con significati diversi: per questa ragione il gruppo di lavoro ISO, che nel dicembre del 2010 ha cominciato a lavorare a uno standard sulla valutazione d'impatto4, ha concordato una serie di definizioni:
Beneficio: utilità o effetto positivo, o comunque un aiuto di qualche tipo.
Impatto: differenza o cambiamento - tangibile o intangibile - che viene sperimentato da un individuo o da un gruppo di individui in conseguenza dell'uso dei servizi della biblioteca.
Outcome: effetto diretto e pianificato dell'output, finalizzato al raggiungimento degli scopi e degli obiettivi fissati nel piano di gestione della biblioteca (numero di utenti, indice di soddisfazione degli utenti ecc.). Sono inclusi in questa definizione anche gli outcome che interessano l'istituzione o la comunità di cui la biblioteca fa parte.
Output: prodotto delle procedure bibliotecarie, per esempio numero di titoli inseriti in catalogo, numero di prestiti, numero di richieste di reference ecc.
Valore: l'importanza - legata alla percezione di un beneficio reale o potenziale - delle biblioteche per gli stakeholder, ossia gli enti finanziatori, gli amministratori e gli utenti. Può essere incluso in questa definizione anche il valore economico.
Il termine che meglio di tutti descrive l'oggetto di questo tipo di indagine è impatto. Esso indica un cambiamento nelle abilità, nelle conoscenze o nel comportamento di un utente e coincide con alcune definizioni usate in passato:
«Gli outcome sono i risultati dell'uso della biblioteca intesi come influenza esercitata sul singolo utente»5.
«Gli outcome sono i modi in cui gli utenti della biblioteca cambiano in conseguenza dell'uso delle risorse e dei servizi dalla biblioteca»6.
L'impatto può essere individuale oppure riguardare gruppi di persone, come i membri di un'università o gli abitanti di un determinato territorio. L'impatto sugli individui può riguardare il benessere individuale, un cambiamento nel comportamento e negli atteggiamenti, lo sviluppo di abilità e competenze, il maggior successo nella ricerca, nello studio o nella professione. L'impatto sociale invece riguarda la vita della comunità e può toccare temi come l'inclusione sociale (degli anziani o degli immigrati, tanto per fare un esempio), l'accesso gratuito all'informazione, il rafforzamento della cultura e dell'identità locale, una maggiore attenzione alla salute grazie alla distribuzione di informazioni sanitarie serie e attendibili.
Il problema principale di questo tipo di valutazione sta nel fatto che le influenze sugli utenti possono naturalmente essere molteplici e di conseguenza è difficile distinguere quali cambiamenti sono dovuti direttamente alla biblioteca e quali invece ad altri fattori. Ma gli studi effettuati finora in tutto il mondo hanno comunque identificato un certo numero di metodi in grado di dare risultati interessanti.
Il gruppo di lavoro ISO classifica questi metodi in tre gruppi principali (adattati da una pubblicazione di David Streatfield del 20027):
Nella maggior parte dei casi questi metodi producono una notevole mole di "evidenza aneddotica", storie che raccontano l'esperienza personale degli utenti e che hanno un valore inestimabile per illustrare meglio e rafforzare i risultati talvolta un po' aridi ottenuti con altri metodi.
L'evidenza osservata si basa più sui dati che sulle opinioni e i metodi che la utilizzano cercano di dimostrare l'impatto della biblioteca mediante la raccolta e il confronto di dati statistici e di altro genere. Ecco alcuni esempi di questo tipo di metodo:
Quello dei test è un metodo piuttosto diffuso per provare un'influenza positiva delle biblioteche e solitamente si somministrano due test distinti, uno prima e l'altro dopo un corso - per esempio - di information literacy, in modo da verificare immediatamente il miglioramento delle competenze degli utenti.
Un aspetto particolare della valutazione d'impatto è quello del valore economico, ossia il valore della biblioteca espresso in termini monetari. A prima vista il valore economico sembrerebbe essere un aspetto secondario, e meno significativo del valore sociale per gli individui e per la comunità, ma invece può risultare molto interessante soprattutto per gli enti e i soggetti finanziatori della biblioteca. Per questa ragione esiste un numero considerevole di progetti e di pubblicazioni che dimostrano come una valutazione economica della biblioteca sia possibile, anche se non sempre poi i risultati di questi progetti convincono le autorità8.
Ad oggi, il metodo più utilizzato per dimostrare il valore economico dei servizi bibliotecari sembra essere la valutazione contingente, che prima di essere usata per le biblioteche era già conosciuta per la valutazione del valore economico di servizi e organizzazioni no-profit operanti nel campo della sanità, della tutela dell'ambiente, dell'istruzione e della cultura. La valutazione contingente chiede alle persone la loro "disponibilità a pagare": «quanto sarebbe disposto a pagare per continuare ad avere questa biblioteca?» e la loro "disponibilità a ricevere": «quale sarebbe la somma adeguata che vorrebbe ricevere a titolo di risarcimento se la biblioteca venisse chiusa?».
Verosimilmente la valutazione del valore economico può risultare più convincente se utilizzata non da sola, ma congiuntamente ad altri metodi che dimostrino l'impatto sociale delle biblioteche.
Si potrebbe parlare a lungo della valutazione d'impatto e di quale sia il metodo più efficace per individuare e perfino "misurare" l'impatto di una biblioteca, ma manca in questa sede lo spazio ed esistono d'altronde diversi manuali sull'argomento9: la letteratura esistente è stata raccolta e ordinata all'interno della sezione IFLA Statistics and Evaluation10.
Durante il convegno annuale IFLA, tenutosi a Buenos Aires nel 2004, il presidente e il vicepresidente allora in carica si presentarono all'incontro della sezione Statistics and Evaluation con una richiesta all'apparenza molto semplice: avevano bisogno di dati da presentare al World Summit on the Information Society e chiesero alla sezione di individuare un set di statistiche di biblioteca affidabili che fossero riconosciute e raccolte su scala mondiale. Ma statistiche del genere non esistevano - e non esistono neppure adesso, nonostante siano passati più di sette anni.
Per qualche anno l'Unesco ha pubblicato delle statistiche di biblioteca, ma ha smesso nel 2005, e il progetto Libecon ha raccolto alcuni dati relativi all'Europa, tuttavia - anche se i risultati sono ancora visibili sul sito11 - il progetto è ormai concluso.
L'unico modo per far sì che le statistiche di biblioteca si diffondessero a livello globale sembrava essere quello di definire un numero minimo di statistiche che fossero adattabili e adottabili dalle biblioteche di tutto il mondo. È nato così il progetto Global statistics12, frutto del lavoro congiunto della sezione Statistics and Evaluation dell'IFLA, dell'Istituto di Statistica dell'Unesco e della commissione ISO TC46/SC813. I tre partner coinvolti hanno stilato una breve lista di statistiche di biblioteca (mutuate dallo standard ISO 2789) e hanno sviluppato un questionario che è stato poi testato in America Latina e nei Caraibi.
Le domande del questionario sono risultate facili da comprendere e - almeno in parte - da rispondere, mentre la cosa di gran lunga più difficile è stata capire se (e dove) nei diversi paesi veniva effettuata una raccolta di dati statistici. Poiché era chiaro che lo stesso problema si sarebbe riproposto nella maggior parte del mondo, sono state individuate alcune istituzioni che in genere sono preposte alla raccolta di statistiche di biblioteche, spesso separatamente a seconda dei diversi tipi di biblioteche: gli istituti di statistica nazionali o regionali; i ministeri (della cultura, dell'istruzione o della ricerca); le associazioni di biblioteche e di bibliotecari.
Esistono paesi in cui le statistiche di biblioteca vengono raccolte a intervalli di tempo molto lunghi, paesi in cui interessano un'unica tipologia di biblioteca e paesi che proprio non ne fanno uso, è quindi chiaro che non sarà facile persuadere istituzioni e organismi tanto diversi tra loro a raccogliere periodicamente una serie di "statistiche globali". Il vero problema tuttavia è un altro: ciascun organismo nazionale infatti preferirà individuare un proprio set di statistiche, o quantomeno adattare e modificare le statistiche esistenti, per non parlare del fatto che molte statistiche di biblioteca hanno quello che si potrebbe definire un "background storico" che viene strenuamente difeso dai diretti interessati. Per tutte queste ragioni sarà piuttosto difficile concordare un unico set di indicatori su scala nazionale, anche per una sola tipologia di biblioteca, ogni biblioteca infatti è unica (o crede di esserlo), e non esistono definizioni o serie di dati statistici in grado di soddisfare tutti.
Prendiamo, per fare un esempio, un dato apparentemente semplice come il numero dei prestiti, che può essere calcolato in un'infinità di modi diversi, includendo o escludendo i rinnovi (che vanno a loro volta distinti in rinnovi effettuati dagli utenti e rinnovi effettuati in automatico dal sistema), includendo o escludendo il prestito interbibliotecario, il document delivery ecc. Per avere delle statistiche serie e attendibili è necessario che le definizioni e i metodi di raccolta dei dati siano standardizzati, poiché solo facendo uso dei medesimi dati (e di definizioni e metodi di raccolta uniformi) è possibile confrontare i risultati di regioni o paesi diversi. Ma nella realtà si tratta di un risultato ben lontano dall'essere raggiunto - a dispetto dello standard ISO 2789.
Se le statistiche di biblioteca (che sono quanto meno note a tutti i bibliotecari) mancano di completezza e uniformità, va da sé che neppure la situazione degli indicatori di performance è molto rosea. Questo tipo di indicatori infatti è stato messo a punto solo negli ultimi decenni, ed è tuttora considerato in larga misura un inutile "di più" che ruba tempo ed energie preziose ad altre attività. Alcune biblioteche utilizzano sporadicamente alcuni di questi indicatori per scopi interni, ma nella maggior parte dei casi preferiscono non pubblicare i risultati - anche perché a volte succede che siano peggiori del previsto.
La misurazione delle prestazioni delle biblioteche sarà davvero efficace solo quando sarà possibile confrontare i risultati di biblioteche simili per struttura e pubblico, ma a tutt'oggi esistono pochissimi esempi di biblioteche che hanno preso parte a un progetto comune o cooperativo di lunga durata utilizzando gli stessi indicatori di performance e poi pubblicando - o anche solo confrontando tra loro - i risultati. Due di questi sono BIX - The Library Index e The Benchmarking system of the Netherlands University Libraries.
BIX14 è un'iniziativa tedesca che utilizza due serie separate di indicatori per le biblioteche pubbliche e per quelle accademiche e che pubblica ogni anno i suoi risultati sotto forma di classifica (che però verrà presto sostituita da una suddivisione in gruppi più ampli di biblioteche che rispondono a determinati standard qualitativi). La partecipazione al progetto è volontaria e va detto che le biblioteche che vi prendono parte sono molte meno di quelle che partecipano alla raccolta di statistiche a livello nazionale15. In futuro, al fine di rafforzare la validità dei risultati di BIX, laddove possibile, i risultati del progetto verranno confrontati con quelli delle statistiche nazionali di biblioteca.
The Benchmarking system of the Netherlands University Libraries16 è iniziato nel 1999 e coinvolge tuttora tutte le biblioteche universitarie e la biblioteca nazionale dei Paesi Bassi. I risultati non sono pubblicati e sono visibili solo ai partecipanti al progetto.
È interessante notare come entrambe le iniziative esaminino gli stessi aspetti dei servizi bibliotecari, e come la maggior parte degli indicatori siano mutuati dallo standard ISO 11620, ciò rende i risultati confrontabili tra gruppi di biblioteche e tra paesi diversi tra loro.
La valutazione d'impatto era teoricamente destinata ad avere ancora meno sostenitori degli altri tipi di valutazione, ma la situazione attuale di crisi ha leggermente cambiato le carte in tavola. Oggi infatti tutte le istituzioni finanziate con denaro pubblico sono chiamate a dimostrare il loro effetto positivo sulla comunità, e questa pressione dall'esterno potrebbe accelerare l'adozione di nuovi metodi di valutazione. Sebbene al momento esistano diversi progetti, l'unica applicazione regolare e costante della valutazione d'impatto sembra essere quella utilizzata per testare l'information literacy degli utenti17: in questo campo infatti l'acquisizione di determinate abilità e competenze è fissata in standard ben precisi18 e i test effettuati prima e dopo una seduta di formazione forniscono risultati chiari ed evidenti. Le indagini di impatto vere e proprie, in cui agli utenti viene chiesto di valutare i benefici ricevuti dalla biblioteca, sono ancora molto rare19, nel nuovo standard ISO 16439 saranno inclusi alcuni esempi, distinguendo tra impatto sociale ed impatto economico.
Se l'intento delle biblioteche non è soltanto quello di preservare il loro budget e le loro sedi, ma anche di salvaguardare il loro ruolo all'interno delle comunità e delle istituzioni (e più in generale della società), c'è bisogno di dati quantitativi e qualitativi, di indagini sugli utenti e di "storie" in grado di provare il loro impatto sociale ed economico. Esiste una scelta relativamente ampia di metodi per raccogliere e rendere noti questo tipo di dati e la cooperazione continua e istituzionalizzata all'interno di reti regionali e nazionali può da una parte ridurre al minimo lo sforzo e dall'altra moltiplicarne esponenzialmente l'efficacia. Ciò che dice il Manifesto IFLA delle statistiche in biblioteca può essere applicato anche ad altri metodi di valutazione:
«La raccolta di dati partirà sempre dalla singola biblioteca, ma con l'intento di arrivare ad una compilazione a livello regionale e nazionale. A questo scopo, le biblioteche dovrebbero formare reti regionali/nazionali per la rilevazione statistica, così da permettere al sistema bibliotecario dell'intera nazione di lavorare in modo efficiente20».
NOTE
[1] ISO 2789 (2006): Information and documentation - International Library Statistics (Informazione e documentazione - Statistiche di biblioteca internazionali).
[2] ISO 11620 (2008, 2. ed.): Information and documentation - Library performance indicators (Informazione e documentazione - Indicatori di performance per le biblioteche); ISO/TR 28118 (2009): Information and documentation - Performance measures for national libraries (Informazione e documentazione - Indicatori di performance per le biblioteche nazionali); Roswitha Poll - Peter te Boekhorst, Measuring quality: performance measurement in libraries, München: Saur, 2007 (IFLA Publications 127).
[3] La popolazione (o utenza primaria) di una biblioteca accademica è costituita dai membri dell'istituzione, come per esempio il corpus docente e gli studenti di un'Università. La popolazione di una biblioteca pubblica invece in genere coincide con la popolazione del territorio di riferimento.
[4] ISO/AWI 16439: Methods and procedures for assessing the impact of libraries (Metodi e procedure per valutare l'impatto delle biblioteche).
[5] Don H. Revill, Performance measures for academic libraries, «Encyclopedia of Library and Information Science», 45, suppl. 10, (1990), p. 316.
[6] ACRL (Association of College and Research Libraries), Task Force on Academic Library Outcomes Assessment Report, 1998, http://www.ala.org/ala/mgrps/divs/acrl/publications/whitepapers/taskforceacademic.cfm.
[7] David Streatfield, Getting at the impact of services, in Stuart Brewer, Value and impact studies: getting the benefit, Loughborough: Capital Planning Information, 2002, p. 37-42.
[8] Vedi per esempio Svanhild Aabø, The value of public libraries, 71st IFLA General Conference and Council Oslo 2005, http://www.ifla.org/IV/ifla71/papers/119e-Aabo.pdf; Hye-Kyung Chung, The contingent valuation method in public libraries, «Journal of Librarianship and Information Science», 40 (2008), n. 2, p. 71-80; Donald S. Elliott [et al.], Measuring your library's value: how to do a cost-benefit analysis for your public library, Chicago: American Library Association, 2007; Glen E. Holt - Donald S. Elliott, Measuring outcomes: applying cost-benefit analysis to middle-sized and smaller public libraries, «Library Trends», 51 (2003), n. 3, p. 424-440; Caroline Pung - Ann Clarke - Laurie Patten, Measuring the economic impact of the British Library, «New Review of Academic Librarianship», 10 (2004), n. 1, p.79-102; Roxanne Missingham, Libraries and economic value: a review of recent literature, «Performance Measurement and Metrics», 6 (2005), n. 3, p.142-158.
[9] Peter Hernon - Robert E. Dugan, An action plan for outcomes assessment in your library, Chicago: American Library Association, 2002; Sharon Markless - David Streatfield, Evaluating the impact of your library, London: Facet, 2006.
[10] Roswitha Poll, Bibliography "Impact and outcome of libraries", 2011, http://www.ifla.org/files/statistics-and-evaluation/publications/Bibl_Impact_Outcome-Jan2011.pdf.
[12] http://www.ifla.org/statistics-and-evaluation/global-statistics.
[13] ISO TC46/SC8: Information and documentation: Quality - statistics and performance evaluation (Informazione e documentazione: Qualità - Statistiche e valutazione di performance).
[14] BIX. Der Bibliotheksindex, http://www.bix-bibliotheksindex.de/.
[15] http://www.hbz-nrw.de/angebote/dbs/.
[16] Hubert Laeven - Anja Smit, A project to benchmark university libraries in The Netherlands, «Library Management», 24 (2003), n. 6/7, p. 291-304; Henk J. Voorbij, Ten years of experience with benchmarking in Dutch academic libraries, in: Library statistics for the 21st century world, a cura di Michael Heaney, Munich: Saur, 2009 (IFLA Publications 138), p. 245-260.
[17] Per uno sguardo d'insieme vedi Andrew Walsh, Information literacy assessment: where do we start?, «Journal of librarianship and information science»,, 41 (2009), n. 1, p. 19-28.
[18] ACRL (Association of College and Research Libraries), Information Literacy Competency Standards for Higher Education, 2010, http://www.ala.org/ala/mgrps/divs/acrl/standards/informationliteracycompetency.cfm.
[19] Laser Foundation, Libraries Impact Project, 2005, http://www.bl.uk/aboutus/acrossuk/workpub/laser/news/awards2004/laserfinal6.pdf; Chrissie Stewart - Steve Thornton, The use of an impact survey as a measure of special library performance, in: Proceedings of the 3rd Northumbria International Conference on Performance Measurement in Libraries and Information Services 1999, Newcastle upon Tyne, 2000, p. 243-246.
[20] IFLA Library Statistics Manifesto (traduzione italiana di Michele Gobello), 2010, http://www.ifla.org/files/statistics-and-evaluation/publications/Library-statistics-Manifesto-it.pdf.