I dati che abbiamo e i dati che potremmo avere:
nuovi sviluppi nella valutazione delle biblioteche

di Roswitha Poll



Il sapere non è sufficiente, dobbiamo applicarlo.
Il volere non è sufficiente, dobbiamo fare.
Johann Wolfgang Goethe


1. Le basi per la valutazione delle biblioteche


Non è possibile valutare o misurare le prestazioni di una biblioteca senza conoscerne la mission specifica, poiché valutare la "bontà" di una biblioteca significa confrontare le sue prestazioni effettive con quelle desiderate, coerentemente con le finalità e gli obiettivi prefissati. La mission viene di solito definita al momento della nascita di una biblioteca, e viene poi ridefinita e precisata in seguito in rapporto agli sviluppi e alle nuove esigenze dell'istituzione o della comunità di cui la biblioteca fa parte. La mission dovrebbe descrivere in modo chiaro gli obiettivi che la biblioteca intende raggiungere, il suo bacino d'utenza e i servizi che intende offrire.
La funzione primaria delle biblioteche accademiche (che cioè afferiscono a università o politecnici) e delle biblioteche di ricerca in genere è quella di soddisfare i bisogni informativi legati all'apprendimento e alla ricerca. Il loro bacino d'utenza di solito è ben definito, ed equivale grosso modo ai membri di un'università o di un'istituzione analoga. Compito principale delle biblioteche pubbliche è invece offrire al loro bacino d'utenza (che di solito corrisponde all'insieme degli abitanti di una comunità) l'accesso gratuito e imparziale all'informazione. Le biblioteche pubbliche devono quindi tenere conto di questioni come l'istruzione, l'alfabetizzazione, l'information literacy, l'apprendimento permanente, gli interessi professionali, lo sviluppo creativo e le esigenze ricreative dei cittadini. Organizzare eventi culturali e fungere da punto di riferimento culturale di una comunità sono compiti generici delle biblioteche pubbliche.

Tuttavia obiettivi di carattere così generale non sono sufficienti a definire la mission di una singola biblioteca. I compiti specifici di una biblioteca infatti possono dipendere da una serie di fattori diversi come il bacino d'utenza di riferimento o la presenza di altre biblioteche sul territorio, oppure da specifici compiti di conservazione, di deposito legale, o infine da servizi rivolti a utenti con bisogni speciali. Gli obiettivi generali di una biblioteca sono in genere stabiliti nella sua mission, mentre quelli più dettagliati e specifici vengono solitamente inclusi all'interno di piani biennali, triennali o di durata anche maggiore.

2. Misurare la qualità in biblioteca


Negli ultimi decenni i criteri per valutare le prestazioni di una biblioteca sono leggermente cambiati: se infatti in passato un patrimonio consistente era considerato sinonimo di qualità (spesso senza tener conto dell'uso) oggi la questione si è spostata e quello che interessa è capire se e in che misura la biblioteca risponde efficacemente ai bisogni informativi dei suoi utenti, sia che lo faccia attraverso il suo patrimonio documentario, sia che lo faccia garantendo l'accesso a risorse informative di tutto il mondo. Per questo motivo la prossima edizione dello standard ISO 27891 adotterà una nuova definizione di "biblioteca":

Biblioteca (4. edizione dello standard ISO 2789, 2006):
Istituzione, o parte di un'istituzione, i cui obiettivi principali sono creare e mantenere un patrimonio documentario e facilitare l'uso delle risorse e degli strumenti necessari per soddisfare i bisogni informativi, educativi, di ricerca, culturali e ricreativi dei suoi utenti.

Biblioteca (5. edizione dello standard ISO 2789, di prossima pubblicazione):
Istituzione, o parte di un'istituzione, il cui obiettivo principale è di facilitare l'uso delle risorse, dei servizi e degli strumenti necessari per soddisfare i bisogni informativi, educativi, di ricerca, culturali e ricreativi dei suoi utenti (NB: le risorse informative possono essere messe a disposizione degli utenti attraverso un patrimonio documentario e/o garantendone in qualche modo l'accesso).

Gli altri fattori che hanno contribuito alla modifica dei criteri per valutare la qualità sono:

  • la sempre più diffusa percezione delle biblioteche (pubbliche, ma anche accademiche) come luoghi destinati alla comunicazione e allo svago;
  • l'impegno della biblioteca nel migliorare l'information literacy dei suoi utenti, affinché siano in grado di utilizzare al meglio le risorse informative a loro disposizione e i nuovi strumenti tecnologici;
  • la promozione attiva delle risorse e dei servizi accessibili online;
  • la digitalizzazione del patrimonio della biblioteca al fine di facilitarne l'accesso e per ragioni di conservazione.

Tuttavia a prescindere dai cambiamenti più recenti, alcuni tradizionali parametri per la valutazione della qualità rimangono tuttora validi. Eccone un breve elenco:
  • orientamento all'utente: i prodotti e i servizi della biblioteca devono rispondere alle necessità della popolazione servita;
  • accuratezza, affidabilità e rapidità: i servizi della biblioteca devono essere offerti con regolarità, efficacia, affidabilità e in tempi - se non rapidissimi - quanto meno accettabili;
  • accessibilità: l'accesso ai servizi deve essere il più semplice possibile (orari di apertura adeguati, sito web chiaro e immediato ecc.);
  • competenza e disponibilità: lo staff deve avere una formazione adeguata, deve essere disponibile e possedere buone capacità comunicative;
  • rapporto costo-efficacia: le procedure bibliotecarie devono essere ben organizzate e i servizi devono essere erogati con il minor dispendio di risorse possibile.

3. Metodi e dati utilizzabili per la valutazione delle biblioteche


Esistono molti metodi per valutare la qualità in biblioteca, e sono molti i dati che possono servire allo scopo, sempre che vengano raccolti e analizzati.
La valutazione delle prestazioni di una biblioteca infatti parte sempre da dati statistici che misurano la quantità (dati di spesa, dati sugli utenti, sull'uso, sulle collezioni, sullo staff ecc.). In un secondo momento è possibile passare ai misuratori di performance o di qualità, ossia a combinazioni di dati che attestano la buona o cattiva qualità delle prestazioni, utilizzando metodi più o meno obiettivi. In alternativa o in aggiunta ai misuratori di performance la biblioteca può far ricorso a un punto di vista più soggettivo, sollecitando l'opinione degli utenti (per esempio chiedendo il loro grado di soddisfazione circa i servizi erogati, le attività svolte in biblioteca, la richiesta di servizi futuri ecc.). Infine, la biblioteca può analizzare i dati di spesa calcolando sia i costi totali di funzionamento che il costo di specifici servizi o di singoli prodotti, come un prestito o la catalogazione di un documento. Si tratta di un metodo utile per commisurare gli obiettivi ai fondi disponibili.
Tutti questi metodi - che sono stati efficacemente descritti negli standard e/o nei manuali - sono in uso da parecchio tempo e vengono aggiornati periodicamente per stare al passo con gli sviluppi del mondo dell'informazione. L'articolo li passerà in rassegna in ordine ascendente: misurare la quantità - misurare la qualità - misurare il valore.

3.1. Misurare la quantità: le statistiche


Il confronto è una parte essenziale dell'analisi dei dati statistici, e confrontare le statistiche di biblioteche diverse - o di regioni o paesi diversi - è possibile solo se i dati vengono definiti con precisione, e se vengono raccolti ovunque allo stesso modo. Per questa ragione le statistiche di biblioteca sono state inserite all'interno dello standard ISO, l'Organizzazione internazionale per la standardizzazione.
Lo standard ISO 2789 uniforma la terminologia e le definizioni dei servizi e degli usi della biblioteca, e descrive in dettaglio come raccogliere e analizzare i dati al fine di avere risultati confrontabili e aggregabili. L'obiettivo è quello di includere nello standard il maggior numero possibile di tipologie di biblioteche e di servizi, sia tradizionali che digitali. Lo standard ISO (come gran parte delle statistiche nazionali) misura le dimensioni e i tipo di collezioni; il numero degli utenti e la loro composizione; l'uso della biblioteca in termini quantitativi (numero dei prestiti, numero delle transazioni di reference, numero delle visite in biblioteca, numero dei download ecc.); le risorse della biblioteca in termini di staff, di spazio, di denaro.
Lo standard ISO 2789 è apparso per la prima volta nel 1974 ed è stato necessario aggiornarlo a intervalli sempre più brevi (1991, 2003 e 2006), il lavoro per la 5. edizione è cominciato nel 2010 ed è quasi terminato. Quest'ultima revisione non è solo una conseguenza dei rapidi cambiamenti che negli ultimi anni hanno interessato le biblioteche e il mondo dell'informazione, il gruppo di lavoro ISO infatti ha identificato un certo numero di questioni che erano state trascurate dallo standard precedente (e dalle statistiche di biblioteca nazionali):
  • la conservazione del patrimonio, in special modo dei materiali rari, ossia il numero di documenti sottoposti a un trattamento di conservazione e/o preservazione e il numero di documenti digitalizzati (a fini di conservazione o per facilitarne l'accesso);
  • la cooperazione bibliotecaria, ovvero i progetti di cooperazione e le partnership formalizzate;
  • il numero di documenti inseriti in eventuali repository istituzionali;
  • l'attenzione dei media verso la biblioteca, quantificabile nel numero di relazioni e di articoli che hanno come oggetto la biblioteca;
  • il numero di ricerche pubblicate dai membri dello staff.

Laddove la biblioteca offre servizi e collezioni online, poi, sono necessarie nuove statistiche. L'edizione 2006 dello standard ISO 2789 aveva già introdotto la definizione di visita virtuale alla biblioteca «accesso remoto al sito web della biblioteca», ma nella prossima edizione saranno presi in considerazione tre fenomeni assolutamente nuovi:
  • i servizi interattivi ospitati dalla biblioteca (blog, wiki ecc.);
  • la presenza della biblioteca nei social network;
  • i servizi formattati appositamente in modo da essere accessibili da periferiche mobili come smartphone o palmari.
Infine, la questione più importante di cui il nuovo standard ISO 2789 terrà conto è forse quella dei servizi per utenti con necessità speciali (per problemi fisici, per differenze culturali oppure perché economicamente svantaggiati), non si tratta di un compito nuovo per le biblioteche, ma nell'ultimo decennio ha assunto un rilievo tale da rendere necessari dati statistici che misurino l'uso di questi servizi e l'impegno delle biblioteche - in termini economici e di staff - in questa direzione.
Lo standard riveduto illustrerà definizioni e metodi di raccolta dei dati per questi ed altri aspetti del servizio bibliotecario, l'ideale sarebbe poi che queste indicazioni venissero recepite anche a livello di statistiche nazionali.

3.2. Misurare la qualità: gli indicatori di performance


L'individuazione e l'applicazione di indicatori di performance o di qualità da parte delle biblioteche è una pratica ormai in uso da parecchi decenni, e sull'argomento sono stati pubblicati standard e manuali2. Gli indicatori di performance sono combinazioni di dati (ricavati dalle statistiche di biblioteca e da altre fonti) utili per valutare le prestazioni di una biblioteca, ovvero la qualità, l'efficacia e il rapporto costo-efficienza dei suoi servizi e delle sue attività in rapporto alla mission, ai compiti e agli obiettivi che si è prefissata. Essi rispondono a una serie ben precisa di domande:

Domande Indicatori
I servizi della biblioteca vengono utilizzati dalla popolazione3? Visite pro-capite (per membro della popolazione) alla biblioteca Prestiti pro-capite Download pro-capite delle collezioni digitali
Il patrimonio (sia cartaceo che digitale) della biblioteca viene incontro ai bisogni degli utenti? Indice di uso dei documenti (indice di uso del patrimonio) Effettiva disponibilità dei titoli richiesti
Le procedure della biblioteca sono bene organizzate? Ordine degli scaffali Velocità del prestito interbibliotecario
C'è un buon rapporto costo-efficienza? Costo per prestito Costo per visita

I dati utilizzati dagli indicatori di performance provengono per lo più dalle statistiche di biblioteca (il numero delle visite, dei posti a sedere ecc.), dalle statistiche dell'istituzione di cui la biblioteca fa parte (il numero di personale accademico, il numero di studenti ecc.), e dalle statistiche elaborate dal sistema di automazione bibliotecaria (numero dei prestiti, numero di utenti attivi, richieste di prestito interbibliotecario ecc.). I dati che devono essere raccolti manualmente (come per esempio il numero delle richieste di reference) sono relativamente pochi.
Gli indicatori di performance possono naturalmente essere anche utilizzati singolarmente (e anche un uso una tantum può offrire nuove soluzioni a specifici problemi), ma saranno tanto più efficaci se adottati in serie e applicati regolarmente nel corso degli anni. Il massimo dell'efficacia si otterrebbe con l'adozione di un unico set di indicatori (e di medesime procedure di raccolta e analisi dei dati) da parte di un gruppo di biblioteche.
Nonostante i pochi anni trascorsi dall'ultima edizione (pubblicata nel 2008) anche lo standard ISO 11620 - allo stesso modo dello standard ISO 2789 - è stato sottoposto a revisione, poiché alcuni degli indicatori si sono dimostrati obsoleti o inadeguati. Soprattutto però era necessario individuare dei nuovi indicatori di qualità per tutte quelle attività bibliotecarie che si sono sviluppate o modificate in questi ultimi anni (e la lista - non a caso - è molto simile a quella elaborata per le nuove statistiche di biblioteca):

  • conservazione, digitalizzazione e promozione delle collezioni rare della biblioteca;
  • cooperazione e partnership;
  • repository istituzionali;
  • servizi rivolti ai ricercatori;
  • servizi a carattere sociale.

La revisione dello standard ISO 11620 è tuttora in corso, nel 2012 dovrebbe essere presentato alla commissione ISO e messo ai voti.

3.3. Misurare il valore: outcome e impatto delle biblioteche


Gli indicatori di performance ci dicono se una biblioteca è efficiente ed efficace nell'offrire i propri servizi alla comunità, ma non dimostrano se e come gli utenti hanno beneficiato di quei servizi (questione che invece un ente finanziatore troverebbe assai interessante).
In passato il valore delle biblioteche per la società non veniva messo in dubbio. I bibliotecari non erano certo gli unici a pensare che la costruzione di un patrimonio documentario e la catalogazione e la conservazione di libri e documenti per le generazioni future fossero attività culturali indispensabili, né erano gli unici a pensare che i libri della biblioteca contribuissero ad accrescere il livello culturale della loro comunità.

Negli ultimi tempi tuttavia sembra che sia possibile trovare ogni tipo di informazione online e gli utenti potenziali spesso bypassano la biblioteca; di conseguenza questi argomenti hanno perso gran parte della loro forza. Le biblioteche si sono accorte molto presto del problema e in tutta risposta hanno sviluppato e testato una serie di metodi per individuare e dimostrare il proprio valore - ossia il loro impatto, o outcome - sugli utenti e sulla società.

Outcome o impatto? Beneficio o valore? Per questo tipo di studi non esiste ancora una terminologia standardizzata e spesso succede che lo stesso termine venga utilizzato con significati diversi: per questa ragione il gruppo di lavoro ISO, che nel dicembre del 2010 ha cominciato a lavorare a uno standard sulla valutazione d'impatto4, ha concordato una serie di definizioni:
Beneficio: utilità o effetto positivo, o comunque un aiuto di qualche tipo.
Impatto: differenza o cambiamento - tangibile o intangibile - che viene sperimentato da un individuo o da un gruppo di individui in conseguenza dell'uso dei servizi della biblioteca.
Outcome: effetto diretto e pianificato dell'output, finalizzato al raggiungimento degli scopi e degli obiettivi fissati nel piano di gestione della biblioteca (numero di utenti, indice di soddisfazione degli utenti ecc.). Sono inclusi in questa definizione anche gli outcome che interessano l'istituzione o la comunità di cui la biblioteca fa parte.
Output: prodotto delle procedure bibliotecarie, per esempio numero di titoli inseriti in catalogo, numero di prestiti, numero di richieste di reference ecc.
Valore: l'importanza - legata alla percezione di un beneficio reale o potenziale - delle biblioteche per gli stakeholder, ossia gli enti finanziatori, gli amministratori e gli utenti. Può essere incluso in questa definizione anche il valore economico.

Il termine che meglio di tutti descrive l'oggetto di questo tipo di indagine è impatto. Esso indica un cambiamento nelle abilità, nelle conoscenze o nel comportamento di un utente e coincide con alcune definizioni usate in passato:
«Gli outcome sono i risultati dell'uso della biblioteca intesi come influenza esercitata sul singolo utente»5.
«Gli outcome sono i modi in cui gli utenti della biblioteca cambiano in conseguenza dell'uso delle risorse e dei servizi dalla biblioteca»6.
L'impatto può essere individuale oppure riguardare gruppi di persone, come i membri di un'università o gli abitanti di un determinato territorio. L'impatto sugli individui può riguardare il benessere individuale, un cambiamento nel comportamento e negli atteggiamenti, lo sviluppo di abilità e competenze, il maggior successo nella ricerca, nello studio o nella professione. L'impatto sociale invece riguarda la vita della comunità e può toccare temi come l'inclusione sociale (degli anziani o degli immigrati, tanto per fare un esempio), l'accesso gratuito all'informazione, il rafforzamento della cultura e dell'identità locale, una maggiore attenzione alla salute grazie alla distribuzione di informazioni sanitarie serie e attendibili.
Il problema principale di questo tipo di valutazione sta nel fatto che le influenze sugli utenti possono naturalmente essere molteplici e di conseguenza è difficile distinguere quali cambiamenti sono dovuti direttamente alla biblioteca e quali invece ad altri fattori. Ma gli studi effettuati finora in tutto il mondo hanno comunque identificato un certo numero di metodi in grado di dare risultati interessanti.
Il gruppo di lavoro ISO classifica questi metodi in tre gruppi principali (adattati da una pubblicazione di David Streatfield del 20027):

  • evidenza osservata che risulta dall'osservazione diretta, dall'annotazione, dalla comparazione dei dati di uso con il successo scolastico o professionale ecc.;
  • evidenza sollecitata attraverso questionari, interviste, focus group;
  • evidenza dedotta da altri tipi di dati come le statistiche di biblioteca (per esempio la partecipazione agli eventi o il numero di visite), gli indici di soddisfazione degli utenti e gli indicatori di performance.

I primi due gruppi di metodi servono a investigare e dimostrare direttamente l'impatto, mentre il terzo gruppo accoglie un insieme di misure sostitutive che possono provare indirettamente l'impatto della biblioteca.
Sollecitare l'evidenza di un impatto della biblioteca significa utilizzare dati di tipo qualitativo. Si tratta di un tipo di misurazione sviluppato all'interno delle scienze sociali e sostanzialmente richiede agli utenti di descrivere la loro esperienza e di esprimere la loro opinione sulle biblioteche. Indagini, interviste, focus group e gruppi di discussione sono i metodi generalmente più usati, e possono includere sia gli utenti effettivi che quelli potenziali. In alternativa si può chiedere agli utenti un'autovalutazione delle abilità e delle competenze acquisite grazie all'uso della biblioteca e dei suoi servizi, ma raramente si tratta di una valutazione attendibile, in genere infatti gli utenti tendono a sopravvalutare le proprie competenze.

Nella maggior parte dei casi questi metodi producono una notevole mole di "evidenza aneddotica", storie che raccontano l'esperienza personale degli utenti e che hanno un valore inestimabile per illustrare meglio e rafforzare i risultati talvolta un po' aridi ottenuti con altri metodi.
L'evidenza osservata si basa più sui dati che sulle opinioni e i metodi che la utilizzano cercano di dimostrare l'impatto della biblioteca mediante la raccolta e il confronto di dati statistici e di altro genere. Ecco alcuni esempi di questo tipo di metodo:

  • l'osservazione del comportamento degli utenti prima e dopo aver utilizzato i servizi della biblioteca;
  • il data mining sul comportamento degli utenti;
  • la comparazione tra i dati di uso e il successo scolastico o professionale di un utente;
  • la somministrazione di test (per esempio prima e dopo un corso di formazione) mirati a verificare un aumento delle capacità e delle competenze degli utenti.

Quello dei test è un metodo piuttosto diffuso per provare un'influenza positiva delle biblioteche e solitamente si somministrano due test distinti, uno prima e l'altro dopo un corso - per esempio - di information literacy, in modo da verificare immediatamente il miglioramento delle competenze degli utenti.
Un aspetto particolare della valutazione d'impatto è quello del valore economico, ossia il valore della biblioteca espresso in termini monetari. A prima vista il valore economico sembrerebbe essere un aspetto secondario, e meno significativo del valore sociale per gli individui e per la comunità, ma invece può risultare molto interessante soprattutto per gli enti e i soggetti finanziatori della biblioteca. Per questa ragione esiste un numero considerevole di progetti e di pubblicazioni che dimostrano come una valutazione economica della biblioteca sia possibile, anche se non sempre poi i risultati di questi progetti convincono le autorità8.
Ad oggi, il metodo più utilizzato per dimostrare il valore economico dei servizi bibliotecari sembra essere la valutazione contingente, che prima di essere usata per le biblioteche era già conosciuta per la valutazione del valore economico di servizi e organizzazioni no-profit operanti nel campo della sanità, della tutela dell'ambiente, dell'istruzione e della cultura. La valutazione contingente chiede alle persone la loro "disponibilità a pagare": «quanto sarebbe disposto a pagare per continuare ad avere questa biblioteca?» e la loro "disponibilità a ricevere": «quale sarebbe la somma adeguata che vorrebbe ricevere a titolo di risarcimento se la biblioteca venisse chiusa?».
Verosimilmente la valutazione del valore economico può risultare più convincente se utilizzata non da sola, ma congiuntamente ad altri metodi che dimostrino l'impatto sociale delle biblioteche.
Si potrebbe parlare a lungo della valutazione d'impatto e di quale sia il metodo più efficace per individuare e perfino "misurare" l'impatto di una biblioteca, ma manca in questa sede lo spazio ed esistono d'altronde diversi manuali sull'argomento9: la letteratura esistente è stata raccolta e ordinata all'interno della sezione IFLA Statistics and Evaluation10.

4. I metodi ci sono... ma vengono usati?


4.1. Statistiche


Durante il convegno annuale IFLA, tenutosi a Buenos Aires nel 2004, il presidente e il vicepresidente allora in carica si presentarono all'incontro della sezione Statistics and Evaluation con una richiesta all'apparenza molto semplice: avevano bisogno di dati da presentare al World Summit on the Information Society e chiesero alla sezione di individuare un set di statistiche di biblioteca affidabili che fossero riconosciute e raccolte su scala mondiale. Ma statistiche del genere non esistevano - e non esistono neppure adesso, nonostante siano passati più di sette anni.
Per qualche anno l'Unesco ha pubblicato delle statistiche di biblioteca, ma ha smesso nel 2005, e il progetto Libecon ha raccolto alcuni dati relativi all'Europa, tuttavia - anche se i risultati sono ancora visibili sul sito11 - il progetto è ormai concluso.
L'unico modo per far sì che le statistiche di biblioteca si diffondessero a livello globale sembrava essere quello di definire un numero minimo di statistiche che fossero adattabili e adottabili dalle biblioteche di tutto il mondo. È nato così il progetto Global statistics12, frutto del lavoro congiunto della sezione Statistics and Evaluation dell'IFLA, dell'Istituto di Statistica dell'Unesco e della commissione ISO TC46/SC813. I tre partner coinvolti hanno stilato una breve lista di statistiche di biblioteca (mutuate dallo standard ISO 2789) e hanno sviluppato un questionario che è stato poi testato in America Latina e nei Caraibi.
Le domande del questionario sono risultate facili da comprendere e - almeno in parte - da rispondere, mentre la cosa di gran lunga più difficile è stata capire se (e dove) nei diversi paesi veniva effettuata una raccolta di dati statistici. Poiché era chiaro che lo stesso problema si sarebbe riproposto nella maggior parte del mondo, sono state individuate alcune istituzioni che in genere sono preposte alla raccolta di statistiche di biblioteche, spesso separatamente a seconda dei diversi tipi di biblioteche: gli istituti di statistica nazionali o regionali; i ministeri (della cultura, dell'istruzione o della ricerca); le associazioni di biblioteche e di bibliotecari.

Esistono paesi in cui le statistiche di biblioteca vengono raccolte a intervalli di tempo molto lunghi, paesi in cui interessano un'unica tipologia di biblioteca e paesi che proprio non ne fanno uso, è quindi chiaro che non sarà facile persuadere istituzioni e organismi tanto diversi tra loro a raccogliere periodicamente una serie di "statistiche globali". Il vero problema tuttavia è un altro: ciascun organismo nazionale infatti preferirà individuare un proprio set di statistiche, o quantomeno adattare e modificare le statistiche esistenti, per non parlare del fatto che molte statistiche di biblioteca hanno quello che si potrebbe definire un "background storico" che viene strenuamente difeso dai diretti interessati. Per tutte queste ragioni sarà piuttosto difficile concordare un unico set di indicatori su scala nazionale, anche per una sola tipologia di biblioteca, ogni biblioteca infatti è unica (o crede di esserlo), e non esistono definizioni o serie di dati statistici in grado di soddisfare tutti.
Prendiamo, per fare un esempio, un dato apparentemente semplice come il numero dei prestiti, che può essere calcolato in un'infinità di modi diversi, includendo o escludendo i rinnovi (che vanno a loro volta distinti in rinnovi effettuati dagli utenti e rinnovi effettuati in automatico dal sistema), includendo o escludendo il prestito interbibliotecario, il document delivery ecc. Per avere delle statistiche serie e attendibili è necessario che le definizioni e i metodi di raccolta dei dati siano standardizzati, poiché solo facendo uso dei medesimi dati (e di definizioni e metodi di raccolta uniformi) è possibile confrontare i risultati di regioni o paesi diversi. Ma nella realtà si tratta di un risultato ben lontano dall'essere raggiunto - a dispetto dello standard ISO 2789.

4.2. Indicatori di performance


Se le statistiche di biblioteca (che sono quanto meno note a tutti i bibliotecari) mancano di completezza e uniformità, va da sé che neppure la situazione degli indicatori di performance è molto rosea. Questo tipo di indicatori infatti è stato messo a punto solo negli ultimi decenni, ed è tuttora considerato in larga misura un inutile "di più" che ruba tempo ed energie preziose ad altre attività. Alcune biblioteche utilizzano sporadicamente alcuni di questi indicatori per scopi interni, ma nella maggior parte dei casi preferiscono non pubblicare i risultati - anche perché a volte succede che siano peggiori del previsto.
La misurazione delle prestazioni delle biblioteche sarà davvero efficace solo quando sarà possibile confrontare i risultati di biblioteche simili per struttura e pubblico, ma a tutt'oggi esistono pochissimi esempi di biblioteche che hanno preso parte a un progetto comune o cooperativo di lunga durata utilizzando gli stessi indicatori di performance e poi pubblicando - o anche solo confrontando tra loro - i risultati. Due di questi sono BIX - The Library Index e The Benchmarking system of the Netherlands University Libraries.
BIX14 è un'iniziativa tedesca che utilizza due serie separate di indicatori per le biblioteche pubbliche e per quelle accademiche e che pubblica ogni anno i suoi risultati sotto forma di classifica (che però verrà presto sostituita da una suddivisione in gruppi più ampli di biblioteche che rispondono a determinati standard qualitativi). La partecipazione al progetto è volontaria e va detto che le biblioteche che vi prendono parte sono molte meno di quelle che partecipano alla raccolta di statistiche a livello nazionale15. In futuro, al fine di rafforzare la validità dei risultati di BIX, laddove possibile, i risultati del progetto verranno confrontati con quelli delle statistiche nazionali di biblioteca.
The Benchmarking system of the Netherlands University Libraries16 è iniziato nel 1999 e coinvolge tuttora tutte le biblioteche universitarie e la biblioteca nazionale dei Paesi Bassi. I risultati non sono pubblicati e sono visibili solo ai partecipanti al progetto.
È interessante notare come entrambe le iniziative esaminino gli stessi aspetti dei servizi bibliotecari, e come la maggior parte degli indicatori siano mutuati dallo standard ISO 11620, ciò rende i risultati confrontabili tra gruppi di biblioteche e tra paesi diversi tra loro.

4.3. Valutazione d'impatto


La valutazione d'impatto era teoricamente destinata ad avere ancora meno sostenitori degli altri tipi di valutazione, ma la situazione attuale di crisi ha leggermente cambiato le carte in tavola. Oggi infatti tutte le istituzioni finanziate con denaro pubblico sono chiamate a dimostrare il loro effetto positivo sulla comunità, e questa pressione dall'esterno potrebbe accelerare l'adozione di nuovi metodi di valutazione. Sebbene al momento esistano diversi progetti, l'unica applicazione regolare e costante della valutazione d'impatto sembra essere quella utilizzata per testare l'information literacy degli utenti17: in questo campo infatti l'acquisizione di determinate abilità e competenze è fissata in standard ben precisi18 e i test effettuati prima e dopo una seduta di formazione forniscono risultati chiari ed evidenti. Le indagini di impatto vere e proprie, in cui agli utenti viene chiesto di valutare i benefici ricevuti dalla biblioteca, sono ancora molto rare19, nel nuovo standard ISO 16439 saranno inclusi alcuni esempi, distinguendo tra impatto sociale ed impatto economico.

5 Che cosa si può fare?


Se l'intento delle biblioteche non è soltanto quello di preservare il loro budget e le loro sedi, ma anche di salvaguardare il loro ruolo all'interno delle comunità e delle istituzioni (e più in generale della società), c'è bisogno di dati quantitativi e qualitativi, di indagini sugli utenti e di "storie" in grado di provare il loro impatto sociale ed economico. Esiste una scelta relativamente ampia di metodi per raccogliere e rendere noti questo tipo di dati e la cooperazione continua e istituzionalizzata all'interno di reti regionali e nazionali può da una parte ridurre al minimo lo sforzo e dall'altra moltiplicarne esponenzialmente l'efficacia. Ciò che dice il Manifesto IFLA delle statistiche in biblioteca può essere applicato anche ad altri metodi di valutazione:
«La raccolta di dati partirà sempre dalla singola biblioteca, ma con l'intento di arrivare ad una compilazione a livello regionale e nazionale. A questo scopo, le biblioteche dovrebbero formare reti regionali/nazionali per la rilevazione statistica, così da permettere al sistema bibliotecario dell'intera nazione di lavorare in modo efficiente20».

NOTE

[1] ISO 2789 (2006): Information and documentation - International Library Statistics (Informazione e documentazione - Statistiche di biblioteca internazionali).

[2] ISO 11620 (2008, 2. ed.): Information and documentation - Library performance indicators (Informazione e documentazione - Indicatori di performance per le biblioteche); ISO/TR 28118 (2009): Information and documentation - Performance measures for national libraries (Informazione e documentazione - Indicatori di performance per le biblioteche nazionali); Roswitha Poll - Peter te Boekhorst, Measuring quality: performance measurement in libraries, München: Saur, 2007 (IFLA Publications 127).

[3] La popolazione (o utenza primaria) di una biblioteca accademica è costituita dai membri dell'istituzione, come per esempio il corpus docente e gli studenti di un'Università. La popolazione di una biblioteca pubblica invece in genere coincide con la popolazione del territorio di riferimento.

[4] ISO/AWI 16439: Methods and procedures for assessing the impact of libraries (Metodi e procedure per valutare l'impatto delle biblioteche).

[5] Don H. Revill, Performance measures for academic libraries, «Encyclopedia of Library and Information Science», 45, suppl. 10, (1990), p. 316.

[6] ACRL (Association of College and Research Libraries), Task Force on Academic Library Outcomes Assessment Report, 1998, http://www.ala.org/ala/mgrps/divs/acrl/publications/whitepapers/taskforceacademic.cfm.

[7] David Streatfield, Getting at the impact of services, in Stuart Brewer, Value and impact studies: getting the benefit, Loughborough: Capital Planning Information, 2002, p. 37-42.

[8] Vedi per esempio Svanhild Aabø, The value of public libraries, 71st IFLA General Conference and Council Oslo 2005, http://www.ifla.org/IV/ifla71/papers/119e-Aabo.pdf; Hye-Kyung Chung, The contingent valuation method in public libraries, «Journal of Librarianship and Information Science», 40 (2008), n. 2, p. 71-80; Donald S. Elliott [et al.], Measuring your library's value: how to do a cost-benefit analysis for your public library, Chicago: American Library Association, 2007; Glen E. Holt - Donald S. Elliott, Measuring outcomes: applying cost-benefit analysis to middle-sized and smaller public libraries, «Library Trends», 51 (2003), n. 3, p. 424-440; Caroline Pung - Ann Clarke - Laurie Patten, Measuring the economic impact of the British Library, «New Review of Academic Librarianship», 10 (2004), n. 1, p.79-102; Roxanne Missingham, Libraries and economic value: a review of recent literature, «Performance Measurement and Metrics», 6 (2005), n. 3, p.142-158.

[9] Peter Hernon - Robert E. Dugan, An action plan for outcomes assessment in your library, Chicago: American Library Association, 2002; Sharon Markless - David Streatfield, Evaluating the impact of your library, London: Facet, 2006.

[10] Roswitha Poll, Bibliography "Impact and outcome of libraries", 2011, http://www.ifla.org/files/statistics-and-evaluation/publications/Bibl_Impact_Outcome-Jan2011.pdf.

[11] http://www.libecon.org.

[12] http://www.ifla.org/statistics-and-evaluation/global-statistics.

[13] ISO TC46/SC8: Information and documentation: Quality - statistics and performance evaluation (Informazione e documentazione: Qualità - Statistiche e valutazione di performance).

[14] BIX. Der Bibliotheksindex, http://www.bix-bibliotheksindex.de/.

[15] http://www.hbz-nrw.de/angebote/dbs/.

[16] Hubert Laeven - Anja Smit, A project to benchmark university libraries in The Netherlands, «Library Management», 24 (2003), n. 6/7, p. 291-304; Henk J. Voorbij, Ten years of experience with benchmarking in Dutch academic libraries, in: Library statistics for the 21st century world, a cura di Michael Heaney, Munich: Saur, 2009 (IFLA Publications 138), p. 245-260.

[17] Per uno sguardo d'insieme vedi Andrew Walsh, Information literacy assessment: where do we start?, «Journal of librarianship and information science»,, 41 (2009), n. 1, p. 19-28.

[18] ACRL (Association of College and Research Libraries), Information Literacy Competency Standards for Higher Education, 2010, http://www.ala.org/ala/mgrps/divs/acrl/standards/informationliteracycompetency.cfm.

[19] Laser Foundation, Libraries Impact Project, 2005, http://www.bl.uk/aboutus/acrossuk/workpub/laser/news/awards2004/laserfinal6.pdf; Chrissie Stewart - Steve Thornton, The use of an impact survey as a measure of special library performance, in: Proceedings of the 3rd Northumbria International Conference on Performance Measurement in Libraries and Information Services 1999, Newcastle upon Tyne, 2000, p. 243-246.

[20] IFLA Library Statistics Manifesto (traduzione italiana di Michele Gobello), 2010, http://www.ifla.org/files/statistics-and-evaluation/publications/Library-statistics-Manifesto-it.pdf.


ROSWITHA POLL, presidente della commissione tecnica ISO TC 46 SC 8 "Quality - statistics and performance evaluation", ex direttrice della Münster University and Regional Library, e-mail pollr@uni-muenster.de.
L'articolo riprende, ampliandolo, l'intervento tenuto al Seminario primaverile del CIBER, presso il CNR di Roma, i giorni 7-8 giugno 2011. Ultima consultazione dei siti web citati: 10 settembre 2011.