Version classiqueVersion mobile

Bibliotecas Universitárias: diálogos transatlânticos

 | 
Luiza Baptista Melo
, 
Tatiana Sanches

Pensar a avaliação da qualidade do impacto e do valor das bibliotecas universitárias

Um imperativo

Luiza Baptista Melo

Résumé

Os bibliotecários e os gestores de informação das bibliotecas académicas interrogam-se sobre o risco crescente da visibilidade, da qualidade, do impacto e do valor destes serviços, uma vez que os recursos científicos digitais estão a surgir muito rapidamente e provocam grandes alterações de forma acelerada. Esse paradigma pode tornar as bibliotecas especialmente vulneráveis quando as instituições precisam tomar decisões financeiras difíceis, como cortes destinados a departamentos ou áreas de atividade específicas. Em tempos de severa crise económica e restrições orçamentais, as ferramentas, métodos e indicadores podem fornecer dados muito úteis para a Library Advocacy, a negociação e a promoção destes serviços que demonstram a qualidade, o impacto e o valor para a instituição, as chefias de topo, os governos e a sociedade.
Nas circunstâncias atuais, é particularmente importante que as bibliotecas sejam capazes de mostrar que funcionam de modo eficiente, mas também que prestam serviços com qualidade, impacto e valor para o sucesso dos objetivos das instituições que as albergam. Existe vastíssima literatura, a nível mundial, sobre a avaliação de bibliotecas académicas. Neste capítulo, pretende-se expor uma breve revisão da literatura sobre esta problemática.

Note de l’auteur

Este texto revisto e alargado tem por base a dissertação de Mestrado em Arquivos, Bibliotecas e Ciências da Informação apresentada à Universidade de Évora, em 2005, intitulada Avaliação do desempenho das Bibliotecas da Universidade do Porto: modelo de atuação e a dissertação para obtenção do grau de Doutor em Ciências da Informação e Documentação, apresentada à Universidade de Évora, em 2012, intitulada O Impacto das Fontes Eletrónicas de Informação no Ensino Superior em Portugal: uma contribuição para a sua análise no contexto das bibliotecas, da autoria de Luiza Baptista Melo.

Texte intégral

Introdução

1O conhecimento e a experiência do funcionamento das bibliotecas universitárias em Portugal levaram a concluir que há necessidade de lançar mão a instrumentos efetivos de gestão do desempenho para aperfeiçoar a qualidade, o impacto e o valor dos serviços prestados.

2Na atualidade, as bibliotecas académicas, em todo o mundo, recorrem a avaliações da qualidade, do impacto e do valor. Estas permitem obter dados relevantes na tomada de decisões nas respetivas instituições, a nível de políticas nacionais e internacionais.

3É indispensável que os serviços de documentação e informação do ensino superior utilizem metodologias válidas, para mostrar que os recursos e serviços prestados representam uma cooperação muito revelante para a educação, a investigação e a cultura desenvolvidos na instituição a que pertencem e na sociedade onde estão inseridos.

4A génese deste texto foi a verificação de que muitos profissionais, que gerem bibliotecas universitárias em Portugal, necessitam de instrumentos de apoio ao desenvolvimento de avaliações do desempenho de serviços no caminho da melhoria da qualidade e do impacto.

5Neste capítulo pretende-se, por um lado elucidar, de um modo objetivo e útil, sobre os progressos da investigação em metodologias, instrumentos e indicadores para a avaliação do desempenho, da qualidade, do impacto e do valor, ao longo de várias décadas, das bibliotecas universitárias e, por outro lado, oferecer aos colegas bibliotecários uma contribuição, que se pensa necessária e proveitosa para a elaboração de projetos, segundo normas internacionais criteriosas a nível organizacional e sistemático.

As estatísticas

6A temática da avaliação dos serviços nas bibliotecas universitárias, na primeira metade do século XX, não apresenta grande relevância. Consultando a bibliografia existente, há poucas reflexões sobre este assunto. Nessa época, os bibliotecários não estavam preocupados com essa questão porque na realidade não necessitavam de avaliar. Lancaster (2010, p. 1-7), na sua memorável comunicação, na segunda conferência QQML - Qualitative and Quantitative Methods in Libraries, na ilha grega de Creta, questionou com humor que "As bibliotecas eram universalmente aceites como "boas" pelas comunidades às quais serviam, deste modo, qual a necessidade de serem avaliadas?" Por outro lado, o notável investigador britânico, radicado nos Estados Unidos da América do Norte, afirmou ainda que «os bibliotecários quantificavam. Eles sabiam quantos livros eram emprestados, quantas perguntas de referência se realizavam (recebidas e respondidas), talvez quantas pessoas entravam na biblioteca. Mas as quantificações não significam avaliações». As estatísticas reunidas apresentavam apenas os eventos bem-sucedidos. Nessa época, nada foi quantificado sobre possíveis falhas nos serviços (LANCASTER, 2010, p. 1-7). Neste contexto, é interessante referir o trabalho pioneiro de James Thayer Gerould que iniciou a recolha de dados estatísticos das universidades americanas, de 1907 a 1938. Os estudos continuaram até 1962 pelos seus sucessores e a partir dessa altura a Association of Research Libraries (ARL) passa a liderar esse processo (MOLYNEUX,1986, p. VII). Iniciativas similares surgem noutros países, nomeadamente, Reino Unido, Canadá e Alemanha (BELANGER & HILLER, 2014).

7É pertinente identificarmos que as cinco leis propostas por S.R. Ranganathan, de 1931, «Os livros são para ser utilizados; todo o leitor tem o seu livro; todo o livro tem seu leitor; poupe o tempo do leitor; e, a biblioteca é um organismo em crescimento», são uma notável base para critérios de avaliação das bibliotecas, pois referem questões relacionadas com as expetativas dos utilizadores das bibliotecas (LANCASTER, 2010, p. 1-7).

8As estatísticas constituem um instrumento fundamental para a análise e a disseminação do conhecimento e apoiam a tomada de decisão na gestão e nas políticas a implementar. Em Portugal, o INE – Instituto Nacional de Estatística, entidade oficial nacional, reporta à EUROSTAT – Comissão Europeia os dados estatísticos. As estatísticas oficiais sobre bibliotecas em Portugal têm sido parcialmente representadas. Existem dados destes serviços, desde 1960 e de 2000-2003, esses dados eram obtidos a partir de inquéritos às bibliotecas. O procedimento foi suspenso em 2003 (LOURENÇO, 2018).

9O Manifesto da International Federation of Library Associations (IFLA, 2010) sobre as estatísticas das bibliotecas refere que:

A informação quantitativa e qualitativa sobre os serviços bibliotecários, sobre a utilização das bibliotecas e sobre os seus utilizadores é essencial para demonstrar e confirmar o inestimável valor criado pelas bibliotecas. Uma vez que o valor informativo de tais estatísticas depende da sua abrangência e atualidade, será necessário a participação de todas as bibliotecas do país.

10O surgimento de profundas alterações nas bibliotecas académicas, uma consequência do desenvolvimento aceleradíssimo das tecnologias de informação e comunicação (TIC) é um paradigma que veio proporcionar enormes investimentos em informação científica e tecnológica em vários países do mundo. A relevância de avaliar, quantificar as atividades das bibliotecas académicas, criar indicadores de desempenho normalizados, adequados e determinar o seu impacto e valor na comunidade em que estão inseridas tornou-se uma questão crucial para a obtenção de dados que auxiliem os processos de decisão e de gestão destes serviços. Nestas circunstâncias, a importância de avaliar a eficácia e o desempenho das bibliotecas universitárias é determinante e um tópico essencial para compreender como os serviços se desenvolvem, se otimizam, adotam alterações no futuro próximo e apoiam as ações de Library Advocacy.

Avaliações de desempenhos, qualidade e indicadores estandardizados

11Nas últimas décadas do século XX, ocorreram grandes mudanças nas organizações, resultantes das necessidades do Homem e da constante inovação tecnológica. Essas transformações refletem novos conceitos na gestão das empresas, onde a relação com o cliente é um dado fundamental. Determinar essa relação vai traduzir-se em aferir o grau em que o serviço ou determinado produto corresponde às expetativas que levam o cliente a obtê-lo. Como nos refere Parasuraman «o serviço prestado diz-se de qualidade quando é capaz de confirmar, de forma consistente, as expectativas que levaram o cliente a adquiri-lo» (PARASURAMAN, ZEITHAML & BERRY, 1985).

12As organizações necessitam de analisar, avaliar e reformular a sua gestão, encarar o processo de mudança, sob pena de não resistirem à forte pressão da competitividade.

13Nesta circunstância de mudança, os profissionais, que gerem bibliotecas e centros de documentação e informação, têm desenvolvido estudos cujo principal objetivo é encontrar metodologias para monitorizar a prestação dos serviços. Em meados dos anos 70, começam a surgir em diversos países, nomeadamente nos anglo-saxónicos, manuais de avaliação publicados por associações profissionais de bibliotecários. A título de exemplo, apresenta-se na Tabela nº 1 uma seleção dos mesmos.

Tabela 1 - Manuais de avaliação para bibliotecas

DEPROSPO, E.R.; ALTMAN, E.; BEASLEY, K.E. - Performance measures for public libraries. Chicago, Illinois: American Library Association, 1973.

MOORE, N., Measuring the performance of public libraries: a draft manual. Paris: UNESCO, 1989. VAN HOUSE, N.A.; WEIL, B.T.;

McCLURE, C.R. - Measuring academic library performance: a pratical approach. Chicago, Illinois: Association of College and Research Libraries, American Library Association, 1990.

LANCASTER, F.W. - If you want to evaluate your library. 2nd revised edition. London: Library Association, 1993.

POLL, Roswitha; TE BOEKHORST, Peter; HIRALDO, R.A. - Measuring quality: international guidelines for performance measurement in academic libraries. Munich; New Providence: K.G. Saur, 1996, (IFLA Publications; 76).

14Esses estudos apresentam técnicas para avaliar parâmetros que aferem a qualidade dos serviços porque para uma gestão da qualidade é necessário medir, gerir e controlar parâmetros para que a qualidade seja mais que uma intenção. As bibliotecas desenvolveram uma cultura organizacional na qual a avaliação é uma componente chave para a compreensão do espaço entre o utilizador e a biblioteca. Esta cultura orientou-se no sentido de promover sistemas de avaliação para bibliotecas e serviços de informação fundamentados em modelos já integrados em Sistemas de Gestão de Qualidade (SGQ) das organizações.

15A noção de qualidade era um conceito existente na produção do artesanato. O artífice que criava e estava envolvido do princípio ao fim na atividade produtiva tinha uma visão global e um interesse direto em obter qualidade.

16No início do século XVIII, com o surgimento da máquina a vapor, emergiu a industrialização e assistiu-se a uma grande transformação na atividade produtiva. Nessa época envolveram-se muitos operários, técnicos e engenheiros que fabricaram em grande quantidade e se desinteressam pela qualidade. Com a mecanização, os trabalhadores passaram a ser pagos em função das quantidades que produziam, e a qualidade foi deixada para um segundo plano.

17Na década de 1950, com o aparecimento da energia nuclear, os programas espaciais e o fabrico de armas de precisão, surge novamente a necessidade de testar e verificar o produto final. É o renascimento do interesse pela qualidade (CAMINADA, 2005, p. 21).

18No contexto da Gestão da Qualidade Total (GQT), filosofia oriunda do Japão que envolve uma procura de excelência (alto grau de perfeição) nos resultados das organizações, os investigadores perceberam que a qualidade total se traduz numa grande renovação da cultura da empresa com um firme empenhamento de aperfeiçoamento contínuo (BANK,1998). Como resposta prática a esta cultura produziram-se modelos que se traduziam em instrumentos e técnicas de gestão de qualidade. Segue-se a enumeração de alguns deles:

Prémio Deming, criado no Japão em 1950, pela JUSE (Japanese Union of Scientists and Engineers) para promover o desenvolvimento continuado do controle da qualidade nesse país (BANK, 1998);

• Série de Normas 9000 da Qualidade, criadas na Europa, em 1986, pela ISO – International Standard Organization, representam um modelo de assegurar a qualidade do produto final, descrevendo os fundamentos de um Sistema de Gestão de Qualidade (SGQ) e definindo os respetivos conceitos. No início do século XXI, surgiu uma reformulação significativa da noção da gestão da qualidade que se encontra incluída na edição das Normas da série 9000:2000. Nestas, acentua-se a necessidade da melhoria contínua das organizações de modo que se possam manter sempre competitivas (Instituto Português da Qualidade, 2000);

• Prémio nacional de qualidade Malcolm Baldrige, desenvolvido nos Estados Unidos da América do Norte em 1988 (BANK, 1998);

• Modelo de Excelência da EFQM desenvolvido, em 1999, pela European Foundation for Quality Management (2003).

19No enquadramento dos serviços de informação e documentação, o bibliotecário da Faculdade de Tradução e Documentação da Universidade de Salamanca, Arévalo (2003) refere que alguns destes modelos são distintos, mas apresentam muitos elementos em comum.

20Na década de 80 do século XX, com a automatização dos serviços, os conceitos utilizados nas técnicas de avaliação das bibliotecas tornam-se baseados nas entradas/saídas (inputs/outputs). As entradas são as fontes de investimentos da biblioteca (por exemplo: o dinheiro, os recursos humanos, o espaço, as coleções, os equipamentos informáticos, as bases de dados comerciais em linha). As atividades identificam-se como sendo os serviços/recursos da biblioteca que transformam os inputs (por exemplo: o tratamento técnico da informação, licenças das publicações eletrónicas disponíveis, ações de capacitação). Os outputs referem-se aos serviços/recursos resultantes dos investimentos da biblioteca, a sua avaliação possibilita quantificar o trabalho realizado (por exemplo: o número de livros em circulação, o número de respostas a pedidos de referência, o número de terminais disponíveis, o número de bases de dados acessíveis, a quantidade de material impresso nos terminais da biblioteca, o número de consultas em bases de dados, etc.).

21Nos anos 90, esses conceitos desenvolvem-se no sentido da perceção da qualidade dos serviços e as técnicas de avaliação focaram-se nos resultados (outcomes) (VAN HOUSE... et al., 1987, 1990). As avaliações da qualidade dos serviços e os seus resultados diferiram substancialmente das técnicas de mensuração das entradas/saídas, no entanto, existe uma relação entre eles.

22Nesta conjuntura, as estatísticas e as avaliações de desempenho em bibliotecas e serviços de informação e documentação são temáticas das Ciências da Informação que atingiram destaque de revelo nas Northumbria International Conferences on Performance Measurement in Libraries and Information Services, que se realizam periodicamente, desde 1995, no Reino Unidos. As atas destes eventos refletem como ao longo do tempo e a nível mundial os gestores de informação e documentação estão atentos e investigam com entusiasmo a temática. A designação atual destes eventos é LibPMC - International Conference on Performance Measurement in Libraries e a organização adotou a prática de publicar as suas comunicações em revistas da especialidade Performance Measurement & Metrics, Library Review e Library Management and Information & Learning Science (LibPMC, 2019).

23Em 1993, o Grupo de Trabalho das Bibliotecas Universitárias da BAD- Associação Portuguesa de Bibliotecários Arquivistas e Documentalistas referiu que a informatização dos catálogos foi um avanço importante na realização do tratamento técnico desenvolvido nas bibliotecas universitárias, mas tornou-se evidente que não acrescentou mais-valia ao melhoramento da qualidade dos serviços prestados aos utilizadores (Associação Portuguesa de Bibliotecários, Arquivistas e Documentalistas, 1993).

24Cardoso e Rodrigues (1994) apresentam um estudo dos Leitores e Bibliotecas na Universidade do Minho, onde transparece uma visão sobre a problemática da gestão das bibliotecas universitárias.

Cientes de que as bibliotecas universitárias devem adoptar uma gestão centrada no utilizador e não na organização, os autores apresentam os resultados de um inquérito aos utilizadores (alunos) das bibliotecas da Universidade do Minho, promovido para recolher dados objectivos que permitissem ajustar, ainda mais, o funcionamento das bibliotecas ao perfil de interesses dos seus leitores.

25Esta investigação foi apresentada ao 5º Congresso Nacional de Bibliotecários Arquivistas e Documentalistas, em Lisboa. Crê-se que à época, inspirados neste trabalho, tenham decorrido outras avaliações a nível das bibliotecas universitárias não sendo, no entanto, do domínio público.

26A satisfação do utilizador vai tornar-se um elemento capital na gestão das bibliotecas universitárias. Avaliá-lo e analisá-lo vão ser ações fundamentais para implementação de novas políticas de melhoramento da qualidade dos serviços, como nos diz Gouveia (1995):

Apostar na identificação de necessidades, desejos e preferências do utilizador e na importância de os satisfazer adequadamente fazendo coincidir os serviços oferecidos com as necessidades – expressas e pressentidas – do utilizador é pôr toda a ênfase numa postura activa e de procura de alternativas às pressões dos diferentes contextos ambientais.

27A avaliação na perspetiva do utilizador dos serviços surge, no final dos anos 90, com a criação de novos conceitos e metodologias que são utilizados na gestão e, nomeadamente, na gestão da qualidade.

28Como já referido, o manual Measuring Quality: international guidelines for performance measurement in academic libraries, é uma obra fundamental, que apresenta de modo sistematizado metodologias, modelos e indicadores para os processos de avaliação e gestão de qualidade das bibliotecas. A avaliação de desempenho é o processo de recolha e análise de dados que descreve a concretização das atividades da biblioteca, ou seja, «Comparing how the library is performing (performance) with what it means to accomplish (mission) and what it wants to achieve (objectives)» (POLL and Te BOCKHORST, 1996).

29Alguns anos depois, em 2007, Roswitha Poll e Peter Te Bockhorst publicaram a segunda edição revista e ampliada do manual, intitulada Measuring Quality. Nessa época, estes bibliotecários integraram a seção de estatística e avaliação da The International Federation of Library Associations and Institutions (IFLA) para as bibliotecas académicas e especializadas. Esta obra foi rapidamente reconhecida por todos os profissionais da área de bibliotecas e ciência da informação, em todo o mundo, como uma excelente ferramenta para a avaliação destas organizações.

30Em 1987, é criada a família das normas internacionais ISO9000. Estas normas da International Organization for Standardization vêm promover e dinamizar uma cultura de avaliação da qualidade e da certificação dos serviços das organizações, onde são envolvidas todas as partes interessadas (stakeholders), políticos, gestores, público, utilizadores e colaboradores (ISO 9000:2005).

31A qualidade surge então definida como «um conjunto de características inerentes que atende aos requisitos» ISO 9000, 3.1.1 (ISO 9001:2000). No sentido de acompanhar o movimento mundial para a qualidade, o Governo Português institui o Sistema de Qualidade em Serviços Públicos, Decreto-Lei nº166/99 de 13 de maio, onde o conceito de qualidade em serviços públicos é definido como sendo «uma filosofia de gestão que permite alcançar uma maior eficácia e eficiência dos serviços, a desburocratização e simplificação de processos e procedimentos e a satisfação das necessidades explícitas e implícitas dos cidadãos».

32O Secretariado para a Modernização Administrativa (SMA), ainda em 1999, desenvolve um estudo intitulado «Auto-avaliação da qualidade em serviços públicos» (PINTO, … et al., 1999). O documento destina-se a ser um instrumento de diagnóstico da qualidade das organizações e baseia-se no Modelo Europeu de Gestão de Qualidade criado pela European Foundation for Quality Management (EFQM). O Modelo de Excelência da EFQM apresenta-se com base num conjunto de valores europeus, os quais foram declarados, na Convenção Europeia dos Direitos Humanos (1953) e na Carta Social Europeia (atualizada em 1996). Este tratado foi ratificado pelos 47 Estados-Membros do Conselho da Europa e os seus princípios encontram-se integrados nas legislações nacionais.

33No setor das bibliotecas e centros de documentação surge, em 1999, um manual de medição da qualidade «MonitorDoc: monitorização da qualidade nos centros de documentação» (PORTUGAL. Ministério... 1999), da autoria de um grupo de investigadores do Centro de Documentação da Secretaria Geral do Ministério da Educação e, desenvolvido segundo os critérios da EFQM. Como nos explicam Ferreira e Figueiredo (2000), o instrumento de monitorização da qualidade nas bibliotecas, MonitorDoc, não é apenas um instrumento de autoavaliação da qualidade dos serviços; é também um processo que vem valorizar as bibliotecas e demostrar a importante função social que estes serviços desempenham na sociedade.

A auto-avaliação, por aplicação do MonitorDoc, vem chamar a atenção para o papel social das bibliotecas como organizações valorizadoras dos processos de aprendizagem individual e da formação ao longo da vida, e de cooperação, constituindo estes os mais fortes elementos da sua ação. (FERREIRA; FIGUEIREDO, 2000)

34Em Portugal, na conjuntura da implementação dos Sistemas de Gestão de Qualidade, em instituições de ensino politécnico, há a destacar o trabalho que foi sendo desenvolvido pelos Serviços Centrais do Instituto Politécnico do Porto com a obtenção do Prémio da Qualidade, no Concurso Qualidade em Serviços Públicos 2000 e o Certificado de Conformidade nº9311/35/08101/57102 da SGQ ICS – International Certification Services. Os Serviços de Documentação e Publicações – Biblioteca do Instituto Politécnico do Porto aderiram ao processo de colocar em execução um Sistema de Gestão de Qualidade com o objetivo de melhorar a eficácia, a eficiência e o funcionamento da organização para uma otimização da qualidade dos serviços prestados aos utilizadores (LAGE, 2003).

35Em 1999, surge a CAF - Estrutura Comum de Avaliação (Common Assessment Framework), resultado do apoio e da cooperação desenvolvida entre os Estados Membros da União Europeia (UE) sob a égide das sucessivas Presidências (Reino Unido e Áustria em 1998, Alemanha e Finlândia em 1999 e Portugal em 2000). A CAF é uma ferramenta de fácil utilização, e incorpora os conceitos e critérios base dos modelos de excelência da EFQM - European Foundation For Quality Management e da Academia Speyer. Em 2002, é apresentada uma versão atualizada (EUROPEAN INSTITUTE OF PUBLIC ADMINISTRATION, 2003) que se baseia na experiência adquirida durante a implementação e utilização da primeira versão da CAF. Este instrumento de autoavaliação que constitui uma avaliação fundamentada em evidências inclui um quadro de pontuação de critérios de meios que identifica o ciclo PDCA, criado em 1950, por W. Edwards Deming. O método PDCA (plan, do check, act) estabelece um ciclo, onde se considera: primeiro - planear; segundo - realizar; terceiro - examinar os resultados e quarto - continuar ou corrigir.

36Na evolução destes estudos distingue-se uma abordagem onde é formulada a noção de valor das bibliotecas. Procura-se estabelecer o seu valor para gestores, agentes e clientes. Concebem-se as perspetivas desses grupos principais e, em seguida, avalia-se a relevância do serviço da biblioteca. A utilização da metodologia Balanced Scorecard (KAPLAN & NORTON, 1992) é desenvolvida para definir as metas, com base na visão, objetivos, e assume-se que os serviços devem ser alterados para uma melhoria dos processos. O Balanced Scorecard é um instrumento de gestão cujo conceito surgiu no setor comercial, mas pode ser adaptado aos contextos das bibliotecas e serviços de informação. Traduz uma perspetiva de planeamento da instituição (missão, visão estratégica e objetivos) num sistema de indicadores de desempenho abrangendo as seguintes áreas do desempenho: financeira, utilizadores, processos internos e melhoria das atividades. Poll afirma que, o sistema integrado de dados financeiros e não financeiros, inputs e outputs, perspetivas externas (utilizadores) e internas (processos e recursos humanos), objetivos e medidas a serem implementadas, causas e resultados, combinados podem produzir uma avaliação equilibrada da biblioteca (POLL, 2003).

37Foot (1998) refere que benchmarking pode ser definido como um método de determinar o desempenho dos serviços e comparar sistematicamente com outros desempenhos para obter as melhores práticas. Atualmente, essa técnica é praticada em muitas bibliotecas e envolve os conceitos de comparação sistemática, processos, desempenho e pesquisa de melhores práticas. De acordo com Rowena Cullen (2003), supõe-se que o benchmarking aplicado às bibliotecas se concentre em duas questões: primeiro recolha de dados e comparação de «entradas» e «saídas». Esta prática inclui estatísticas de vários tipos de bibliotecas: nacional, universidade e pública; comparação de orçamentos; número e valor das aquisições; número de funcionários profissionais; transações de referências e serviços eletrónicos. Segundo, na relação da análise funcional dos processos com instituições similares. Isso, geralmente, é executado com o propósito dos participantes beneficiarem deste exercício e aprenderem uns com os outros.

38Nesta circunstância e com enfoque no impacto das bibliotecas académicas, Peter Hernon (2002a) explica a noção de avaliação dos resultados, referindo que eles estão relacionados com os programas, formações e serviços da biblioteca, durante um certo período (por exemplo: duração do desempenho académico, ano letivo, frequência de um curso) em que uma alteração foi produzida. A avaliação dos resultados refere-se a uma transformação de comportamento, competências, conhecimentos, perceção ou atitudes resultantes do contacto com atividades da biblioteca, ações de formação, workshops ou serviços (HERNON, 2002b).

39Em 2000, o projeto LibQUAL+ foi criado baseada no SERVQUAL (que se desenvolveu a partir da teoria dos Gaps), essa teoria surgiu dos estudos e pesquisas dos investigadores norte-americanos Parasuraman, Zeithaml e Berry (1985). Esses trabalhos levaram à criação dos primeiros modelos específicos com critérios para a avaliação da qualidade dos serviços prestados nas bibliotecas. Essa teoria define cinco Gaps identificadas entre as expetativas e as perceções dos utilizadores dos serviços. Cook, Heath e Thompson (2003), em 2002, atualizaram o modelo considerando as seguintes dimensões: tangibilidade, credibilidade, recetividade, garantia e empatia. Com base no modelo SERVQUAL, a Association of Research Libraries (ARL), em colaboração com a Texas A&M University, desenvolveu um projeto com a designação LIBQUAL+. Este projeto teve como objetivo definir uma ampla gama de avaliação da qualidade dos serviços das bibliotecas académicas. O LibQUAL+ é um instrumento para a avaliação da qualidade dos produtos e serviços das bibliotecas, com enfoque nas perceções e expetativas dos leitores. Este instrumento de avaliação, composto, inicialmente, por 22 questões, considera três dimensões: biblioteca como espaço, prática de atendimento e controle das informações (COOK, HEATH e THOMPSON, 2003).

40Os objetivos do LibQUAL+, criados à época, envolvem as seguintes questões: promover uma cultura de excelência no fornecimento do serviço das bibliotecas; apoiar as bibliotecas a compreender melhor as perceções dos utilizadores sobre a qualidade dos serviços prestados; recolher e interpretar sistematicamente o feedback dos utilizadores da biblioteca ao longo do tempo; fornecer informações de avaliação comparáveis de instituições similares; identificar as melhores práticas no serviço das bibliotecas; e apoiar os funcionários com competências analíticas para interpretar e agir com base em dados. Para perceber a dimensão deste estudo, desde 2017, referem-se os seguintes dados estatísticos: foram realizadas 3.085 pesquisas institucionais, implementadas em 1.383 instituições em 34 países, 19 traduções para idiomas e mais de 2,8 milhões de entrevistados. Cerca de 37% dos utilizadores, que responderam aos questionários, forneceram comentários detalhados sobre a maneira como utilizam as bibliotecas. A crescente comunidade de participantes do LibQUAL+ e o seu extenso conjunto de dados são recursos importantes para melhorar os serviços da biblioteca (ASSOCIATION OF RESEARCH LIBRARIES, 2018). É de mencionar que a metodologia LibQUAL+ deu lugar à fundamentação de algumas investigações em Portugal e no Brasil. Existem inúmeros trabalhos académicos que fazem uma abordagem deste instrumento e explicam que ele é extremamente útil para a obtenção de dados na aplicação de técnicas de benchmarking e no reconhecimento de boas práticas. Um projeto consolidado, inspirado no modelo SERVQUAL e no LibQUAL+ é sem dúvida o Programa de Avaliação da Qualidade de Produtos e Serviços do Sistema Integrado das Bibliotecas da Universidade de São Paulo (PAQ - SIBi/USP), implementado por um grupo de bibliotecários, no Brasil. Este programa teve o seu início em 2000 e apresentou importante desenvolvimento na primeira década do século XXI (SAMPAIO … et al., 2004).

41Em 2008, Poll argumentou que o espaço físico da biblioteca, ao contrário de todas as expetativas, não perdeu o seu valor. Há um aumento muito significativo do número de atividades que lá ocorrem. Nesses locais, as informações são armazenadas em vários suportes. Essa abundância criou excelentes condições para o trabalho em grupo, atraindo muitos utilizadores. Esses espaços servem para que os utilizadores realizem as suas tarefas académicas e as suas investigações. As bibliotecas tornaram-se locais de intensa atividade cultural, espaços privilegiados para a ocorrência de exposições, apresentações de novas publicações, discussão de grupos literários, palestras de diversas áreas do conhecimento e ações culturais e educacionais.

42As metodologias de avaliação de desempenho foram criadas com base no conceito de indicador de desempenho. De acordo com a ISO11620, define-se «como a expressão numérica simbólica ou verbal derivada das estatísticas da biblioteca e dada para caracterizar o desempenho da biblioteca» (ISO 11620, 1998). A ISO11620 apresenta um conjunto de definições e metodologias, que são o resultado de muita prática acumulada em diferentes locais do mundo onde esse assunto merecia um conhecimento notório. A ISO 11620:1998 inclui a definição de 29 indicadores de desempenho associados a um ou mais métodos de obtenção de dados e análise dos resultados. Em 2014, foi publicada a 3ª edição, atualizada e revista desta norma internacional. A ISO11620 não inclui indicadores de desempenho para formação de utilizadores, nem para serviços eletrónicos em geral. Para preencher essa lacuna, em relação à medição de produtos de informação eletrónica, existe atualmente a ISO2789:2013 - Informação e documentação - International Library Statistics que «inclui definições e procedimentos de contagem para todos os tipos de recursos e serviços que as bibliotecas oferecem aos seus utilizadores» (ISO:2789, 2013). Essa norma é um poderoso instrumento de orientação no processo de obtenção de estatísticas e avaliação do desempenho de bibliotecas e serviços de informação. A avaliação das bibliotecas deve basear-se em várias estratégias simultaneamente, dependendo da necessidade do bibliotecário obter determinados dados, para a preparação de seus relatórios de planeamento, gestão e organização de serviços. Bertot, refletindo sobre esta questão, afirma que «as bibliotecas precisam conhecer que inputs existem e que outputs produzem para determinar a qualidade e os resultados desses serviços/recursos» (BERTOT, 2003).

Avaliações do impacto e do valor pelas evidências

43Após 2010, as metodologias de avaliação recorrem a outras conceções que são o impacto e o valor que devem ser mensurados pelas evidências. Este tipo de avaliação das bibliotecas aparece como resposta à necessidade de verificar o papel das bibliotecas numa sociedade em que as informações, agora em formato digital e na Internet, afiguram-se com características muito diferentes.

Impacto

44Jager (2017) refere que os efeitos do impacto sobre os indivíduos em termos de melhoria podem ser medidos pelos seguintes princípios: habilidades e competências; mudanças na atitude e comportamento dos utilizadores individuais; atividades de estudo ou pesquisa mais bem-sucedidas; perspetivas de carreira e melhoria do bem-estar individual. Por outro lado, o impacto da biblioteca académica na instituição ou comunidade pode ser analisado com a verificação da visibilidade positiva da biblioteca na comunidade e no seu sucesso em atrair uma nova população estudantil que, anteriormente, não possuía essa experiência porque não frequentava a biblioteca. Esta investigadora afirma ainda que, embora o impacto social possa ser principalmente considerado em função das bibliotecas públicas, o impacto da participação da biblioteca académica também é evidente nas seguintes situações: maior experiência de inclusão social e coesão que podem resultar do trabalho em grupo ou participando de aulas de formação de pesquisa de informação; acesso e assistência com tecnologia de informação; acesso à internet; apoio na educação; e, maior conscientização da cultura local (por exemplo, exposições, eventos culturais) e reconhecimento da diversidade cultural.

45Em 2014, a ISO16439 Information and documentation — Methods and procedures for assessing the impact of libraries, versão ampliada e revista, sugere um conjunto de conceitos já criados e novos indicadores. É uma ferramenta essencial para avaliar o impacto e o valor das bibliotecas. Os métodos descritos nesta norma não refletem todos os instrumentos ou técnicas possíveis de estimação, mas apresentam-se os mais amplamente implementados em todo o mundo e que provaram ser mais eficazes na avaliação do impacto da biblioteca. Existem muitos tipos diferentes de bibliotecas, com distintos serviços e populações, com escala de características específicas (estrutura, financiamento, gestão, etc.) que afetam vários fatores. Há uma grande variação, é essencial apreender que nem todas as variáveis estão presentes nesses padrões. No entanto, estas normas internacionais de avaliação têm a possibilidade de ser usadas em qualquer tipo de biblioteca. A ISO16439:2014 define termos para avaliação de impacto das bibliotecas e especifica métodos para os seguintes questões: planeamento estratégico e gestão interna da qualidade das bibliotecas e serviços de documentação; comparação do impacto da biblioteca ao longo do tempo e entre bibliotecas de tipo e missão semelhantes; promoção do papel e valor das bibliotecas para a aprendizagem e investigação, educação e cultura, vida social e económica; e, apoio às decisões de política em níveis de serviço e objetivos estratégicos (ISO16439, 2014). Esse padrão internacional considera o impacto como sendo a «a diferença ou alteração num indivíduo ou grupo resultante do contato com os serviços da biblioteca. Nota 1 para a entrada: a alteração pode ser tangível ou intangível».

Valor

46A ISO16439:2014 define valor como a «importância que as partes interessadas (instituições de financiamento, políticos, público, usuários, funcionários) atribuem às bibliotecas e que está relacionada com a perceção do benefício real ou potencial. Nota 1 da entrada: O valor monetário pode ser incluído».

47A determinação dos custos de um serviço não demonstra necessariamente o benefício que o serviço oferece. No entanto, a avaliação contingencial tem sido amplamente usada para designar o valor, em termos monetários, para itens que não estão no mercado. Existe vasta literatura sobre esta matéria. No entanto, é de destacar os trabalhos de Aabø (2005) realizados sobre «Are public libraries worth their price?». Em Portugal e aplicada a bibliotecas universitárias existe um estudo onde, «a relação custo/benefício foi calculada para os serviços b-on - Biblioteca Online de Conhecimento (consórcio de Portugal), em função do tempo ganho, obtendo-se a proporção 1: 5,35. As relações custo/benefício foram estimadas ainda com base no Método de Avaliação da Contingencial (MAC), incluindo valores nulos, 1: 2,38 e excluindo valores nulos, 1: 3,62.» (MELO, PIRES, 2011).

48Nas bibliotecas académicas, outra das abordagens para estabelecer o valor económico dos serviços é o Retorno sobre o Investimento (ROI) - vincula dinheiro gasto na biblioteca com dinheiro gerado pelos serviços da biblioteca. As bibliotecas universitárias, normalmente, não geraram dinheiro, mas os rendimentos das bolsas de investigação podem de facto, ser gerados para apoio aos recursos da biblioteca, sendo possível calcular a quantidade de dinheiro que a biblioteca gerou para a universidade, em comparação com o montante que a universidade gastou na biblioteca (ISO:16439, 2014: 62). Na Universidade de Illinois, calculou-se que por cada USD$1 que a universidade investia na biblioteca obteve um retorno de USD $4.38 (KAUFMAN, 2008: 42-43). Este estudo foi a primeira fase de uma grande pesquisa sobre o valor das bibliotecas académicas que implementou o ROI na Universidade de Illinois e em mais oito universidades de outros países do mundo.

49A ISO16439 (ISO:16439, 2014: 62-63) discute, brevemente, e ilustra abordagens práticas para calcular ROI nas bibliotecas e procura evidências do valor da biblioteca nos seus stakeholders (JAGER, 2017).

50Outras alternativas para as abordagens de cálculo do valor económico são as seguintes: avaliar custos quando os utilizadores precisam usar alternativas de negócios para encontrar as informações necessárias; estimativa dos custos de uso da biblioteca, ou seja, os custos de transporte dos usuários e o custo do tempo gasto na biblioteca (expresso em proporções salariais). (ISO:16439, 2014: 57-61).

Evidências

51Na atualidade, é manifesto que as avaliações e medições do impacto destes serviços recorrem ao conceito das evidências. Os estudos enumeram os seguintes métodos:

• As evidências inferidas correspondem às várias atividades desenvolvidas na biblioteca e associadas a dados qualitativos. Referem-se aos seguintes aspetos - uso e visitas à biblioteca ao longo do tempo; frequência de grupos particulares que visitam a biblioteca; acesso a recursos eletrónicos; participação em formações ou sessões de alfabetização de informação; ocupação de lugares de leitura; dados de circulação de livros (leitura presencial, empréstimos); e, logins nos computadores terminais e recursos da biblioteca online;

• As evidências solicitadas, por exemplo, perguntar aos utilizadores sobre as suas experiências nas instalações da biblioteca ou as suas perceções sobre o valor da biblioteca e os seus recursos humanos, materiais e serviços; investigar por entrevista ou grupos focais, podem ser utilizados grupos para este fim e analisados os resultados usando técnicas estatísticas. Esses resultados refletem a relação afetiva ou perceções qualitativas e opiniões pessoais dos entrevistados.

• As evidências observadas são associadas à observação das atividades dos utilizadores na biblioteca, seja pessoalmente ou em grupo, por exemplo, uma evidência explorada a partir de gravações de vídeo ou registo de arquivos que refletem o uso da biblioteca, ou ainda analisar dados das bases da biblioteca e outros recursos. Os relatórios de satisfação devem ser combinados com os resultados de outras investigações para fornecer evidências do valor.

52A ISO16439 reconhece, no entanto, que podem existir instituições que apresentem restrições éticas para obter acesso aos dados dos estudantes, mas, desde que o anonimato individual seja garantido, esta abordagem poderá demonstrar que o hábito de utilizar a biblioteca se correlaciona positivamente com as realizações do aluno e a retenção, e que a biblioteca pode desempenhar um papel fundamental no sucesso (ISO, 2014, p. 56).

53O projeto Assessment in Action program (AiA) realizado desde 2003, pela Association of College and Research Libraries’ (ACRL) identifica que as instituições do ensino superior têm compilado dados de avaliação que comprovam que as bibliotecas académicas em múltiplos aspetos vêm contribuindo para a aprendizagem e o sucesso dos estudantes. As evidências encontradas e mencionadas são as seguintes: os estudantes beneficiam das formações da biblioteca nos seus cursos iniciais; o uso da biblioteca aumenta o sucesso do aluno; os programas académicos que colaboram com os serviços da biblioteca aperfeiçoam a aprendizagem dos alunos; a literacia informacional fortalece os resultados da educação geral; e, as consultas de pesquisa na biblioteca aumentam a aprendizagem dos alunos (BROWN, MALENFANT, 2017).

54No que diz respeito às Bibliotecas do ensino superior em Portugal, tem sido realizado um trabalho pelo Grupo de Trabalho das Bibliotecas do Ensino Superior, da BAD (Associação Portuguesa de Bibliotecários, Arquivistas, Profissionais da Informação e Documentação), com início em 2017, por meio do 1º Workshop das Bibliotecas do Ensino Superior dedicado ao tema. Desde então, os bibliotecários fizeram um longo trabalho de aferição e consolidação de um conjunto de indicadores para aplicação pelas bibliotecas, inspirados em parte nos indicadores desenvolvidos pela Red de Bibliotecas Universitarias Españolas (REBIUN). Atualmente, resultante de um processo de análise cuidado, com significativa participação da comunidade de profissionais de informação das Bibliotecas e com procedimentos de validação cautelosos, foi publicado o Guia de Aplicação dos Indicadores Estatísticos para as Bibliotecas de Ensino Superior de Portugal, (Príncipe, Vargues, Inácio, Aurindo, Lopes, Amante, … Nunes, 2020) sendo resultado de um estudo meritório e cuidadoso, e constitui-se como o primeiro passo e a base para um projeto de maior na consolidação de um trabalho em rede das BES de Portugal. De acordo com este documento, a aplicação dos indicadores estatísticos tem desde a sua fundação os seguintes objetivos:

  • Descrever quantitativamente as atividades, equipamentos, serviços, recursos e produtos da Biblioteca, relatando a realidade nas BES portuguesas;

  • Possibilitar a criação de uma ferramenta de benchmarking para as Bibliotecas, fomentando a melhoria de processos e funções das BES portuguesas;

  • Potenciar a aplicação de um instrumento prospetivo na Biblioteca, aprofundando atividades de planificação, organização e gestão nas BES portuguesas.

55A recolha de dados irá iniciar-se em breve e terá como guião único de aplicação o referido documento, que incluiu indicadores de caráter obrigatórios e outros recomendados, a aplicar nas bibliotecas aderentes ao projeto de âmbito nacional. Esperamos que este seja um passo seguro e definitivo para a recolha de evidências que se podem converter em valor e impacto para as bibliotecas universitárias portuguesas.

Conclusões

56Desde 1950, que os bibliotecários se aperceberam que a avaliação do desempenho, do valor e do impacto são essenciais para a melhoria e a visibilidade dos serviços prestados. As metodologias, os instrumentos e os indicadores criados e implementados para essas avaliações desenvolveram-se de acordo com as necessidades e as adaptações que os serviços e recursos das bibliotecas académicas patentearam ao longo do tempo. Em todo o mundo, já se reconheceu que esses dados são essenciais para a gestão, tomada de decisão e a Library Advocacy.

57Os resultados do envolvimento das bibliotecas em projetos de avaliação e os benefícios profissionais obtidos com essas iniciativas, bem como o progresso observado no trabalho de bibliotecas estrangeiras envolvidas em projetos internacionais, são argumentos fortes para a adaptação de modelos e exemplos de boas práticas às realidades socioeconómicas de cada país e aplicadas nas avaliações das bibliotecas do ensino superior.

Bibliographie

AABØ, Svanhild – Are public libraries worth their price ? New Library World. 106 : 11/12, (2005) 487-495.

ARÉVALO, Julio Alonso - Evaluacion de bibliotecas universitarias con el modelo EFQM [Comunicação oral]. Em I Encontro das Bibliotecas do Ensino Superior: Conhecimento, Qualidade e Inovação: documentação. Lisboa: BAD - Grupo de Trabalho das Bibliotecas do Ensino Superior / ISPA, 2003.

ASSOCIAÇÃO PORTUGUESA DE BIBLIOTECÁRIOS, ARQUIVISTAS E DOCUMENTALISTAS - Grupo de trabalho das Bibliotecas Universitárias portuguesas. Cadernos BAD. 3 (1993) 131- 139. ISSN 0007-942.

ASSOCIATION OF RESEARCH LIBRARIES; TEXAS A&M UNIVERSITY - LibQUAL+ 2018 survey [Em linha]. Washington, DC: ARL, 2018 [Consult, 17 set. 2019]. Disponível em WWW: URL:< https://www.libqual.org/documents/LibQual/notebooks/261_6.pdf >.

BANK, John - Qualidade total: manual de gestão. 2ª ed. Mem Martins: CETOP, 1998. ISBN: 560207233021.

BELANGER, Jackie.; HILLER, Steve - Value and impact: convergence of assessment and performance measurement. Em HALL, Ian; THORNTON, Stephen; TOWN Stephen (Eds.) - 10th Proceedings of the Northumbria International Conference on Performance Measurement in Libraries and Information Services. York, UK: University of York, 2014. ISBN 978-0-901931-15-3.

BERTOT, John Carlo – Libraries and networked information services: issues and considerations in measurement. [Comunicação oral]. Em 5th Northumbria International Conference on Performance Measurement in Libraries and Information Services "Library measures to fill the void: assessing outcomes", Monday 28 July - Thursday 31 July 2003, Collingwood College, Durham, UK.

BROWN, Karen; MALENFANT, Kara J. – Academic library impact on student learning and success: findings from assessment in action team projects [Em linha]. Chicago: ACRL, 2017. [Consult. 9 dez. 2019]. Disponível em https://www.ala.org/acrl/sites/ala.org.acrl/files/content/issues/value/findings_y3.pdf .

CAMINADA, Adherbal – Origens e conceitos da qualidade em serviços. Em FERRARI, Adriana Cybele; GRANDI, Márcia Elisa Gracia de; SAMAPAIO, Maria Imaculada Cardoso (Orgs.) – Qualidade em serviços de informação: uma experiência de EAD. São Paulo: Sistema Integrado de Bibliotecas, 2005. ISBN 85-7314-031-3.

CARDOSO, Armindo; RODRIGUES, Eloy – Leitores e bibliotecas na Universidade do Minho. Em Congresso Nacional de Bibliotecários, Arquivistas e Documentalistas, 5, Lisboa, 1994 – Multiculturalismo: multiculturalismo: comunicações: papers. Lisboa: BAD. 1 (1994) 425-431.

COOK, Colleen; HEATH, Fred; THOMPSON, Bruce - LibQUAL+ from the UK perspective. Em Proceedings 5th Northumbria International Conference on Performance Measurement in Libraries and Information Services – Libraries Measures to fill the void: assessing the outcomes, Collingwood College, Durham, UK, 28th – 31st July 2003.

CULLEN, Rowen – Benchmarking: overview and context. [Em linha]. Em World Library and Information Congress: 69th IFLA General Conference and Council, Berlin, Germany, 1st-9th August 2003. [Consult. 09 Set. 2003]. Disponível em https://archive.ifla.org/IV/ifla69/papers/015e-Cullen.pdf >.

EUROPEAN FOUNDATION FOR QUALITY MANAGEMENT - EFQM excellence model. Public and voluntary sector version. Bruxelas: EFQM, 2003.

EUROPEAN INSTITUTE OF PUBLIC ADMINISTRATION. CAF – Common Assessment Framework [Em linha]. Maasthricht: EIPA, 2003 [Consult. 28 Fev. 2004]. Disponível em WWW: <URL: http://www.eipa.nl/CAF/pt/CAF2002pt/CAF_pt.htm>.

FERREIRA, Manuela; FIGUEIREDO, Filomena - A monitorização da qualidade em bibliotecas da Administração Pública. Em Gestão da qualidade na Administração Pública. Lisboa: Ministério da Educação – Secretária Geral, 2000.

FOOT, Jane – How to do benchmarking: a practitioner’s guide. London: Inter-Authorities Group, 1998.

GOUVEIA, Lourdes – Bibliotecas universitárias em contexto de mudança. Cadernos BAD. 1 (1995) 55-66.

HERNON, Peter – Editorial: the practices of outcomes assessment. Journal of Academic Librarianship. 28:1/2 (2002a) 1-2.

HERNON, Peter – Outcomes are key but not the whole story. Journal of Academic Librarianship. 28:1/2 (2002b) p. 54-55.

IFLA STATISTICS AND EVALUATION SECTION - IFLA Library Statistics Manisfesto [Em linha]. Haia: IFLA- International Federation of Library Associations and Institutions, 2010 [Consult. 11set. de 2019]. Disponível em https://www.ifla.org/files/assets/statistics-and-evaluation/publications/library-statistics-manifesto-en.pdf

INSTITUTO PORTUGUÊS DE QUALIDADE - Norma portuguesa: sistemas de gestão da qualidade: fundamentos e vocabulário (ISO 9000:2000). Caparica: IPQ, 2000.

INSTITUTO PORTUGUÊS DE QUALIDADE - Norma portuguesa: sistemas de gestão da qualidade: requisitos (ISO 9001:2000). Caparica: IPQ, 2000.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION - ISO 2789:2013(en) Information and documentation – international library statistics. Genève: International Organisation for Standardisation, 2013.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION – ISO 9000:2005(en) Quality management systems — Fundamentals and vocabulary. Genève: ISO, 2005.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION – ISO 11620:1998(en) Information and documentation – library performance indicators. Genève: ISO, 1998.

INTERNATIONAL ORGANIZATION FOR STANDARDIZATION – ISO16439:2014 Information and documentation — Methods and procedures for assessing the impact of libraries. Genève: International Organisation for Standardisation, 2014.

JAGER, Karin de - Approaches to impact evaluation in academic libraries: a review of a new ISO standard. IFLA Journal 43(3): 283-287, 2017.

KAPLAN, Robert S.; NORTON, David P. - The balanced scorecard - measures that drive performance. Harvard Business Review. January/February, 71-79.

KAUFMAN, Paula T. - The library as strategic investment: Results of the Illinois return on investment study. Liber Quarterly. 18:3/4 (2008) 424–436.

LAGE, Maria Otília Pereira - Qualidade e inovação em bibliotecas – discursos, normas, práticas: para um estudo de caso [Comunicação]. Em I Encontro das Bibliotecas do Ensino Superior, Lisboa, 2003. Lisboa: BAD, 2003.

LANCASTER, F.Wilfrid - Fifty years-almost. Em KATSIRIKOU, Anthi; SKIADAS, Christos H. (Eds.) - News trends in qualitative and quantitative methods in libraries Methods: selected papers presented at the 2nd Qualitative and Quantitative Methods in Libraries. New Jersey: World Scientific, 2010. ISBN 978-981-4350-29-7.

LibPMC - 13th international conference [Em linha]. [Consult. 13 nov. 2019]. Disponível em WWW: <https://libraryperformance.org/ >.

LOURENÇO, Alexandra - As estatísticas nacionais sobre bibliotecas e arquivos. Actas Congresso Nacional de Bibliotecários Arquivistas e Documentalistas, 13, 2018 [Em linha]. Lisboa: BAD, 2018. [Consult. 12 nov. 2019]. Disponível em WWW: <URL:https://www.bad.pt/publicacoes/index.php/congressosbad/article/view/1834/pdf.

MELO, Luiza Baptista; PIRES, Cesaltina - Measuring the economic value of the electronic scientific information services in Portuguese academic libraries. Journal of Librarianship and Information and Information Science. 43:3 (2011) 146-156.

MOLYNEUX, Robert E. - The Gerould statistics 1907/08 – 1961/62. Washington DC: Association of Research Libraries, 1986. ISBN 0- 9180006-11-02.

PARASURAMAN, A. Parsu; ZEITHAML, Valarie A.; BERRY, Leonel L. - A conceptual model of service quality and its implications for future research. Journal of Marketing. 9 (1985) 41-50.

SAMPAIO, Maria Imaculada Cardoso, et al. - Programa de Avaliação da Qualidade de PAQ – Programa de avaliação da qualidade de produtos e serviços de informação: uma experiência no SIBi/USP. Ciência da Informação. 33:1 (2004). Disponível em http://revista.ibict.br/ciinf/article/view/1078/1179

PINTO, Jaime Rebelo et al. Auto-avaliação da qualidade em serviços públicos. Secretariado para a Modernização Administrativa. Março. Lisboa (1999).

POLL, Roswitha - Managing service quality with balanced scorecard. Em Advances in Library Administration and Organization (Advances in Library Administration and Organization, Vol. 20), Emerald Group Publishing Limited, Bingley, 2003. https://doi.org/10.1016/S0732-0671(02)20010-3

POLL, Roswitha - Ten years after: measuring quality revised. Performance Measurement and Metrics, 9:1 (2008) 26-37.

POLL, Roswitha; TE BOEKHORST, Peter (Eds.) – Measuring Quality: Performance Measurement in Libraries 2nd revised edition. Munich: K.G. Saur, 2007. ISBN 978-3-598-22033-3.

POLL, Rosthiwa; TE BOEKHORST, Peter; HIRALDO, R.A. – Measuring quality: international guidelines for performance measurement in academic libraries. Munich; New Providence: K.G. Saur, 1996.

PRINCIPE, Pedro et al. Indicadores Estatísticos para as Bibliotecas das Instituições de Ensino Superior de Portugal: guia de aplicação (Version1.0). (2020, May 30) Zenodo. https://zenodo.org/record/3866667#.YPcAb-hKhPY

PORTUGAL – Decreto-Lei nº166/99. Diário da República, n.º 111/1999, 1º Suplemento, Série I-A de 1999-05-13.

PORTUGAL. Ministério da Educação. Secretaria – Geral - MonitorDoc: monitorização da qualidade nos centros de documentação. Lisboa: Ministério da Educação – Secretária-geral, 1999.

VAN HOUSE, Nancy A. et al. – Output measures for public libraries: a manual of standardized procedures. 2nd ed. Chicago: American Library Association, 1987.

VAN HOUSE, N.A.; WEIL, B.T.; MCCLURE, C.R. – Measuring academic library performance: a practical approach. Chicago: American Library Association, 1990.

© Publicações do Cidehus, 2021

Licence OpenEdition Books

Acheter

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search