- 相關推薦
數字圖書館的評估研究
【內容提要】文章總結了過去10年來的許多研究成果，從數字圖書館評估的基本問題、一般方法、主要內容和數據收集等方面進行了探討。【摘 要 題】實踐研究
【關 鍵 詞】數字圖書館/評估/系統評估/用戶評估/評估內容/評估方法/數據收集
【 正 文】
數字圖書館建設是一個龐大的系統工程，建立和發展數字圖書館必須首先進行先進、可靠的工程設計。當數字圖書館建設進入實質性的設計方案選定和具體實施、執行階段后，為了確保工程質量，必須進行及時、可信的中前期系統評估和用戶評估。當數字圖書館建成或基本建成以后，仍然需要進行全面的后期評估。只有在數字圖書館建設的每個階段都進行了有效的評估，才能最終保證工程建設的質量和水平。國內外的實踐與研究表明，數字知識管理系統的工程設計和評估研究同樣重要[1-2]。本文著重對數字圖書館評估研究的基本問題、一般方法、主要內容和數據收集等方面進行了探討。
1 數字圖書館評估的基本問題
傳統圖書館和現代信息檢索系統、人-機交互系統、知識管理系統、知識倉庫相比，數字圖書館的組成要素和結構與后一類的相同性更為明顯，因為數字圖書館是一個大量應用現代計算機技術、網絡通訊技術、多媒體數字技術的復雜人-機資源系統。數字圖書館評估不同于傳統圖書館（包括自動化圖書館）評估，它以數字圖書館的定義、要素、結構為基礎，對其主要指標、內容按照一定的方法從功能性和可用性角度進行全面地評價研究。Saracevic在《數字圖書館評估：關于概念的發展》一文中認為，評估應該滿足某種要求，包括以下最基本的相關選擇和決策[3]：
（1）評估體系的構建。即評估什么？數字圖書館的實際含義是什么？它包含的內容是什么？評估內容包含什么元素（成分、部分、程序）？
（2）評估標準的選擇。即評估的目標、框架、觀點和標準的選擇。評估的標準是什么？選擇評估標準的關鍵是什么？最后，選擇某個標準有什么目的？
（3）相應的選擇目標所反映的性能標準。即性能參數集中在哪一點？評估有什么尺度或特征？
（4）測度反映記錄性能的選擇標準。即使用假定標準專門測度什么？
（5）實際評估的方法。即用于測度的工具是什么？樣本是什么？數據的收集使用什么程序？怎樣分析數據？
只要我們對上述每一點都給予關注，我們就可以進一步開展數字圖書館的評估。遺憾的是，數字圖書館評估的這些基本問題，國內圖書館界至今沒有進行過研究和實踐。經過近10年的發展，國外數字圖書館的評估理論體系已經初具雛形，值得我們借鑒參考。
國外學者根據評估的規范性、約束性及其深度和廣度，一般將數字圖書館評估分為正式評估（Formal Evaluation）和非正式評估（Informal Evaluation）。正式評估復雜、可靠，但卻耗費太多人力、財力，讓人望而生畏。非正式評估簡單、有效但卻容易使評估迷失方向，使人們產生數字圖書館認識的某些錯誤感覺和期望。為了數字圖書館的更好發展，必須根據數字圖書館建設的各個時期，選擇其中一種或兩者結合起來使用。
根據評估采用的方法不同，數字圖書館評估主要有系統評估（System Evaluation）和用戶評估（User Evaluation）。目前，國外大多數數字圖書館工程主要采用用戶評估，或將這兩種評估方法同時并用但以用戶評估為主的雙重評估。此外，在數字圖書館的評估研究中還廣泛采用其它一些方法，如：社會學方法（Sociological Approach）、經濟學方法（Economic Ap proach）、政治學方法（Political pproach）、民族地理方法（Ethnographic Approach），但這些方法不是數字圖書館評估的主要方法。
除此之外，一些研究人員還專門進行了比較評估（Comparing Evaluation）和跨館服務質量評估工具研究。[4-5]根據數字圖書館工程設計、實施、執行和驗收的各個階段，還可以分為前期評估、中期評估和后期評估。所有這些研究，對于數字圖書館評估理論的發展，指導數字圖書館建設實踐，都有十分重要的意義。
2 數字圖書館評估的一般方法
盡管數字圖書館評估的方法有各種各樣，但始終不能偏離系統和用戶這兩個一般性范疇。因為數字圖書館系統功能的實現和用戶使用的滿意程度，已經能夠代表對數字圖書館評估的主流。數字圖書館是在傳統圖書館基礎上發展起來的復雜人—機系統，系統和用戶是數字圖書館的兩個最根本的構成要素。國外數字圖書館的評估研究，從方法角度看主要也集中在系統評估和用戶評估這兩個方面。只不過有的研究專門使用其中的一種，有的將這兩種結合起來使用。
系統評估是設計人員或其相關技術人員根據數字圖書館工程中的設計目標方案、軟硬件技術和規范標準對其功能進行的評估。其目的是檢查（驗）系統設計目標是否完成，硬件是否符合工程需要，軟件性能怎樣，以及系統的技術標準化程度。由于系統評估是一項專業性很強的功能評估，一般只能由從事數字圖書館工程設計、實施、執行和管理方面的專業人員來完成。此外，由于技術壟斷需要，其系統核心設計技術的評估，一般不允許機構外的人員參加。
2002年11月，《數字圖書館雜志》發表了一篇題為《數字圖書館的交互性設計與評估》的文章，比較全面的反映了數字圖書館的系統評估研究[1]。作者以美國科學基金會（NSF）資助的一個GORW交互式數字圖書館工程作為研究對象，對GORW數字圖書館的開發目標（包括跨學科藏書、終身學習者資源、時鐘循環訪問、交互式學習目標和用于學習的信息），交互性及其GROW概念框架（包括互惠、反饋、直接、關聯、同步、選擇、沉浸、演示、流動、多維性和控制），GORW的各種交互性（包括GROW資源的交互性、GORW資源選擇的交互性、GROW元數據的交互性描述、GROW界面的交互性）都進行了研究和評估，從這項評估研究中我們看到，一個有效的交互式數字圖書館本身是一個復雜的人—機系統，其交互性技術要求涉及到各種社會的行為、組織、管理聯系。可見，在很多情況下，數字圖書館的系統評估不能回答技術之外的各種社會問題。然而，用戶評估在很大程度上可以彌補系統評估的這種不足。
用戶評估是系統設計者或用戶根據數字圖書館的目標任務完成、行為模式和資源組織、發布對系統可用性進行的評估。其目的是檢查（驗）數字圖書館完成了哪些數字化任務，滿足了用戶的何種行為模式，以及知識信息資源的收集、再現、挖掘、組織、存儲、管理和發布效果。任何一項數字圖書館工程建設都必須開展反
復多次的用戶評估，才能使數字圖書館建設滿足用戶的需要，因此它目前已成為探討和實行數字圖書館評估的一種流行方式。當然，由于參加評估的用戶在構成、組織形式上的不同，可用性評估結果及其權威性也完全不一樣。
早在1989年，美國一個由101個會員組成的研究圖書館協會和51個州圖書館參加的咨詢調查——“數字圖書館用戶”（前期評估），幫助發起了具有歷史意義的“美國回憶”（American Memory）數字圖書館試驗計劃（1990-1995）。1992-1993年，美國國會圖書館又組織完成了有44個學院、大學和公共圖書館參加的終端用戶評估（后期評估），最終促成了現在仍在實施的“數字圖書館倡議”（DLI-1，1994-1998；DLI-2，1999-2003）[6]。1996年，VanHouse等人發表文章闡述了加州大學伯克利數字圖書館工程以用戶為中心的設計方法。他們在對用戶的各種需求進行反復評價、評估過程中，不斷改進設計。2002年4月至6月，美國科學基金會（NSF）資助的國家科學數字圖書館（NSDL）用戶評估工作組，花了整整3個月時間進行反復評估研究[7]。該工作組由那些對數字圖書館設計和評估感興趣的志愿者組成，其任務就是從用戶角度提出和回答各種問題。
綜合采用兩種方法但以用戶評估為主進行數字圖書館評估的典型例子是美國科學基金會（NSF）資助的亞歷山大數字圖書館（ADL）工程評估[8]。ADL評估組既進行系統設計，又進行用戶評估。評估組的工作重點在用戶使用，為此他們先后開發了3個不同的用戶界面，并建立了相應的試驗臺進行用戶評估。在系統評估層面上，一方面對系統和界面設計進行了大量中間發布，由包括加州大學、科羅拉多州大學研究人員在內的評估工作組進行評估，不斷的將當前的Java基礎界面和支持系統反饋給系統設計者；另一方面，他們又對設計、實施階段進行了交互評估。這樣，用戶的功能性要求和實施修改設計的過程變成一個公式化的評估周期，不斷的指導系統評估，了解用戶的潛在使用。在用戶評估層面上，ADL評估組一方面使用ADL用戶和潛在用戶反饋、懇求和分析的多種方法，包括聯機調查、圖形觀察、目標用戶組、界面設計內部評估、大學教室ADL使用分析，進行全面評估；另一方面，他們邀請外部用戶評估專家，召開了3個與用戶評估有關的會議，然后綜合他們的評估意見和要求進行系統設計。ADL用戶評估組提出的結果非常有用，它涉及下述相關問題：
（1）對于我們的用戶，我們了解多少？
（2）對于評估和用戶研究方法，我們了解什么？
（3）對ADL界面，我們了解哪些方面的內容？
（4）對于ADL的功能性和內容，我們了解什么？
這些問題看似簡單，實際上卻涉及到數字圖書館建設中的幾個核心問題。
3 數字圖書館評估的主要內容
人們對數字圖書館的認識和定義有各種各樣，因此對數字圖書館評估內容的認識和界定也各不相同。Saracevic將數字圖書館評估的結構或元素劃分為21個大類50個小項[3]；周欣平提出一個數字圖書館評估的體系，包括館藏資源的數量和質量、網絡及數字化程度、多元化的信息管理和服務、全球范圍內信息資源的獲取和利用、提供遠距離學習和教育之環境、館員素質6個方面[9]；Hill等人則將數字圖書館評估的主要內容劃分為館藏、元數據、搜索、檢索和用戶工作空間、幫助支持、系統支持、子系統7大類38個小項[8]。
盡管人們對數字圖書館評估的內容有不同的認識和界定，但對其主要內容或基本內容的認識和界定應該是大致相同的。只是由于評估者評估的目標、對象、范圍不同，評估的內容才會有所不同。例如，對于以改進系統設計為目標的評估者來說，他可能更偏重技術方面的系統評估；對于一個以地理圖像或多媒體為主要館藏對象的數字圖書館來說，評估者可能更偏重于資源易用性的用戶評估。相對而言，一個以交互式學習、研究為目標的大學圖書館和一個以面向大眾平等獲取數字資源為目標的公共圖書館，評估者選擇的評估內容肯定各有側重[10-12]。一般地講，目前數字圖書館主要從以下幾個方面進行評估。
（1）技術性能與水平評估，主要內容有：數字圖書館系統的功能結構及其完善程度；數據安全、共享的實現形式；分布式異構數據庫的互操作性；海量多媒體數字信息的生成、存儲技術及其網絡傳播、檢索的無障礙性；人—機交互式學習、研究技術及其實時、同步控制程度。
（2）數字資源量評估。主要內容有：本館數字化資源總量；外購數字化資源總量；數字資源的完整性、系統性、及時性和連續性；數字資源的加工質量（分辨率、壓縮比等）。數字圖書館的數字資源量目前按TB（10[12]，萬億）計算。
（3）易用性評估。主要內容有：分類、標引、索引和檢索手段的完備性；多種資源格式的轉換、統一與知識挖掘性能；跨網、跨庫、跨系統、跨平臺、跨語言的操作與檢索應用；界面的友好程度；檢索、瀏覽、下載數字信息資源的效率與時間。
（4）數字化服務評估。主要內容有：在線數字信息資源服務；網上實時搜集、傳遞、推送、發布服務；專門化、個性化服務；數字圖書館館員素質；用戶反饋意見（時間、錯誤率、用戶個人滿意度、用戶組綜合意見）。
（5）數字化管理評估。主要內容有：數字化管理的觀念、方法、制度；數字化圖書館設計、實施、執行、發展的過程管理與日志管理；數字化圖書館的要素、結構、功能的全面管理；管理的規范化與國際、國家標準化程度。
數字圖書館的評估內容不是一成不變的，它允許評估者有自己的選擇。例如，有的研究者就把經濟、社會因素作為一項重要的評估內容。在他們看來，評估的最終問題是，數字圖書館怎樣改變人們的研究、教育、學習和生活。更重要的是，這些內容的評估本身需要一套完備的標準，而這些內容與標準的確立會因人、因地、因時的不同而不同。
4 數字圖書館評估的數據收集方式
確定數字圖書館評估的方法、內容體系是取得評估成功的關鍵，但其前提是獲得真實、全面的評估數據。因此，數字圖書館評估的數據收集與分析的重要性不容忽視。當然，就數字圖書館評估而言，數字圖書館的測度、統計數據收集與測度規范并不是評估本身，不屬于評估范疇，因為數據本身只是一種定性或定量的描述和觀察。判定用戶需要本身也不是評估，然而這些與評估相關，它們聯系到某些特定性能，包括前述Saracevic提出的5個要求。正確的認識、區分這些差別，可以使我們更深入地了解數字圖書館評估的實質問題。
數字圖書館評估的數據收集有許多方式，并且往往是多種方式并用。但目前使用最廣泛的主要有以下幾種方式：
（1）用戶問卷表。它可以根據評估者的需要設計問卷表，獲得各種有用的定性、定量數據，是數字圖書館評估研究最流行的收集數據方式。目前，許多研究者采用微軟Active Server Pages開發在線調查系統，進行網上實時收集數據。
（2）數字圖書館日志。利用數字圖書館系統的用戶登錄、處理文件記錄、檢索登記、下載監測等功能或記錄，自動收集評估數據。但是，這種方法僅限于自主開
發的數字圖書館。商業性數字圖書館要么缺乏這些功能或記錄，要么不向用戶提供或者限制提供這些功能或記錄。
（3）用戶評估組。成立專門的用戶評估組，成員可由設計、評估專家、用戶組成，也可單獨由對評估感興趣的用戶志愿者組成。它可以根據數字圖書館工程建設的不同階段，反復收集相應的評估數據。
此外，還有電話訪問、個人訪問、電子公告板（BBS）、專題討論、學術會議等方式收集評估數據。但是，這些方式相對上述三種方式而言，數據收集的廣度、深度及其數據的質量都要差一些，單獨使用難以進行準確、全面的評估。
5 結論
數字圖書館的評估研究對數字圖書館的發展起著不可低估的作用。隨著數字圖書館評估理論的發展，人們對評估重要性認識的提高，特別是各國評估實踐的日益增加，評估研究在數字圖書館建設與發展中的重要作用將會更加突出的顯現出來。通過開展各種有效的數字圖書館評估研究，進一步完善數字圖書館評估的方法、內容體系，制定更符合時代發展需要的科學評估標準，對于促進各國數字圖書館技術和管理水平的提高，推動數字時代圖書館學理論與實踐的發展，有著十分重要的意義。未來的數字圖書館評估研究，將會朝著跨系統、跨館、跨國大型綜合性評估、符合國際和國家標準的規范性工具評估、核心技術專門評估、館藏資源評估、系統功能評估、用戶多因素綜合評估、評估標準的科學化和質量指標的精確化評估等方面進一步探討和完善。
【參考文獻】
1 Budhu， M. and Coleman， A. The Design and Evaluation of Interactivities in a Digital Library. [J] D - Lib Magazine， 2002， Vol.8，No. 11
2 Wei， Chih - Ping. And Hu， P. Design and Evaluation of a Knowledge Management System. [J] IEEE Software， May/ June 2002， 57 - 59
3 Saracevie， T. Digital Library Evaluation： Toward an Evolution of Concepts. [J] Library Trends， 2000， Vol.49. No.2， 350 - 369
4 Jones， M. Comparing Evaluations of Digital Collection Efforts. [J] D-Lib Magazine， 1999， Vol.5.No. 11
5 Blixrud， J. Evaluating Library Service Quality： Use of LibQUAL[+TM]. ttp：//www. libqual， org
6 National Digital Library Program. http：//lcweb2. loc. gov/am- mem/dli2/html/lcndlp. html
7 Jones， C. and Sumner， T. Evaluation of the National Science Digital Library. http：//www.uclic.ucl.ac.uk/
8 Hill， L. Alexandria Digital Library：User Evaluation Studies and System Design. [J] Journal of the American Society for Information S
cience， 2000， Vol. 51， No. 3，246 - 259
9 周欣平.數字時代圖書館的發展方向及評估標準.[J]圖書情報工作，2001，（4），5-9
10 Leazer G.， and others. Evaluating the Use of a Geographic Digital Library in Undergraduate Classrooms： ADEPT. http：//is.gseis. ucla.edu/adept/pubs/short.pdf
11 Zwan， R.， and others. An Evaluation of the Informedia Digi tal Video Library System at the Open University.[J] Journal of Educational Media， 1999， Vol.24， No.2，131 - 136
12 Bishop， A.， and Bruce， B. Digital Library Evaluation as Participative Inquiry http ：//alexia. lis. uiuc. edu/～chip/ pubs/02delos. pdf
【數字圖書館的評估研究】相關文章：
互操作聯邦數字圖書館研究08-05
基于PDCA的數字圖書館質量管理研究08-05
數字圖書館館藏評價08-05
如何評估市場研究公司08-06
如何評估市場研究公司08-06
關于品牌資產評估的研究08-08
數字圖書館建設的探索與認識08-05
IDC與數字圖書館建設論文05-31