公務(wù)員期刊網(wǎng) 論文中心 正文

網(wǎng)絡(luò)信息資源電子技術(shù)論文

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了網(wǎng)絡(luò)信息資源電子技術(shù)論文范文,希望能給你帶來靈感和參考,敬請閱讀。

網(wǎng)絡(luò)信息資源電子技術(shù)論文

一、網(wǎng)絡(luò)信息資源存儲發(fā)展歷程

1996年InternetArchive的成立拉開了網(wǎng)絡(luò)信息資源存儲的研究和實踐的序幕。雖只有十幾年的發(fā)展歷程,但是其技術(shù)卻有了長足的發(fā)展。規(guī)模從最初的百萬數(shù)據(jù)到現(xiàn)在的數(shù)十億的URL采集,項目的自己投入越來越多,項目的難度也越來越高。從1996年到1999年間,首先InternetArchive的成立,然后歐美各國紛紛開始網(wǎng)絡(luò)信息資源存儲項目的實驗。在1996年,澳大利亞國家圖書館發(fā)起PANDORA項目,其目的在于保存澳大利亞的在線出版物,包括社會科學(xué)、政治、經(jīng)濟、宗教、自然科學(xué)、文化等重要文獻資產(chǎn)。同時澳大利亞國家圖書館還領(lǐng)導(dǎo)了另一個重要的項目——是關(guān)于數(shù)字資源保存主題的門戶網(wǎng)站PADI,其目的是為了提供一種機制,幫助確保數(shù)據(jù)格式信息能夠被有效管理、保存和提供未來訪問。1997年北歐圖書館了開啟了NWA項目,該項目借鑒了Kulturarw3的Web信息資源采集項目的經(jīng)驗,其目的是根據(jù)在網(wǎng)絡(luò)中進行保存、訪問等操作的要求而制定出相關(guān)的技術(shù)規(guī)格,協(xié)助國家項目的協(xié)調(diào)發(fā)展,聯(lián)合北歐各國圖書館建立歐洲網(wǎng)絡(luò)資源長期保存的合作機制。1997年在美國還開展了項目,該項目是美國國會圖書館負(fù)責(zé)的。其目的是為有關(guān)Web信息的數(shù)字化、元數(shù)據(jù)、選擇和采集、長期保存與獲取方面的實際問題提供試驗,從而為美國國會圖書館運行一個大規(guī)模的Web信息保存項目提供指導(dǎo)和經(jīng)驗。以上介紹的屬于網(wǎng)絡(luò)信息資源存儲的初始起步的實驗階段,主要目的都是為以后的項目提供各種借鑒經(jīng)驗。從2000開始到2005年時網(wǎng)絡(luò)信息資源存儲的實際應(yīng)用部署階段。該階段歐美各主要國家已經(jīng)開始對網(wǎng)絡(luò)信息資源存儲高度重視,并已經(jīng)開設(shè)從國家層面進行思考和作戰(zhàn)略計劃。因此該階段具有以下幾個特點:

(1)以國家或區(qū)域為單位的戰(zhàn)略合作保存體系發(fā)展迅速

(2)網(wǎng)絡(luò)信息資源存儲項目研究的內(nèi)容和深度得到極大的擴展

(3)國際機構(gòu)與會議更加關(guān)注網(wǎng)絡(luò)信息資源存儲

(4)網(wǎng)絡(luò)信息資源存儲系統(tǒng)越來越受到重視,其發(fā)展和應(yīng)用也越來越廣泛

2000年年美國國會圖書館提出了“國家數(shù)字信息基礎(chǔ)設(shè)施及保存計劃”,其中包括立即收集和保存可能瞬間即逝的Web數(shù)字信息。2001年挪威國家圖書館開始實施Paradigma項目,英國國家圖書館啟動試驗性項目DomainUK。2002年第68屆IFLA理事會對以往國家層面網(wǎng)絡(luò)信息資源采集(如NWA)的經(jīng)驗予以總結(jié),探討網(wǎng)絡(luò)信息資源保存的法律問題。2003年六月,由來自多個國家的12個成員機構(gòu)組成的國家網(wǎng)絡(luò)保存聯(lián)盟正式成立。自2005年以后,網(wǎng)絡(luò)信息資源存儲技術(shù)進入了長遠(yuǎn)發(fā)展階段。在網(wǎng)絡(luò)信息資源存儲相關(guān)項目的實驗研究、應(yīng)用部署發(fā)展的基礎(chǔ)上,相關(guān)的組織機構(gòu)相關(guān)的組織機構(gòu)、項目對如何更好的將Web資源呈現(xiàn)給用戶,提供檢索服務(wù),并進行相應(yīng)的數(shù)據(jù)挖掘以用于學(xué)術(shù)研究、追蹤動態(tài)等網(wǎng)絡(luò)信息資源存儲長遠(yuǎn)發(fā)展問題更為關(guān)注。

二、網(wǎng)絡(luò)信息資源存儲發(fā)展現(xiàn)狀

(一)網(wǎng)絡(luò)信息資源存儲國際現(xiàn)狀

越來越多的國家和人力參與并投入到網(wǎng)絡(luò)信息資源存儲的活動中來。關(guān)于網(wǎng)絡(luò)信息資源存儲的項目也越來越多,項目數(shù)量呈穩(wěn)定增長趨勢。國際互聯(lián)網(wǎng)保存聯(lián)盟(IIPC)的機構(gòu)成員在2003年成立的時候只有12個,到2009年3月已經(jīng)發(fā)展到38個,它們主要分布在歐洲、北美洲、亞洲。2008年IIPC對其成員進行問卷調(diào)查顯示:該組織的成員50%是國家圖書館,10%是高校圖書館,8%是其他類型圖書館,3%是國家檔案館,3%是內(nèi)容提供商,26%是研究機構(gòu)、政府組織等。由此可見,圖書館特別是國家圖書館已經(jīng)成為WA活動參與的主力,并擔(dān)任了重要的角色。網(wǎng)絡(luò)信息資源存儲仍然以實驗和項目形式為主。在其發(fā)展初期,項目都是以小規(guī)模的Web資源采集的探索性實驗為主,在積累了一定的經(jīng)驗后開始進行實際的可行的部署和應(yīng)用,而目前很多國家和區(qū)域已經(jīng)建立戰(zhàn)略合成關(guān)系投資網(wǎng)絡(luò)信息資源保存體系。IIPC對38家成員館2008年的網(wǎng)絡(luò)信息資源存儲研究狀態(tài)分析顯示:以項目形式開展研究的有6家(15%)、以實驗形式開展研究的有7家(18%)、可運作但仍處于實驗階段的有11家(29%)、完全投入應(yīng)用的有5家(15%)、商業(yè)應(yīng)用的有4家(10%)、其他形式的有5家(13%)。網(wǎng)絡(luò)信息資源的采集方式和策略呈多樣化發(fā)展,采集的內(nèi)容也越來越廣泛?,F(xiàn)有的Web資源的采集方式已經(jīng)有了很大的改變,已經(jīng)擺脫了曾經(jīng)的單一Web資源一次采集?,F(xiàn)在的主要采集方式有Web資源二次采集、數(shù)據(jù)庫采集(深層網(wǎng)采集)和事務(wù)型采集等多種方式。采集策略也有了很大程度的豐富,現(xiàn)在的采集策略主要有混合策略、復(fù)雜域、大規(guī)模采集。采集內(nèi)容也覆蓋了人類社會的方方面面,例如政治、經(jīng)濟、健康、藝術(shù)、人文等方面。網(wǎng)絡(luò)信息資源存儲的系統(tǒng)技術(shù)和標(biāo)準(zhǔn)框架已日趨成熟。

網(wǎng)絡(luò)信息資源存儲的系統(tǒng)技術(shù)中包括了攝取(Ingest)、存儲(Storage)、訪問(Access)和索引與檢索(Index&Search)四大部分,并IIPC也圍繞其核心功能為其開發(fā)了一套完整的工具。IIPC技術(shù)委員會下設(shè)的四個子委員會負(fù)責(zé)對WA的攝取、保存、訪問、索引與檢索進行深入的研究和實踐工作。除了技術(shù)以外,對WA其相關(guān)的標(biāo)準(zhǔn)規(guī)范也投入了許多的研究。目前所涉及的標(biāo)準(zhǔn)規(guī)范主要有:獲取階段的存檔資源標(biāo)識、統(tǒng)一資源命名等數(shù)據(jù)唯一標(biāo)識,多任務(wù)并發(fā)管理協(xié)議(HIP)、蜘蛛?yún)f(xié)議(Robertprotocol);存儲階段的存檔文件格式、Web存檔文件格式,保存元數(shù)據(jù)實施策略、元數(shù)據(jù)編碼與傳輸標(biāo)準(zhǔn)(簡稱METS)等。此外WA領(lǐng)域中對于協(xié)作共享也非常的注重,WA在系統(tǒng)開發(fā)的初始階段就十分關(guān)注系統(tǒng)的互操作,通過建立一個開放的模塊化系統(tǒng)框架和進行功能模塊化開發(fā),實現(xiàn)系統(tǒng)的開放性、協(xié)作性、互操作性。IIPC提出了WA系統(tǒng)體系框架并開發(fā)了一系列的開源軟件。WA系統(tǒng)和工具得到不斷的開發(fā)與更新。且目前WA領(lǐng)域的大多數(shù)軟件都是開源的,可以免費下載使用。現(xiàn)在在使用的工具主要有:PANDAS,澳大利亞PANDORA項目開發(fā)的基于采集的數(shù)字化存檔系統(tǒng),為國內(nèi)參與合作的各個州立圖書館構(gòu)建了合作者分布式使用的功能;WAS,美國WebAtRisk項目構(gòu)建的基于Web的分布式倉儲構(gòu)建、存儲和管理工具;Heritrix、Nutch2WAX、WERA,是有IIPC資助開發(fā)的系列軟件;Wayback是目前WA領(lǐng)域使用率最高的訪問工具;WCT是一種由NWA與IIPC合作開發(fā)的應(yīng)用率較高的保存工具。此外還有其他的一些比較著名的工具。WA領(lǐng)域的工具、系統(tǒng)有趨同的發(fā)展趨勢。幾家具有較強技術(shù)實力的機構(gòu)開始合作開發(fā)和完善現(xiàn)有的軟件和工具。

目前,IIPC與合作機構(gòu)正在研發(fā)新一代智能爬蟲(SmartCrawler)以提高爬蟲自動采集的效率。WA相關(guān)法律體制得到加強和完善。雖然目前有許多國家隊圖書等出版物制定了相關(guān)的法律法規(guī),有的國家也對相關(guān)的電子出版物有了明確的法律規(guī)定,但是都沒有明確的將Web信息資源納入到呈繳法。目前許多沒有制定Web資源呈繳法律的國家,也采取了各種方式積極的完善與WA相關(guān)的法律,例如版權(quán)聲明,這時目前使用較多的方式之一。此外還有采集前征求出版者許可、允許出版者提出剔除請求和混合型的解決方案。由于WA項目的投資數(shù)額巨大,相關(guān)的成本分析與風(fēng)險管理已經(jīng)越來越受到重視。WA對存儲設(shè)備、技術(shù)等軟硬件的要求都很高,同時其花費的時間周期也十分的長。因此需要投入的資金也越來越多,且有逐年上升的趨勢。例如荷蘭國家圖書館2005年的資金投入接近于2004年的3倍,2006-2009的預(yù)算也明顯增加。為了使WA項目能夠獲得穩(wěn)定的資金,許多國家已經(jīng)將WA項目的資金納入了國家圖書館的業(yè)務(wù)開支。為了能夠使WA的研究項目能夠順利的進行,已經(jīng)開設(shè)對其費用成本及風(fēng)險管理進行研究。目前主要的是采用NASA用于研究太空、地球數(shù)據(jù)保存的費用估計工具CET,但還沒有建立其特有的成本費用模型。合作范圍越來越廣,合作機制也逐步得到加強。WA項目是一個綜合性的、龐大的項目,單靠某一個組織的力量是無法完成的。目前國際上的主要的WA項目都是由多個機構(gòu)合作完成的,合作已成為WA發(fā)展的趨勢。合作范圍也從國家內(nèi)部、組織間的合作發(fā)展到了地區(qū)合作,再到國際合作。從其合作機制來看主要分為:高度集中機制、責(zé)任平等機制、高度分散機制和獨立工作機制。

(二)國內(nèi)發(fā)展現(xiàn)狀

我國WA的研究始于20世紀(jì)末。對于WA比較系統(tǒng)的理論研究主要集中在中國科學(xué)院國家科學(xué)圖書館和少數(shù)其他單位。國家科學(xué)圖書館一直以來關(guān)注數(shù)字資源長期保存的宏觀支撐機制和問題框架的研究,目前正在進行的國家社會科學(xué)基金項目“網(wǎng)絡(luò)信息資源保存的理論與方法研究”,對WA的理論、技術(shù)予以探索研究。國家圖書館和高校的一些研究人員對元數(shù)據(jù)方案、服務(wù)模式、WA面臨的問題進行了探討。國家圖書館“網(wǎng)絡(luò)信息采集與保存”試驗項目(WICP)采集保存了自2003年以來“.cn”域名下的網(wǎng)站和所有中文(編碼)網(wǎng)站,積累Web數(shù)據(jù)達(dá)150G;對政府網(wǎng)站、電子報刊、國學(xué)的Web資源進行鏡像存檔;選擇了2008北京奧運、中國載人航天工程等專題進行專題存檔,并對專題存檔的數(shù)據(jù)進行質(zhì)量控制、數(shù)據(jù)挖掘。國家圖書館已經(jīng)成為IIPC的成員,并積極推動和促進Web資源呈繳法的起草,以解決WA長遠(yuǎn)發(fā)展過程中的法律障礙。我國研究人員還積極參與國際交流,國家科技圖書文獻中心(NSTL)與國家科學(xué)圖書館于2004年、2007年兩次承辦“數(shù)字資源長期保存國際會議”(iPRESS),為國內(nèi)保存領(lǐng)域的研究人員參與國際長期保存合作,促進長期保存的可持續(xù)高水平發(fā)展提供了良好的機會

三、網(wǎng)絡(luò)信息資源存儲發(fā)展趨勢

網(wǎng)絡(luò)信息資源存儲發(fā)展趨勢主要有以下幾點。主題和內(nèi)容更加豐富。WA項目所涉及的內(nèi)容已經(jīng)基本覆蓋了各個領(lǐng)域,例如政治、社會文化、健康、藝術(shù)、人文等。WA采集的形式從傳統(tǒng)的靜態(tài)網(wǎng)頁的采集向多媒體動態(tài)內(nèi)容的采集方向轉(zhuǎn)變,目前也有將Web2.0軟件形式納入采集的意向。但Web2.0資源的保存面臨保存責(zé)任者難以界定、隱蔽網(wǎng)采集難度、存儲難度等多方面的挑戰(zhàn),各種Web2.0的應(yīng)用模式又各自具備自身的特點及保存中需要考慮的問題。WA的內(nèi)容管理日益受到重視。系統(tǒng)建設(shè)標(biāo)準(zhǔn)化和開源化,WA項目在標(biāo)準(zhǔn)規(guī)范方面不斷改進,IIPC致力于WARC標(biāo)準(zhǔn)的推廣及ARC向WARC轉(zhuǎn)換工作,完善轉(zhuǎn)化框架和工具開發(fā)。WA項目中所使用的采集、索引、訪問工具基本都是開源的,而且在提高開源軟件的效率、性能、規(guī)范化方面還在不斷努力和探索。項目工作流程標(biāo)準(zhǔn)化、規(guī)范化,隨著WA十余年的發(fā)展,項目在工作流程規(guī)范化、提高工作效率方面的嘗試和探索越來越多,對WA的采集、法律問題、編目、保存、訪問等環(huán)節(jié)制定了詳細(xì)、規(guī)范的流程。

合作范圍更為廣泛。國際WA領(lǐng)域開始構(gòu)建更大范圍的長期保存網(wǎng)絡(luò)合作模式,共享WA系統(tǒng)和資源。利用分布式的系統(tǒng)和資源構(gòu)成網(wǎng)格和協(xié)作網(wǎng)絡(luò),構(gòu)建異地分布的WA合作框架,以促進實踐中的資源共享、職責(zé)與費用分?jǐn)傄约敖涣鞯取F渲斜容^典型的合作項目有NWA基于訪問的合作機制、SDSC基于大規(guī)模存儲網(wǎng)格合作機制、PANDORA基于采集合作機制等。WA領(lǐng)域的合作范圍不斷擴大,合作內(nèi)容不斷深化。利用分布式的系統(tǒng)和資源構(gòu)建網(wǎng)格和協(xié)作網(wǎng)絡(luò),共享WA系統(tǒng)和資源,促進資源共享,實行職責(zé)與費用分?jǐn)?。利用形式越來越多種多樣。例如網(wǎng)站重現(xiàn)將WA存儲器中存儲的網(wǎng)站內(nèi)容以其原有的樣貌展現(xiàn)給用戶,讓用戶感覺就像是在訪問原始網(wǎng)站一樣;保存Web文獻參考鏈接信息。對搜索引擎結(jié)果進行該進;分析Web技術(shù)演進。