前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的數(shù)據(jù)管理主題范文,僅供參考,歡迎閱讀并收藏。
據(jù)IDC統(tǒng)計(jì),2010年,全球共生成了超過(guò)1澤字節(jié)(ZB)或100萬(wàn)拍字節(jié)(PB)的數(shù)據(jù)。2014年,預(yù)計(jì)該數(shù)字將增長(zhǎng)至每年72ZB,其中一部分來(lái)自機(jī)器生成的數(shù)據(jù)。隨著程序化貿(mào)易與金融交易系統(tǒng)以及智能電表和其它智能儀表的使用量不斷增加,加之智能手機(jī)和平板電腦生成的大量呼叫詳細(xì)記錄(CDR),機(jī)器生成的數(shù)據(jù)正呈大幅增長(zhǎng)態(tài)勢(shì)。
與此同時(shí),非結(jié)構(gòu)化數(shù)據(jù)(如圖像、音視頻文件等)和半結(jié)構(gòu)化數(shù)據(jù)(如電子郵件、日志等)的日益增長(zhǎng)進(jìn)一步增加了管理的復(fù)雜性,尤其是在確定最高效和最可靠的采集、保護(hù)、組織、訪問(wèn)、保管和防御性刪除所有這些重要信息的方法之時(shí)。隨著越來(lái)越多的企業(yè)被要求保管來(lái)自電子郵件、文檔、富媒體文件等各種來(lái)源的數(shù)據(jù),保管和保留數(shù)據(jù)的需求正變得日益復(fù)雜。
跨越大數(shù)據(jù)備份與歸檔斷層
對(duì)于很多企業(yè)而言,備份和歸檔功能是在一個(gè)信息管理總戰(zhàn)略中分別加以部署和管理的“孤島”。鑒于很多原因,這樣做并不明智。多個(gè)互不相干的硬件和軟件產(chǎn)品通常負(fù)責(zé)管理這些數(shù)據(jù)孤島,從而產(chǎn)生了必須加以保護(hù)和保管的重復(fù)的信息副本。除此之外,要求搜索和保管數(shù)據(jù)的法規(guī)壓力通常也會(huì)催生更多的孤島。最糟糕的情況是:無(wú)限延長(zhǎng)信息資產(chǎn)的保留期,因?yàn)槿藗儾荒艹浞至私馄髽I(yè)正在保存什么。
因此,大數(shù)據(jù)對(duì)話中的這兩個(gè)要素之間產(chǎn)生了一個(gè)斷層。Gartner指出,備份可以補(bǔ)充歸檔,反之亦然;但傳統(tǒng)上,備份管理員和信息架構(gòu)師沒(méi)有共同語(yǔ)言,而且大多數(shù)工具和技術(shù)也只是為了滿足這兩種需求之一。
雖然備份和歸檔的目的不同,但它們的功能卻類似:它們都創(chuàng)建原始數(shù)據(jù)的副本,用于恢復(fù)或保管等目的。鑒于此,Gartner等公司預(yù)測(cè),能夠整體地看待備份和歸檔功能將有助于大幅降低成本和提升風(fēng)險(xiǎn)管理水平。隨著企業(yè)開(kāi)始尋求可減少備份和歸檔副本并協(xié)調(diào)兩者數(shù)據(jù)訪問(wèn)策略的解決方案,備份與歸檔融合這一概念正在興起。
結(jié)成數(shù)據(jù)融合統(tǒng)一戰(zhàn)線
考慮到預(yù)算和資源的短缺,雖然這并非因?yàn)楣芾韺訉?duì)信息管理或數(shù)據(jù)管制缺乏興趣,秘訣似乎應(yīng)該是“事半功倍”。實(shí)現(xiàn)這一目標(biāo)的一個(gè)方法是統(tǒng)一備份和歸檔功能,但這需要組建跨職能團(tuán)隊(duì),以確保滿足所有利益相關(guān)方的業(yè)務(wù)需求。
首先,我們應(yīng)該更好地了解應(yīng)用、用戶和關(guān)鍵業(yè)務(wù)流程訪問(wèn)數(shù)據(jù)的需求以及如何在數(shù)據(jù)的生命周期內(nèi)使用它們。這需要負(fù)責(zé)數(shù)據(jù)恢復(fù)和發(fā)現(xiàn)的業(yè)務(wù)和IT利益相關(guān)方開(kāi)展合作和協(xié)作。該團(tuán)隊(duì)?wèi)?yīng)該審視用于移動(dòng)、復(fù)制、分類和訪問(wèn)的數(shù)據(jù),從而達(dá)到以備份、保留、恢復(fù)、發(fā)現(xiàn)和處理為目的的所有策略和做法。
初期審查的另一個(gè)結(jié)果通常是,突然意識(shí)到多個(gè)數(shù)據(jù)復(fù)本無(wú)處不在:在物理和虛擬服務(wù)器上,在公司各處的員工的計(jì)算機(jī)和移動(dòng)設(shè)備上。我們不僅可以利用重復(fù)數(shù)據(jù)刪除功能有效和高效地消減冗余數(shù)據(jù)復(fù)本的數(shù)量,而且可以獲得一大好處:利用一個(gè)硬件和/或軟件備份與歸檔通用基礎(chǔ)設(shè)施。
將數(shù)據(jù)整合到單一數(shù)據(jù)存儲(chǔ)單元中、可消除冗余副本和孤島的單一數(shù)據(jù)存儲(chǔ)庫(kù)理念在很多方面都極具吸引力。一種能夠采集數(shù)據(jù)、然后將其用于數(shù)據(jù)保護(hù)和保管目的的整體方法是將正確的數(shù)據(jù)交到正確的人手中的關(guān)鍵,后者可將這些數(shù)據(jù)轉(zhuǎn)變?yōu)閷?duì)于企業(yè)更加有意義和更能付諸實(shí)施的信息。
部署一個(gè)綜合信息管理戰(zhàn)略可對(duì)企業(yè)的各個(gè)層面產(chǎn)生深刻影響,其中也包括IT以外的領(lǐng)域。尤其是,企業(yè)團(tuán)隊(duì)將能通過(guò)點(diǎn)擊“依法保留”的搜索結(jié)果,對(duì)內(nèi)容進(jìn)行保管。另一個(gè)好處是:通過(guò)消除冗余數(shù)據(jù)復(fù)本、及早獲得對(duì)于證據(jù)的新的認(rèn)識(shí),降低訴訟風(fēng)險(xiǎn)和成本,同時(shí)確保捕獲所有重要的案例數(shù)據(jù),并運(yùn)用一種具有針對(duì)性的方法減少所要審閱的數(shù)據(jù)量。
運(yùn)用融合數(shù)據(jù)管理控制成本和風(fēng)險(xiǎn)
數(shù)據(jù)增長(zhǎng)、有限的預(yù)算和資源正使得備份與歸檔融合成為當(dāng)今最流行的發(fā)展趨勢(shì)之一。CommVault的Simpana OnePass功能是業(yè)內(nèi)首個(gè)基于一個(gè)一體化數(shù)據(jù)采集和通用基礎(chǔ)設(shè)施的備份、歸檔和報(bào)告融合解決方案。它能夠讓您利用零足跡歸檔功能應(yīng)對(duì)文件和電子郵件大幅增長(zhǎng)的問(wèn)題,并且不會(huì)增加任何管理費(fèi)用。有了Simpana OnePass技術(shù),您將能更好地管理您的信息,從而獲得情報(bào)、降低成本和運(yùn)營(yíng)復(fù)雜性。
三種傳統(tǒng)數(shù)據(jù)管理工作流與 Simpana OnePass 功能的比較
Simpana OnePass功能將數(shù)據(jù)管理整合到單一操作之中,讓企業(yè)能夠:通過(guò)單一操作掃錨、采集、備份和歸檔數(shù)據(jù)。將備份、歸檔和報(bào)告所需的總時(shí)間減少50%。減少對(duì)業(yè)務(wù)環(huán)境的影響,并提升服務(wù)器性能,將源端冗余數(shù)據(jù)最多減少90%。
CommVault Simpana管理的所有數(shù)據(jù)保存在ContentStore中,它是一個(gè)可擴(kuò)展、與硬件無(wú)關(guān)的虛擬存儲(chǔ)庫(kù),提供一個(gè)智能索引,可幫助用戶找到他們所需的信息。IT企業(yè)可以使用ContentStore Mail減少技術(shù)支持部門(mén)的工作量。ContentStore Mail是一個(gè)微軟插件,提供針對(duì)ContentStore中歸檔郵件的自助預(yù)覽和檢索功能。借助Simpana OnePass和ContentStore,企業(yè)可以優(yōu)化歸檔和備份數(shù)據(jù)的采集、保管、處理和發(fā)現(xiàn),從而滿足各項(xiàng)合規(guī)要求。
利用一體化能力增強(qiáng)數(shù)據(jù)可見(jiàn)性、改進(jìn)數(shù)據(jù)管理和減少存儲(chǔ)足跡,優(yōu)化文件和郵件的法律取證和審查,管理成本和容量,同時(shí)實(shí)現(xiàn)性能目標(biāo)。
-EMILY WOJCIK
Emulex高性能NetFlow生成器
Emulex公司日前宣布推出新EndaceFlow3040 NetFlow 生成器。它是專門(mén)為高密度萬(wàn)兆以太網(wǎng)(10GbE)設(shè)計(jì)制造的,可以100%準(zhǔn)確地生成最多4條以太網(wǎng)鏈路的NetFlow,鏈路速度最高可達(dá)每秒10Gb(10Gbps) 。這種高性能可以加快關(guān)鍵安全和網(wǎng)絡(luò)問(wèn)題的檢測(cè)、識(shí)別和故障排除速度,提升企業(yè)數(shù)據(jù)中心的網(wǎng)絡(luò)無(wú)故障正常運(yùn)行時(shí)間,降低運(yùn)營(yíng)支出(OPEX)。
Doyle Research實(shí)驗(yàn)室首席分析師Lee Doyle表示:“隨著越來(lái)越多地采用最新的數(shù)據(jù)中心技術(shù),如10GbE、服務(wù)器虛擬化和軟件定義網(wǎng)絡(luò),企業(yè)發(fā)現(xiàn)在自己網(wǎng)絡(luò)中實(shí)施虛擬化變得越來(lái)越困難了。更嚴(yán)重的是許多原先在1Gbps速度下工作良好的工具,根本無(wú)法擴(kuò)展到10Gbps環(huán)境。這種情況預(yù)示企業(yè)對(duì)于新環(huán)境下的安全監(jiān)控、取證和網(wǎng)絡(luò)性能管理等任務(wù)只能使用專門(mén)設(shè)計(jì)用于10Gbps或更高速度網(wǎng)絡(luò)虛擬化的工具來(lái)完成?!?/p>
隨著企業(yè)應(yīng)用環(huán)境變得越來(lái)越復(fù)雜,NetOps和SecOps人員正在尋找新的方式來(lái)提高自己網(wǎng)絡(luò)的可視性,從而確保網(wǎng)絡(luò)安全、保證以網(wǎng)絡(luò)為中心的應(yīng)用高性能運(yùn)行,以及檢查網(wǎng)絡(luò)是否符合服務(wù)水平協(xié)議(SLA)?,F(xiàn)有的10GbE NetFlow生成器只能提供10GbE鏈路的取樣數(shù)據(jù),具備生成NetFlow功能的交換機(jī)和路由器也是如此。而且,用交換機(jī)和路由器生成NetFlow會(huì)影響它們的性能,特別是在發(fā)生拒絕服務(wù)攻擊的時(shí)候。這種取樣NetFlow無(wú)法提供解決重要網(wǎng)絡(luò)問(wèn)題所需的可視性。通過(guò)提供非取樣NetFlow,EndaceFlowTM 3040可以在10GbE的網(wǎng)絡(luò)環(huán)境中提供全面的可視性。
惠普 “IT新型態(tài)”基礎(chǔ)設(shè)施管理平臺(tái)
10月28日,惠普宣布推出業(yè)界首個(gè)面向惠普融合基礎(chǔ)設(shè)施、以消費(fèi)級(jí)IT產(chǎn)品為設(shè)計(jì)靈感的基礎(chǔ)設(shè)施管理平臺(tái)——惠普OneView。該平臺(tái)可簡(jiǎn)化支撐數(shù)據(jù)中心所有流程的最基本步驟,讓IT部門(mén)顯著改善運(yùn)營(yíng),同時(shí)降低成本并減少導(dǎo)致宕機(jī)的人為錯(cuò)誤。
服務(wù)技術(shù)的發(fā)展,專業(yè)技術(shù)人員的大量涌入以及業(yè)務(wù)復(fù)雜性的增長(zhǎng),導(dǎo)致業(yè)務(wù)需求與傳統(tǒng)IT供應(yīng)間的差距日益加大。當(dāng)前,許多企業(yè)不得不以過(guò)時(shí)的管理工具來(lái)交付并管理IT。
惠普OneView專為惠普BladeSystem、惠普ProLiant Generation 8(Gen8)和惠普ProLiant Generation 7而設(shè)計(jì),采用領(lǐng)先的服務(wù)器和軟件技術(shù),可提供單一管理平臺(tái),加強(qiáng)整個(gè)數(shù)據(jù)中心IT部門(mén)的協(xié)作和溝通。
惠普OneView擁有直觀的用戶界面和簡(jiǎn)化日常任務(wù)的自動(dòng)化智能特性,能夠提高IT管理員的工作效率。將最常見(jiàn)的數(shù)據(jù)中心流程(包括如部署、升級(jí)、遷移和排除故障)從幾小時(shí)或幾天縮至幾分鐘。
例如,在16個(gè)服務(wù)器上配置管理程序,傳統(tǒng)工具需要2小時(shí)50分鐘的管理時(shí)間,惠普OneView只需要14分鐘?;厥仗摂M局域網(wǎng)絡(luò),傳統(tǒng)工具需要480個(gè)步驟,2小時(shí)以上,而使用惠普OneView只需4個(gè)步驟,30秒的管理時(shí)間。
惠普亞太及日本地區(qū)工業(yè)標(biāo)準(zhǔn)服務(wù)器與軟件副總裁兼總經(jīng)理Stephen Bovis表示:“社交媒體、IT消費(fèi)化和不斷變化的人口結(jié)構(gòu)正在改變我們的工作方式,促使企業(yè)不得不應(yīng)對(duì)其需求與傳統(tǒng)IT供應(yīng)之間越來(lái)越大的差距帶來(lái)的挑戰(zhàn)。當(dāng)前基礎(chǔ)設(shè)施的管理模式依然停留在舊時(shí)代,惠普OneView是從根本上變革數(shù)據(jù)中心內(nèi)基礎(chǔ)設(shè)施管理整體方案所邁出的第一步?!?/p>
LSI閃存解決方案
LSI公司日前宣布推出集成VMware虛擬化軟件支持的LSI Nytro XD應(yīng)用加速存儲(chǔ)解決方案。該款帶VMware支持的Nytro XD解決方案可將PCIe閃存卡與專門(mén)針對(duì)虛擬化環(huán)境而設(shè)計(jì)的智能主機(jī)緩存軟件相結(jié)合。
虛擬化在企業(yè)中普遍存在,但可供IT部門(mén)部署的虛擬機(jī)(VM)數(shù)量卻經(jīng)常受到限制,其原因在于硬盤(pán)存取緩慢會(huì)引起存儲(chǔ)I/O瓶頸問(wèn)題。LSI Nytro XD解決方案可顯著提高IOPS性能和虛擬機(jī)密度,有助于消除虛擬化環(huán)境中的存儲(chǔ)瓶頸,而且對(duì)現(xiàn)有基礎(chǔ)架構(gòu)的影響也是最小的。
LSI Nytro XD解決方案可將訪問(wèn)最頻繁的“熱”數(shù)據(jù)智能地緩存到低延遲PCIe閃存存儲(chǔ)器中,從而加速虛擬機(jī)中運(yùn)行的應(yīng)用的性能。LSI Nytro XD解決方案能夠快速簡(jiǎn)便地與VMware vSphere、vCenter 和vMotion實(shí)現(xiàn)集成,并可通過(guò)本地VMware管理實(shí)現(xiàn)對(duì)系統(tǒng)管理的透明化。
LSI NytroXD解決方案為客戶帶來(lái)的優(yōu)勢(shì)包括:
·智能地將熱數(shù)據(jù)自動(dòng)緩存到PCIe 閃存存儲(chǔ)器上,以更低成本加速現(xiàn)有SAN、DAS和NAS(僅VMware)存儲(chǔ)設(shè)備的性能。
·虛擬機(jī)密度提高3倍,可實(shí)現(xiàn)服務(wù)器整合,減少機(jī)架空間需求,并降低功耗、制冷及許可成本。
·提高CPU利用率,使閑置的CPU支持更多的業(yè)務(wù)應(yīng)用。
這一年電商價(jià)格大戰(zhàn)時(shí),不少小家電制造業(yè)面對(duì)網(wǎng)絡(luò)渠道商的強(qiáng)硬降價(jià)策略,不得不采取自損毛利跟進(jìn)降價(jià),但蘇泊爾沒(méi)有盲目跟進(jìn),而是根據(jù)BI系統(tǒng)當(dāng)日?qǐng)?bào)表中呈現(xiàn)的各項(xiàng)相關(guān)毛利數(shù)據(jù)分析,選擇部分品類去跟進(jìn)促銷。
這種應(yīng)對(duì)策略有效地避免了企業(yè)陷入價(jià)格戰(zhàn)后造成的多輸局面,使蘇泊爾既避免了客戶的流失,又守住了市場(chǎng)和利潤(rùn)。
除此之外,報(bào)表中還會(huì)反映出采取相應(yīng)措施的信息,比如當(dāng)某個(gè)區(qū)域的品類達(dá)成率降低到60%以下,報(bào)表中會(huì)做出分析,給出一系列可采取的措施,相關(guān)負(fù)責(zé)人就可以馬上行動(dòng)。針對(duì)競(jìng)爭(zhēng)對(duì)手隨時(shí)推出的促銷政策,報(bào)表也做出一系列分析并給出解決方案,為迅速調(diào)整營(yíng)銷策略提供“數(shù)據(jù)彈藥”。
“每天打開(kāi)電腦就能夠看到實(shí)時(shí)的數(shù)據(jù),對(duì)做具體業(yè)務(wù)的管理者非常有意義。想看哪個(gè)數(shù)據(jù),想控制哪個(gè)節(jié)點(diǎn),隨時(shí)都可以看到并進(jìn)行管控,這個(gè)是管理時(shí)效性的價(jià)值?!?蘇泊爾副總裁王豐禾說(shuō),現(xiàn)在BI系統(tǒng)已經(jīng)成為蘇泊爾50多個(gè)高管每天必看的經(jīng)營(yíng)指南。
通過(guò)國(guó)際并購(gòu)快速發(fā)展的蘇泊爾走的是傳統(tǒng)民營(yíng)企業(yè)的管理模式,雖然蘇泊爾旗下四大事業(yè)部,六大生產(chǎn)基地和各地分公司很早就使用了SAP管理系統(tǒng)。但由于沒(méi)有統(tǒng)一的流程和規(guī)范,而且手工操作的項(xiàng)目過(guò)多,導(dǎo)致報(bào)表的數(shù)據(jù)匯總速度慢,準(zhǔn)確度不高,直接影響高層的分析與決策,并使工作管理效率低下,不能對(duì)瞬息萬(wàn)變的市場(chǎng)進(jìn)行快速反應(yīng)。蘇泊爾信息中心現(xiàn)任IT總監(jiān)王波舉例說(shuō):“比如成本分?jǐn)?,這個(gè)基地可能將費(fèi)用記在某個(gè)科目,而另一個(gè)基地可能就記在了另一個(gè)科目上。”
為了獲得準(zhǔn)確的數(shù)據(jù)、支持公司高層的分析決策,也為了讓SAP管理系統(tǒng)發(fā)揮其應(yīng)有的作用,2009年,蘇泊爾開(kāi)始對(duì)已有的SAP系統(tǒng)進(jìn)行優(yōu)化。2010年,王波從GE進(jìn)入到蘇泊爾,擔(dān)任這一項(xiàng)目的主要負(fù)責(zé)人。王波認(rèn)為,IT要體現(xiàn)業(yè)務(wù)價(jià)值,IT戰(zhàn)略的制定不僅要關(guān)注業(yè)務(wù)需求,還要關(guān)注行業(yè)發(fā)展。他判斷蘇泊爾的競(jìng)爭(zhēng)關(guān)鍵在于小家電在渠道和終端上的投入。他在正式啟動(dòng)SAP項(xiàng)目前作了充分的調(diào)研,并規(guī)劃了以SAP為中心,結(jié)合CRM、BI的總體IT戰(zhàn)略規(guī)劃。
王波確定此次優(yōu)化項(xiàng)目要達(dá)到的目標(biāo)有三:一是保證基層數(shù)據(jù)的準(zhǔn)確,形成有效的管理支撐;二是做到流程規(guī)范,一般的業(yè)務(wù)流程要做到80%一致,財(cái)務(wù)管理流程則是100%一致,以支撐集團(tuán)的標(biāo)準(zhǔn)化管理;三是針對(duì)業(yè)務(wù)復(fù)雜度,系統(tǒng)管理的靈活性必須提高,并且系統(tǒng)能支持上百億元的銷售規(guī)模,實(shí)現(xiàn)T+1月結(jié),T+2出管理快報(bào)的目標(biāo)。
王波在系統(tǒng)布局上不僅從企業(yè)內(nèi)部管理考慮,同時(shí)考慮和渠道的協(xié)同效率,終端信息收集和反應(yīng)速度等,并將這些數(shù)據(jù)整合到BI進(jìn)行分析。現(xiàn)在BI系統(tǒng)可以出每天的銷售日?qǐng)?bào)、損益日?qǐng)?bào),多維度的分析為事業(yè)部及總部管理層提供了強(qiáng)有力的決策依據(jù)。
蘇泊爾的IT服務(wù)系統(tǒng)從前端的數(shù)據(jù)采集、店面管理,一直到CRM、商業(yè)智能分析,已經(jīng)擁有了一套完整的管理鏈條。
【關(guān)鍵詞】MySQL;緩存;查詢
在數(shù)據(jù)庫(kù)中,用戶可能多次執(zhí)行相同的查詢語(yǔ)句。為了提高查詢效率,數(shù)據(jù)庫(kù)會(huì)在內(nèi)存在劃分一個(gè)專門(mén)的區(qū)域,用來(lái)存放用戶最近執(zhí)行的查詢,這塊區(qū)域就是緩存。因?yàn)閮?nèi)存的運(yùn)行速度要比硬盤(pán)快的多。為此通過(guò)緩存機(jī)制,就可以提高查詢的效率。當(dāng)用戶下一次再執(zhí)行相同查詢時(shí),就可以直接從緩存中獲取數(shù)據(jù),而不用到硬盤(pán)中的數(shù)據(jù)文件中去讀取數(shù)據(jù),也可以省去相關(guān)解析的工作。
1.數(shù)據(jù)管理的應(yīng)用
并不是在任何情況下數(shù)據(jù)管理都能夠起到應(yīng)有的效果。如果企業(yè)有一個(gè)不經(jīng)常改變的表并且服務(wù)器受到這個(gè)表的大量的相同查詢時(shí),數(shù)據(jù)管理才能夠起到不錯(cuò)的效果。通常情況下,針對(duì)Web的應(yīng)用,效果會(huì)比較明顯。如現(xiàn)在在數(shù)據(jù)庫(kù)中有一張產(chǎn)品信息表。企業(yè)的用戶需要通過(guò)網(wǎng)頁(yè)來(lái)查詢產(chǎn)品的信息。如果在系統(tǒng)設(shè)計(jì)時(shí),默認(rèn)查詢的結(jié)果是顯示最近一個(gè)月交易過(guò)的產(chǎn)品信息。那么每次用戶按默認(rèn)情況查詢產(chǎn)品信息時(shí),將都會(huì)從緩存中獲取信息(如果相關(guān)的信息沒(méi)有被更新過(guò))。此時(shí)系統(tǒng)查詢的速度就會(huì)比較快。
如果企業(yè)有一個(gè)不經(jīng)常改變的表并且服務(wù)器受到這個(gè)表的大量的相同查詢時(shí),筆者就建議大家啟用數(shù)據(jù)管理機(jī)制。在啟動(dòng)之前,可以先使用命名來(lái)查詢現(xiàn)在系統(tǒng)緩存是否開(kāi)啟。如果查詢的結(jié)果是YES的話,那么就說(shuō)明系統(tǒng)中已經(jīng)開(kāi)啟了數(shù)據(jù)管理機(jī)制。
只有當(dāng)數(shù)據(jù)庫(kù)里已經(jīng)有了足夠多的測(cè)試數(shù)據(jù)時(shí),它的性能測(cè)試結(jié)果才有實(shí)際參考價(jià)值。如果在測(cè)試數(shù)據(jù)庫(kù)里只有幾百條數(shù)據(jù)記錄,它們往往在執(zhí)行完第一條查詢命令之后就被全部加載到內(nèi)存里。
2. 使用數(shù)據(jù)管理的方式
并不是在任何情況下,數(shù)據(jù)管理都會(huì)起到改善查詢的效果。在以下幾種情況,數(shù)據(jù)管理機(jī)制的效果并不會(huì)很大。
一是查詢所涉及到的表會(huì)經(jīng)常更改。如在一個(gè)進(jìn)銷存管理系統(tǒng)中,可能會(huì)有產(chǎn)品與銷售記錄兩張表格。產(chǎn)品表一般不怎么會(huì)更新,而銷售記錄表就可能每分鐘都會(huì)發(fā)生變化。此時(shí)對(duì)于銷售記錄表來(lái)說(shuō),采用緩存機(jī)制就不會(huì)起到多大的效果。因?yàn)楦鶕?jù)緩存的工作原理,當(dāng)某個(gè)表被更改后,其對(duì)應(yīng)的數(shù)據(jù)管理的相關(guān)條目就會(huì)被清空。
二是查詢緩存不使用與服務(wù)器方便些的語(yǔ)句。根據(jù)B/S或者C/S架構(gòu),可以將相關(guān)應(yīng)用分為服務(wù)器斷和客戶端兩類。在使用數(shù)據(jù)管理時(shí),數(shù)據(jù)庫(kù)管理員要考慮到,在MySQL數(shù)據(jù)庫(kù)中,查詢緩存并不適用于服務(wù)器方所編寫(xiě)的查詢語(yǔ)句。當(dāng)數(shù)據(jù)庫(kù)管理員正在使用服務(wù)器方編寫(xiě)的語(yǔ)句時(shí),要注意到這些語(yǔ)句并不會(huì)應(yīng)用緩存技術(shù)。
三是查詢時(shí)使用緩存的兩個(gè)基本條件:所采用的查詢語(yǔ)句完全一致。不僅包括查詢的字段,也包括查詢的條件。如果用戶查詢一個(gè)產(chǎn)品信息表,使用了查詢條件,只查詢最近一個(gè)月新建的產(chǎn)品信息。顯然此時(shí)查詢的結(jié)果是查詢的子集,應(yīng)該可以使用數(shù)據(jù)管理。數(shù)據(jù)庫(kù)仍然會(huì)先重新解析SQL語(yǔ)句,然后從硬盤(pán)上的數(shù)據(jù)文件中去獲取數(shù)據(jù)。
數(shù)據(jù)類型的大小也會(huì)影響到基礎(chǔ)表的大小。如對(duì)于MEDIUMINT和INT兩個(gè)數(shù)據(jù)類型,其都可以用來(lái)保存整數(shù)型的數(shù)據(jù),只是其能夠保存的精度不同而已。
用戶在查詢語(yǔ)句中,使用了自定義函數(shù)、自定義變量或者因引用了系統(tǒng)數(shù)據(jù)庫(kù)中的表,那么緩存機(jī)制可能會(huì)失效。
3.提高數(shù)據(jù)管理的使用效率
通過(guò)數(shù)據(jù)庫(kù)的合理設(shè)計(jì),可以提高緩存的使用效率,擴(kuò)大緩存的使用領(lǐng)域。具體的說(shuō),數(shù)據(jù)庫(kù)管理員可以從如下幾個(gè)方面出發(fā)。
⑴根據(jù)數(shù)據(jù)變化的頻率來(lái)分解表
如現(xiàn)在有產(chǎn)品基本資料與產(chǎn)品最新庫(kù)存兩部分內(nèi)容。在不考慮緩存的情況下,可以將產(chǎn)品基本資料與產(chǎn)品庫(kù)存放在同一個(gè)表中,然后通過(guò)其他作業(yè)來(lái)更新這個(gè)庫(kù)存數(shù)量。如此的話,在前臺(tái)界面中,就可以直觀的反映出產(chǎn)品的庫(kù)存數(shù)量。但是從緩存的設(shè)計(jì)角度來(lái)看,這么操作并不是很合理。因?yàn)楫a(chǎn)品信息相對(duì)來(lái)說(shuō)不怎么會(huì)變化,而庫(kù)存數(shù)量卻經(jīng)常在發(fā)生變化。如果將他們放在同一張表上,由于庫(kù)存數(shù)量的不斷更新,數(shù)據(jù)管理中的內(nèi)容就會(huì)不斷被清空(與產(chǎn)品信息表相關(guān)的數(shù)據(jù)管理)。此時(shí)如果很多用戶要查詢產(chǎn)品的描述、規(guī)格(他們可能并不關(guān)注產(chǎn)品的庫(kù)存),那么他們就無(wú)法使用數(shù)據(jù)管理。因?yàn)榫彺嬷袥](méi)有相關(guān)的數(shù)據(jù)(由于庫(kù)存數(shù)量不斷變化而被清空)。
遇到這種情況時(shí),數(shù)據(jù)庫(kù)管理員就可以將庫(kù)存數(shù)量與產(chǎn)品基本信息存放在兩張不同的表上,然后通過(guò)關(guān)鍵字來(lái)進(jìn)行關(guān)聯(lián)。這么做的好處就是庫(kù)存數(shù)量更新并不會(huì)影響到產(chǎn)品基本信息表所對(duì)應(yīng)的數(shù)據(jù)管理(他們是兩張表)。從而提高產(chǎn)品信息查詢時(shí)的緩存命中率。
⑵采用默認(rèn)條件的查詢
在上面的分析中筆者談到,要兩條完全相同的SQL語(yǔ)句才能夠使用緩存。條件不同或者使用的字段不同,數(shù)據(jù)庫(kù)系統(tǒng)都不會(huì)使用緩存來(lái)進(jìn)行查詢優(yōu)化。
采用默認(rèn)條件的查詢來(lái)提高緩存命中率。如在設(shè)計(jì)產(chǎn)品信息查詢這個(gè)功能,可以考慮默認(rèn)查詢?nèi)啃畔⒒蛘咧付硞€(gè)固定的條件。如此就可以提高緩存的命中率。而不要在不同的用戶界面設(shè)置不同的默認(rèn)值。某些應(yīng)用系統(tǒng),為了提高界面的友好性,會(huì)給用戶提供一些個(gè)性化設(shè)置的參數(shù),以保存用戶的個(gè)性化內(nèi)容。此時(shí)雖然可以提高界面的人性化,但是顯然會(huì)降低數(shù)據(jù)管理的命中率。遇到這種情況時(shí),數(shù)據(jù)庫(kù)管理員就需要在人性化設(shè)計(jì)與系統(tǒng)的查詢性能之間進(jìn)行均衡。
不同的應(yīng)用針對(duì)同一個(gè)表格的相同查詢,其查詢語(yǔ)句最好相同。如現(xiàn)在對(duì)于產(chǎn)品信息,即可以通過(guò)產(chǎn)品信息窗口進(jìn)行查詢,也可以根據(jù)報(bào)表來(lái)查詢。此時(shí)其對(duì)應(yīng)的后臺(tái)表格是相同的。只要其執(zhí)行的查詢語(yǔ)句相同、并且在這段時(shí)間之內(nèi)數(shù)據(jù)庫(kù)表格沒(méi)有發(fā)生變化,那么系統(tǒng)就可以從緩存中獲取數(shù)據(jù)。在實(shí)際工作中,窗體與報(bào)表往往是有不同的人設(shè)計(jì)與開(kāi)發(fā)的。不同的用戶之間要統(tǒng)一SQL語(yǔ)句的書(shū)寫(xiě)規(guī)范。項(xiàng)目管理員要根據(jù)實(shí)際情況來(lái)制定相關(guān)的規(guī)則。
⑶提高緩存空間大小來(lái)提高數(shù)據(jù)庫(kù)的緩存使用率
當(dāng)數(shù)據(jù)管理滿時(shí),新的數(shù)據(jù)會(huì)覆蓋舊的數(shù)據(jù)。在這種情況下,即使查詢的語(yǔ)句相同、表格也沒(méi)有發(fā)生變化,數(shù)據(jù)庫(kù)系統(tǒng)仍然要從硬盤(pán)上的數(shù)據(jù)文件中去獲取數(shù)據(jù),所以,應(yīng)該增加服務(wù)器上緩存的空間。
總之,MySQL提供了TCP/IP、ODBC和JDBC等多種數(shù)據(jù)庫(kù)連接途徑,提供用于管理、檢查、優(yōu)化數(shù)據(jù)庫(kù)操作的管理工具。利用MySQL技術(shù)可以很好地對(duì)系統(tǒng)的緩存進(jìn)行管理,提高了查詢的效率,提高緩存的使用率,靈活的緩存可以說(shuō)不僅大大減輕了服務(wù)器的壓力,而且因?yàn)楦焖俚挠脩趔w驗(yàn)而方便了用戶。
參考文獻(xiàn):
[1]《php+mysql完全學(xué)習(xí)手冊(cè)》黃桂金,清華大學(xué)出版社,2008-6.
[2]《mysql高效編程》王志剛,人民郵電出版社,2012-1.
[3]《php+mysql動(dòng)態(tài)網(wǎng)站開(kāi)發(fā)指南》楊智宇,科學(xué)出版社,2008-6.
關(guān)鍵詞:數(shù)據(jù)管理 數(shù)據(jù)庫(kù)技術(shù) 發(fā)展
數(shù)據(jù)管理包括數(shù)據(jù)的分類、組織、編碼、存儲(chǔ)、檢索和維護(hù)等,數(shù)據(jù)管理技術(shù)的發(fā)展與計(jì)算機(jī)硬件、軟件的發(fā)展及計(jì)算機(jī)應(yīng)用的范圍密切相關(guān)。迄今為止,計(jì)算機(jī)數(shù)據(jù)管理技術(shù)的發(fā)展經(jīng)歷了四個(gè)階段:
一、人工管理階段
這一階段是指20世紀(jì)50年代中期以前,一般公認(rèn)世界上第一臺(tái)計(jì)算機(jī)于1946年誕生,這期間,計(jì)算機(jī)主要用于科學(xué)計(jì)算,其它工作還沒(méi)展開(kāi)。硬件方面:還沒(méi)出現(xiàn)可直接存取數(shù)據(jù)的存儲(chǔ)設(shè)備,主要依靠磁帶、卡片和紙帶來(lái)讀寫(xiě)程序和數(shù)據(jù)。軟件方面:操作系統(tǒng)還沒(méi)產(chǎn)生,也無(wú)專門(mén)的數(shù)據(jù)管理軟件,主要依靠機(jī)器語(yǔ)言和匯編語(yǔ)言編程。由于沒(méi)有專門(mén)的數(shù)據(jù)管理軟件,我們將這一階段稱為—人工管理階段。該階段的特點(diǎn)是:
①數(shù)據(jù)不保存。計(jì)算時(shí)數(shù)據(jù)與程序一起輸入內(nèi)存,運(yùn)算處理后將結(jié)果數(shù)據(jù)輸出,隨著計(jì)算任務(wù)的完成,數(shù)據(jù)空間隨著程序空間一起被釋放。
②數(shù)據(jù)服務(wù)應(yīng)用。數(shù)據(jù)處于從屬地位,一組數(shù)據(jù)對(duì)應(yīng)一個(gè)程序(應(yīng)用)。數(shù)據(jù)與程序不獨(dú)立。
③數(shù)據(jù)組織依靠人工。數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)、存取方法、輸入輸出等必須由程序員自行設(shè)計(jì)與安排。
二、文件系統(tǒng)階段
20世紀(jì)50年代后期~60年代中期,計(jì)算機(jī)不僅用于科學(xué)計(jì)算也開(kāi)始大量用于信息管理。隨著數(shù)據(jù)量的增加、數(shù)據(jù)的存儲(chǔ)、檢索和維護(hù)問(wèn)題成為緊迫的需要。硬件方面出現(xiàn)了磁盤(pán)等直接存取存儲(chǔ)設(shè)備,軟件方面產(chǎn)生了高級(jí)語(yǔ)言和操作系統(tǒng)。操作系統(tǒng)中的文件系統(tǒng)是專門(mén)管理數(shù)據(jù)的軟件。數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)管理技術(shù)迅速發(fā)展起來(lái)。這一階段的數(shù)據(jù)管理有以下特點(diǎn):
①數(shù)據(jù)可長(zhǎng)期積存。對(duì)數(shù)據(jù)的維護(hù)與使用提供了可能。
②文件形式多樣化。有索引文件、鏈表文件和直接存取文件等。但文件之間相互獨(dú)立,數(shù)據(jù)之間的聯(lián)系要通過(guò)程序構(gòu)造。
③數(shù)據(jù)相對(duì)獨(dú)立。數(shù)據(jù)可被多個(gè)程序重復(fù)使用。
④數(shù)據(jù)的存取基本上以記錄為單位。
隨著數(shù)據(jù)管理規(guī)模的擴(kuò)大,數(shù)據(jù)量急劇增加,文件系統(tǒng)顯露出以下三個(gè)不足:
①數(shù)據(jù)冗余。由于文件之間氣管聯(lián)系,造成每個(gè)應(yīng)用程序都有對(duì)應(yīng)的文件(數(shù)據(jù)),勢(shì)必會(huì)造成同樣的數(shù)據(jù)在多個(gè)文件中同時(shí)存儲(chǔ)。
②數(shù)據(jù)不一致。由于存在數(shù)據(jù)冗余,在對(duì)數(shù)據(jù)進(jìn)行更新操作時(shí),就要通盤(pán)考慮,稍不謹(jǐn)慎,就可能造成同樣的數(shù)據(jù)在不同的文件中不一樣。
③數(shù)據(jù)聯(lián)系弱。數(shù)據(jù)文件相對(duì)獨(dú)立,要通過(guò)程序來(lái)構(gòu)造它們之間的聯(lián)系。
三、數(shù)據(jù)庫(kù)系統(tǒng)階段
20世紀(jì)60年代后期,計(jì)算機(jī)應(yīng)用于管理的規(guī)模更加龐大,數(shù)據(jù)量急劇增加,同時(shí)多種應(yīng)用、多種語(yǔ)言互相覆蓋地共享數(shù)據(jù)集合的要求也越來(lái)越強(qiáng)烈。僅對(duì)文件系統(tǒng)及功能加以擴(kuò)充已不能滿足需要。其時(shí),計(jì)算機(jī)硬件、軟件有了進(jìn)一步的發(fā)展。硬件方面:磁盤(pán)技術(shù)取得重要進(jìn)展,大容量、高速存取磁盤(pán)相繼推出,且成本下降。軟件方面:出現(xiàn)了統(tǒng)一管理數(shù)據(jù)的專門(mén)軟件系統(tǒng)――數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)。這些都為數(shù)據(jù)庫(kù)技術(shù)的產(chǎn)生提供了良好的物質(zhì)條件和理論基礎(chǔ)。數(shù)據(jù)管理技術(shù)進(jìn)入數(shù)據(jù)庫(kù)系統(tǒng)階段的標(biāo)志性三大事件為:
⑴1968年美國(guó)國(guó)際商用機(jī)器公司IBM(International Business Machine)公司推出了IMS(Information Management System)系統(tǒng),該系統(tǒng)支持的是層次結(jié)構(gòu)數(shù)據(jù)模型。
⑵1969年美國(guó)數(shù)據(jù)系統(tǒng)語(yǔ)言協(xié)會(huì)CODASYL(Conference On Data System Language)下屬的數(shù)據(jù)庫(kù)任務(wù)組DBTG(DataBase Task Group)公布了若干報(bào)告(稱為DBTG報(bào)告),提出了網(wǎng)狀結(jié)構(gòu)數(shù)據(jù)模型。
⑶1970年起,IBM的研究員E·F·Codd發(fā)表一系列論文,提出關(guān)系模型,奠定了關(guān)系數(shù)據(jù)庫(kù)的理論基礎(chǔ)。
概括數(shù)據(jù)庫(kù)系統(tǒng)管理數(shù)據(jù)的方式具有以下特點(diǎn):
①采用數(shù)據(jù)模型表示數(shù)據(jù)結(jié)構(gòu)。用數(shù)據(jù)模型描述數(shù)據(jù)本身的特點(diǎn)和數(shù)據(jù)之間的聯(lián)系,且這種聯(lián)系通過(guò)存取路徑(指針)來(lái)實(shí)現(xiàn)整體數(shù)據(jù)的結(jié)構(gòu)化。由于數(shù)據(jù)不再面向某一特定的應(yīng)用,而是面向整個(gè)應(yīng)用系統(tǒng),因而數(shù)據(jù)冗余明顯降低,實(shí)現(xiàn)了數(shù)據(jù)共享。
②具有較高的數(shù)據(jù)獨(dú)立性。數(shù)據(jù)庫(kù)體系結(jié)構(gòu)分成用戶邏輯結(jié)構(gòu)(外模式)、整體邏輯結(jié)構(gòu)(概念模式)、物理結(jié)構(gòu)(內(nèi)模式)三級(jí)。數(shù)據(jù)物理結(jié)構(gòu)的改變不影響整體邏輯結(jié)構(gòu)、用戶邏輯結(jié)構(gòu)及應(yīng)用程序,即達(dá)成數(shù)據(jù)的物理獨(dú)立。而整體邏輯結(jié)構(gòu)改變,不影響用戶邏輯結(jié)構(gòu),以達(dá)成數(shù)據(jù)的邏輯獨(dú)立。
③為用戶提供了方便的口。用戶可以使用查詢語(yǔ)言或命令操作數(shù)據(jù)庫(kù),也可以用程序方式來(lái)操作數(shù)據(jù)庫(kù)。
④提供完善的數(shù)據(jù)控制功能。數(shù)據(jù)庫(kù)系統(tǒng)提供四方面的數(shù)據(jù)控制,以確保數(shù)據(jù)的安全與完整:
■ 并發(fā)控制:確保多用戶同時(shí)存取數(shù)據(jù)時(shí)的數(shù)據(jù)完整性。
■ 數(shù)據(jù)庫(kù)恢復(fù):有意或無(wú)意造成部分或全部數(shù)據(jù)破壞后能恢復(fù)到某一已知正確狀態(tài)。
■ 數(shù)據(jù)完整性:確保數(shù)據(jù)的正確、有效、相容。
■ 數(shù)據(jù)安全性:防止不合法使用造成數(shù)據(jù)的泄露和破壞,保證數(shù)據(jù)的安全和機(jī)密。
四、高級(jí)數(shù)據(jù)庫(kù)技術(shù)階段
這一階段起始于20世紀(jì)80年代初,其主要標(biāo)志是分布式數(shù)據(jù)庫(kù)系統(tǒng)DDBS(Distributed DataBases System)和面向?qū)ο髷?shù)據(jù)庫(kù)系統(tǒng)OODBS(Object-Oriented DataBases System)的出現(xiàn)。
①分布式數(shù)據(jù)庫(kù)技術(shù)
分布式數(shù)據(jù)庫(kù)技術(shù)是傳統(tǒng)的集中式數(shù)據(jù)庫(kù)技術(shù)與網(wǎng)絡(luò)技術(shù)融合的產(chǎn)物,其基本特征:一是異地節(jié)點(diǎn)通過(guò)數(shù)據(jù)通信網(wǎng)絡(luò)互連;二是數(shù)據(jù)的物理分布性和邏輯整體性;三是本地自治與全局應(yīng)用相結(jié)合。
②面向?qū)ο髷?shù)據(jù)庫(kù)技術(shù)
面向?qū)ο蟮臄?shù)據(jù)技術(shù)是傳統(tǒng)集中式數(shù)據(jù)庫(kù)技術(shù)與面向?qū)ο蟪绦蛟O(shè)計(jì)技術(shù)結(jié)合的產(chǎn)物,其特點(diǎn)為:一是面向?qū)ο蟮臄?shù)據(jù)模型能完整描述現(xiàn)實(shí)世界的數(shù)據(jù)結(jié)構(gòu),能表達(dá)數(shù)據(jù)之間的復(fù)雜聯(lián)系,如嵌套與遞歸;二是具有面向?qū)ο蠹夹g(shù)的封裝性和繼承性,提高了軟件的可重用性。
除此之外,數(shù)據(jù)庫(kù)技術(shù)與其它新興技術(shù)的結(jié)合產(chǎn)生了許多新的領(lǐng)域如:
并行數(shù)據(jù)庫(kù);主動(dòng)數(shù)據(jù)庫(kù);知識(shí)庫(kù);多媒體數(shù)據(jù)庫(kù);模糊數(shù)據(jù)庫(kù);工程數(shù)據(jù)庫(kù);空間數(shù)據(jù)庫(kù)等。
有理由相信,數(shù)據(jù)庫(kù)技術(shù)通過(guò)不斷完善和提高,它會(huì)朝著支持更大規(guī)模、更快速度、更廣泛的應(yīng)用等方向發(fā)展。
參考文獻(xiàn):
[1]劉升,曹紅蘋(píng).數(shù)據(jù)庫(kù)系統(tǒng)原理與應(yīng)用,清華大學(xué)出版社,2012.
大數(shù)據(jù)管理與大數(shù)據(jù)應(yīng)用都離不開(kāi)大數(shù)據(jù)技術(shù),但更離不開(kāi)大數(shù)據(jù)人才。沒(méi)有人才,再先進(jìn)的設(shè)備只能是“豪華擺設(shè)”;沒(méi)有人才,再先進(jìn)的技術(shù)也只能是“紙上談兵”。因此,推進(jìn)大數(shù)據(jù)管理,除了需要培養(yǎng)一大批優(yōu)秀的IT人才外,還迫切需要培養(yǎng)一大批大數(shù)據(jù)人才———數(shù)據(jù)管理師、數(shù)據(jù)分析師,造就一批數(shù)據(jù)科學(xué)家等高端人才。因?yàn)橹挥兴麄儾拍荞{輕就熟處理海量的信息,并從中挖掘出“數(shù)據(jù)財(cái)富”。此外,面對(duì)全體員工傳播大數(shù)據(jù)知識(shí),普及大數(shù)據(jù)技術(shù),培訓(xùn)大數(shù)據(jù)技能,奠定推進(jìn)大數(shù)據(jù)管理的群眾基礎(chǔ)和技術(shù)基礎(chǔ),同樣也是一項(xiàng)長(zhǎng)期而艱巨的任務(wù)。
二、構(gòu)筑大數(shù)據(jù)管理“一站式”工程,建設(shè)“大數(shù)據(jù)管理智庫(kù)”新平臺(tái)
1.加強(qiáng)內(nèi)、外部數(shù)據(jù)的“一站式”管理。對(duì)企業(yè)來(lái)說(shuō),數(shù)據(jù)無(wú)處不在,無(wú)時(shí)不有,究其來(lái)源,無(wú)非企業(yè)內(nèi)部和外部?jī)蓚€(gè)渠道。內(nèi)部數(shù)據(jù)的活水源頭是各單位、各部門(mén)、各專業(yè)的統(tǒng)計(jì)報(bào)表提供的數(shù)據(jù);外部數(shù)據(jù)一方面是國(guó)家管理部門(mén)、行業(yè)管理部門(mén)、權(quán)威機(jī)構(gòu)等的統(tǒng)計(jì)數(shù)據(jù),另一方面是來(lái)自互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、各種傳感器等信息感知和采集終端采集的數(shù)據(jù)。這些數(shù)據(jù),日積月累,最終“百川歸?!?,匯成大數(shù)據(jù)的海洋。大數(shù)據(jù)時(shí)代,企業(yè)通過(guò)建立“大數(shù)據(jù)管理智庫(kù)”,打破渠道的邊界,把不同來(lái)源的數(shù)據(jù)整合在一起,實(shí)施一站式管理,讓數(shù)據(jù)時(shí)時(shí)刻刻為企業(yè)提供服務(wù)。2.注重?cái)?shù)據(jù)挖掘環(huán)節(jié)的“一站式”管理。企業(yè)數(shù)據(jù)挖掘過(guò)程也是數(shù)據(jù)發(fā)現(xiàn)和梳理的過(guò)程,其有4個(gè)重要環(huán)節(jié):采集、存儲(chǔ)、分析、預(yù)測(cè)。企業(yè)建立了“大數(shù)據(jù)管理智庫(kù)”,對(duì)這4個(gè)環(huán)節(jié)實(shí)施一站式管理,可以大大“提純”數(shù)據(jù)價(jià)值。首先是盡可能采集異源甚至是異構(gòu)的數(shù)據(jù),去偽存真,多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。其次是要用到冗余配置、分布化和云計(jì)算技術(shù),分類、過(guò)濾和去重,減少存儲(chǔ)量,同時(shí)加入便于檢索的標(biāo)簽。第三是將高維數(shù)據(jù)降維后度量與處理,利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析,從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息,導(dǎo)出可理解的內(nèi)容。第四是將數(shù)據(jù)分析后預(yù)測(cè)出的結(jié)論應(yīng)用到企業(yè)中去。3.突出價(jià)值鏈上數(shù)據(jù)的“一站式”管理。企業(yè)價(jià)值鏈可以分為基本增值活動(dòng)和輔增值活動(dòng)兩大部分?;驹鲋祷顒?dòng),即一般意義上的“生產(chǎn)經(jīng)營(yíng)環(huán)節(jié)”,如材料供應(yīng)、成品開(kāi)發(fā)、生產(chǎn)運(yùn)行、成品儲(chǔ)運(yùn)、市場(chǎng)營(yíng)銷和售后服務(wù)。這些活動(dòng)都與商品實(shí)體的加工流轉(zhuǎn)直接相關(guān);輔增值活動(dòng),包括組織建設(shè)、人事管理、技術(shù)開(kāi)發(fā)和采購(gòu)管理。價(jià)值鏈的每一個(gè)環(huán)節(jié)都有相伴而生的數(shù)據(jù)。過(guò)去這些數(shù)據(jù)處在分散狀態(tài)。大數(shù)據(jù)時(shí)代,企業(yè)通過(guò)“大數(shù)據(jù)管理智庫(kù)”平臺(tái),對(duì)這些數(shù)據(jù)實(shí)施一站式管理,有利于每一個(gè)環(huán)節(jié)的價(jià)值再創(chuàng)造和價(jià)值鏈的增值。
三、構(gòu)筑大數(shù)據(jù)管理“一體化”工程,打造“大數(shù)據(jù)管理融合”新生態(tài)
HLR用戶數(shù)據(jù)查詢流程如圖1所示。圖1HLR用戶數(shù)據(jù)查詢流程(1)用戶數(shù)據(jù)管理子系統(tǒng)的DPUPGW(1)用戶數(shù)據(jù)管理子系統(tǒng)的DPUPGW發(fā)送查詢指令至DSG,DSG(DataServiceGateway)根據(jù)DCI(DSCallInterface)消息中的路由鍵信息選擇對(duì)應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU(DataRoutingUnit)節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對(duì)應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)查詢,根據(jù)負(fù)載均衡算法把消息發(fā)送到DSUCluster中的一個(gè)節(jié)點(diǎn)。(3)DSU(DataServiceUnit)節(jié)點(diǎn)查詢本節(jié)點(diǎn)數(shù)據(jù)并組裝響應(yīng)消息,發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(4)DRU節(jié)點(diǎn)返回操作結(jié)果給DSG。
2、HLR用戶數(shù)據(jù)修改流程
HLR用戶數(shù)據(jù)修改流程如圖2所示。(1)DSG根據(jù)DCI消息中的路由鍵信息選擇對(duì)應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對(duì)應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)修改,把消息發(fā)送到DSUCluster中的Master節(jié)點(diǎn)。(3)DSUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(4)DSUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(5)DSUMaster節(jié)點(diǎn)發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(6)DRU返回操作結(jié)果給DSG。
3、HLR用戶數(shù)據(jù)開(kāi)戶流程
HLR用戶數(shù)據(jù)開(kāi)戶流程如圖3所示。(1)DSG根據(jù)DCI消息中的路由鍵信息選擇對(duì)應(yīng)的DRUCluster,再根據(jù)負(fù)載均衡選擇一個(gè)DRU節(jié)點(diǎn),然后發(fā)送DCI消息給該節(jié)點(diǎn)。(2)DRU節(jié)點(diǎn)根據(jù)DCI消息中的路由鍵信息查找對(duì)應(yīng)的DSUCluster,分析后得出消息的操作類型為數(shù)據(jù)開(kāi)戶,把消息發(fā)送到DSUCluster中的Master節(jié)點(diǎn)。(3)DSUMaster節(jié)點(diǎn)發(fā)送路由更新消息給DRUMaster節(jié)點(diǎn)。(4)DRUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(5)DRUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(6)DRU返回操作結(jié)果給DSUMaster節(jié)點(diǎn)。(7)DSUMaster節(jié)點(diǎn)修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送復(fù)制消息給同一個(gè)Cluster中Slave節(jié)點(diǎn),并等待其響應(yīng)消息。(8)DSUSlave節(jié)點(diǎn)收到復(fù)制消息,修改本節(jié)點(diǎn)數(shù)據(jù)成功后,發(fā)送響應(yīng)消息給Master節(jié)點(diǎn)。(9)DSUMaster節(jié)點(diǎn)發(fā)送響應(yīng)消息給DRU節(jié)點(diǎn)。(10)DRU返回操作結(jié)果給DSG。
4、結(jié)束語(yǔ)
【關(guān)鍵詞】云計(jì)算;云數(shù)據(jù)管理;技術(shù)
中圖分類號(hào): C37 文獻(xiàn)標(biāo)識(shí)碼: A 文章編號(hào):
一、前言
云計(jì)算和云數(shù)據(jù)管理技術(shù)越來(lái)越受到人類的重視,目前科技越來(lái)越發(fā)達(dá),云計(jì)算和云數(shù)據(jù)的管理技術(shù)成為了科技研究的熱點(diǎn)問(wèn)題之一,云計(jì)算作為一個(gè)新興的技術(shù),已經(jīng)和云數(shù)據(jù)管理一起,為人類的文明作出了進(jìn)一步的貢獻(xiàn)。
二、云計(jì)算概念
云計(jì)算(cloud computing)是基于互聯(lián)網(wǎng)的相關(guān)服務(wù)的增加、使用和交付模式,通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。云是網(wǎng)絡(luò)、互聯(lián)網(wǎng)的一種比喻說(shuō)法。過(guò)去在圖中往往用云來(lái)表示電信網(wǎng),后來(lái)也用來(lái)表示互聯(lián)網(wǎng)和底層基礎(chǔ)設(shè)施的抽象。狹義云計(jì)算指IT基礎(chǔ)設(shè)施的交付和使用模式,指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需資源;廣義云計(jì)算指服務(wù)的交付和使用模式,指通過(guò)網(wǎng)絡(luò)以按需、易擴(kuò)展的方式獲得所需服務(wù)。這種服務(wù)可以是IT和軟件、互聯(lián)網(wǎng)相關(guān),也可是其他服務(wù)。它意味著計(jì)算能力也可作為一種商品通過(guò)互聯(lián)網(wǎng)進(jìn)行流通。
三、云計(jì)算的關(guān)鍵技術(shù)
1虛擬化技術(shù)
虛擬化技術(shù)是指計(jì)算元件在虛擬的基礎(chǔ)上而不是真實(shí)的基礎(chǔ)上運(yùn)行,它可以擴(kuò)大硬件的容量,簡(jiǎn)化軟件的重新配置過(guò)程,減少軟件虛擬機(jī)相關(guān)開(kāi)銷和支持更廣泛的操作系統(tǒng)方面。通過(guò)虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離,它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式,也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。
2分布式海量數(shù)據(jù)存儲(chǔ)
云計(jì)算系統(tǒng)由大量服務(wù)器組成,同時(shí)為大量用戶服務(wù),因此云計(jì)算系統(tǒng)采用分布式存儲(chǔ)的方式存儲(chǔ)數(shù)據(jù),用冗余存儲(chǔ)的方式(集群計(jì)算、數(shù)據(jù)冗余和分布式存儲(chǔ))保證數(shù)據(jù)的可靠性。
3海量數(shù)據(jù)管理技術(shù)
云計(jì)算需要對(duì)分布的、海量的數(shù)據(jù)進(jìn)行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT(BigTable)數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開(kāi)發(fā)的開(kāi)源數(shù)據(jù)管理模塊HBase。
四、云數(shù)據(jù)管理系統(tǒng)(CDMS)基本原理
雖然 GFS、HDFS、S3 等分布式文件系統(tǒng)較好地解決了云計(jì)算中海量數(shù)據(jù)的組織問(wèn)題,能夠高效讀寫(xiě)“云端”海量數(shù)據(jù),但對(duì)于結(jié)構(gòu)化數(shù)據(jù)的管理仍需要借助專門(mén)的數(shù)據(jù)管理系統(tǒng)。 兩者之間的關(guān)系或分工,類似于操作系統(tǒng)中負(fù)責(zé)文件組織的文件系統(tǒng)和負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)管理的數(shù)據(jù)庫(kù)管理系統(tǒng)(DBMS)。 云數(shù)據(jù)管理必須有效地解決云計(jì)算中大數(shù)據(jù)集的高效管理、海量數(shù)據(jù)定數(shù)據(jù)的快速定位等問(wèn)題。Google 的 BigTable、Hadoop 的 HBase、Sector/Sphere都是目前相對(duì)比較成熟的云數(shù)據(jù)管理系統(tǒng)。BigTable 是 Google 為有效管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng),例如數(shù)千臺(tái)服務(wù)器的上 PB(petabytes)級(jí)規(guī)模的數(shù)據(jù)。
1 BigTable 原理
BigTable 在很多地方與數(shù)據(jù)庫(kù)很類似, 使用了很多數(shù)據(jù)庫(kù)的實(shí)現(xiàn)策略。 但不支持完全的關(guān)系數(shù)據(jù)模型,而是為客戶提供了簡(jiǎn)單的數(shù)據(jù)模型。 BigTable 對(duì)數(shù)據(jù)讀操作進(jìn)行優(yōu)化,采用列存儲(chǔ)的方式,提高數(shù)據(jù)讀取效率。 BigTable 的基本元素包括行 (row)、 列族 (column families) 和時(shí)間戳(Timestamps)等。 其中,行關(guān)鍵字可以是任意字符串(目前支持最多 64 KB,多數(shù)情況下 10~100 字節(jié)足夠),在一個(gè)行關(guān)鍵字下的每一個(gè)讀寫(xiě)操作都是原子操作(不管讀寫(xiě)這一行里有多少個(gè)不同列), 這樣在對(duì)同一行進(jìn)行并發(fā)操作時(shí),用戶對(duì)于系統(tǒng)行為更容易理解和掌控。 列族由一組同一類型的列關(guān)鍵字組成,是訪問(wèn)控制的基本單位。 列族必須先創(chuàng)建,然后能在其中的列關(guān)鍵字下存放數(shù)據(jù);列族創(chuàng)建后,族中任何一個(gè)列關(guān)鍵字均可使用。時(shí)間戳可以由 BigTable 來(lái)賦值,表示準(zhǔn)確到毫秒的“實(shí)時(shí)”或者由用戶應(yīng)用程序來(lái)賦值。 不同版本的表項(xiàng)內(nèi)容按時(shí)間戳倒序排列,即最新的排在前面。 為了簡(jiǎn)化對(duì)于不同數(shù)據(jù)版本的數(shù)據(jù)的管理,對(duì)每一個(gè)列族支持兩個(gè)設(shè)定, 以便于 BigTable 對(duì)表項(xiàng)的版本自動(dòng)進(jìn)行垃圾清除。用戶可以指明只保留表項(xiàng)的最后 n 個(gè)版本,或者只保留足夠新的版本(比如只保留最近 7 天的內(nèi)容)。
SSTable 提供一個(gè)從關(guān)鍵字到值持續(xù)有序的映射,關(guān)鍵字和值都可以是任意字符串。 塊索引(block index)存儲(chǔ)在 SSTable 的最后,用來(lái)定位數(shù)據(jù)塊。 Chubby是 BigTable 采用的一個(gè)高度可用的持續(xù)分布式數(shù)據(jù)鎖服務(wù)。 每個(gè) Chubby 服務(wù)由 5 個(gè)活的備份構(gòu)成,其中一個(gè)為主備份并響應(yīng)服務(wù)請(qǐng)求。 只有當(dāng)大多數(shù)備份都保持運(yùn)行并保持互相通信時(shí),相應(yīng)的服務(wù)才是活動(dòng)的。 當(dāng)有備份失效時(shí),Chubby 使用 Paxos算法來(lái)保證備份的一致性。
2 、HBase 原理
HBase是 Hadoop的子項(xiàng)目,是目前比較成熟的云數(shù)據(jù)管理開(kāi)源解決方案之一。 HBase 采用與 Bigtable 非常相似的數(shù)據(jù)模型。 用戶存儲(chǔ)數(shù)據(jù)行(data row)在一個(gè)標(biāo)識(shí)表(labelled table)中,一個(gè)數(shù)據(jù)行有一個(gè)可排序的主鍵或分類鍵 (sortable key) 和 任 意 數(shù) 量 的 列 (column)。 表 是 疏 松(sparsely) 存儲(chǔ)的 ,因此用戶可以根據(jù)需要給同一表中的不同行定義各種不同的列。 每張 HBase 表的索引是行關(guān)鍵字(row key)、列關(guān)鍵字(column key)和時(shí)間戳(timestamp)。 如圖 3所示, 每個(gè)值是一個(gè)很難解釋的字符數(shù)組, 數(shù)據(jù)都是字符串,不區(qū)分類型。
列名字的格式是“:”,都是由字符串組成,每一張表有一個(gè)族(family)集合,這個(gè)集合是固定不變的, 相當(dāng)于表的結(jié)構(gòu), 只能通過(guò)改變表結(jié)構(gòu)來(lái)改變。 標(biāo)識(shí)(label)值相對(duì)于每一行來(lái)說(shuō)都是可以改變的 。 Hbase 把同族里面的數(shù)據(jù)存儲(chǔ)在同一個(gè)目錄下, 而 Hbase 的寫(xiě)操作是鎖行的,每一行都是一個(gè)原子元素,都可以加鎖。 所有數(shù)據(jù)庫(kù)的更新都有一個(gè)時(shí)間戳標(biāo)記,每個(gè)更新都是一個(gè)新的版本,系統(tǒng)會(huì)保留一定數(shù)量的版本,這個(gè)值是可以設(shè)定的。 用戶可以選擇獲取距離某個(gè)時(shí)間最近的版本,或者一次獲取所有版本。Hbase 遵從如圖 4 所示的簡(jiǎn)單主從服務(wù)器架構(gòu), 每個(gè)Hbase 集群通常由單個(gè)主服務(wù)器 (master server)、 數(shù)百個(gè)或更多區(qū)域服務(wù)器(region server)構(gòu)成。 每個(gè) Region 由某個(gè)表的連續(xù)數(shù)據(jù)行組成,從開(kāi)始主鍵到結(jié)束主鍵,而某張表的所有行保存在一組 Region 中。 通過(guò)用表名和開(kāi)始/結(jié)束主鍵,來(lái)區(qū)分不同的 Region。 區(qū)域服務(wù)器主要通過(guò) 3 種方式保存數(shù)據(jù):Hmemcache 高速緩存, 保留的是最新寫(xiě)入的數(shù)據(jù);Hlog 記錄文件,保留的是提交成功了,但未被寫(xiě)入文件的數(shù)據(jù);Hstores 文件,數(shù)據(jù)的物理存放形式。
3 、Sector/Sphere 原理
參考文獻(xiàn)[43]還從通信協(xié)議、數(shù)據(jù)傳輸協(xié)議、程序設(shè)計(jì)模 式 、 安 全 模 型 等 方 面 對(duì) GFS/BigTable、HDFS/HbaseSector/Sphere 進(jìn)行了比較 。 Robert L Grossman 等在設(shè)計(jì)并實(shí)現(xiàn) Sector/Sphere的基礎(chǔ)上,利用數(shù)據(jù)發(fā)掘應(yīng)用進(jìn)行了性能方面的實(shí)驗(yàn)。
五、云數(shù)據(jù)管理技術(shù)分析
在新興的云計(jì)算數(shù)據(jù)管理領(lǐng)域Google的BigTable,MapReduce和亞馬遜的Dynamo技術(shù)針對(duì)云計(jì)算海量數(shù)據(jù)的問(wèn)題和應(yīng)用特點(diǎn)有了很多創(chuàng)新,綜合來(lái)看未來(lái)云計(jì)算數(shù)據(jù)管理主要包括以下幾個(gè)層次.其總體架構(gòu)如圖6所示:如圖6所示云計(jì)算數(shù)據(jù)管理層次分為4層,分別為:數(shù)據(jù)組織與管理,數(shù)據(jù)集成與管理,分布式并行處理,數(shù)據(jù)分析.最終實(shí)現(xiàn)對(duì)非確定性數(shù)據(jù)的管理與集成,為用戶提供高效的查詢等服務(wù).
六、結(jié)束語(yǔ)
通過(guò)分析和研究,我們發(fā)現(xiàn),云計(jì)算雖然成為了人們熱捧的新技術(shù),但是它和云數(shù)據(jù)都面臨著很多的挑戰(zhàn),未來(lái)需要我們對(duì)云計(jì)算和云數(shù)據(jù)的管理作出進(jìn)一步的分析和探討,以便于更好的使用這兩個(gè)新興的技術(shù)。
參考文獻(xiàn)
[1]吳吉義,傅建慶,張明西,平玲娣 云數(shù)據(jù)管理研究綜述[J].電信科學(xué). 2010(05)
[2]周傲英,金澈清,王國(guó)仁,李建中.不確定性數(shù)據(jù)管理技術(shù)研究綜述[J].計(jì)算機(jī)學(xué)報(bào). 2009(01)
關(guān)鍵詞:Web;瀏覽器;PDM
中圖分類號(hào):M14 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1009-3044(2008)28-0092-02
Web Technology and Product Data Management Study
LIU Xia-lai
(Chengdu Precision Optical Engineering Research Center, Chengdu 610041, China)
Abstract:PDM takes a technology, it is depends on the IT technology to realize the enterprise optimization management efficacious device, is product which the scientific management frame and the enterprise realistic question unifies, is the computer technology and the enterprise culture union one product. The modern enterprise enterprise's PDM solution and the Web superiority (Web node's extendibility and easy maintenance, Web technology's unique union-like distribution pattern and so on) to unify in together. This article outlines Web the product data management technology, introduced the Web technology and PDM development PDM simply, production background, PDM network environment.
Key words:Web; Browser; PDM
1 引言
Web技術(shù)是Internet網(wǎng)上衍生的一套服務(wù)技術(shù).在作者看來(lái),Web技術(shù)以及Internet/Intranet所欲達(dá)到的目標(biāo)與PDM技術(shù)有著驚人的相似之處。Internet本身從ARPANET網(wǎng)起家經(jīng)NSFNET發(fā)展到今天,其上已連接100多萬(wàn)個(gè)網(wǎng)絡(luò),上千萬(wàn)臺(tái)主機(jī),其目前的發(fā)展越來(lái)越使人們看到它的確在改變著人和人交流的方式,改變著人們工作、生活和學(xué)習(xí)的傳統(tǒng)方式,并以Internet/Intranet為母體衍生出一系列相關(guān)的Web技術(shù),使得人們更能夠充分利用和開(kāi)發(fā)Internet/Intranet的潛力。
2 Web技術(shù)與PDM的發(fā)展
2.1 PDM的定義
隨著網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)技術(shù)的發(fā)展,以及客戶機(jī)/服務(wù)器與面向?qū)ο蠹夹g(shù)的應(yīng)用,最近幾年P(guān)DM技術(shù)得到了突飛猛進(jìn)的發(fā)展。從狹義上講,PDM僅管理與工程設(shè)計(jì)相關(guān)的領(lǐng)域內(nèi)的信息,而從廣義上講,它可以覆蓋到整個(gè)企業(yè)中從產(chǎn)品的市場(chǎng)需求分析、產(chǎn)品設(shè)計(jì)、制造、銷售、服務(wù)與維護(hù)等過(guò)程,即全生命周期中的信息。因此,對(duì)于PDM可給出如下定義:
PDM是以軟件為基礎(chǔ),是一門(mén)管理所有與產(chǎn)品相關(guān)的信息(包括電子文檔、數(shù)字化文件、數(shù)據(jù)庫(kù)記錄等)和所有與產(chǎn)品相關(guān)的過(guò)程(包括工作流程和更改流程)的技術(shù)。它提品全生命周期的信息管理,并可在企業(yè)范圍內(nèi)為產(chǎn)品設(shè)計(jì)與制造建立一個(gè)并行化的協(xié)作環(huán)境。
2.2 PDM的功能和目標(biāo)
PDM系統(tǒng)的功能日趨強(qiáng)大,它的主要功能有以下幾個(gè)方面:
1) 電子倉(cāng)庫(kù)和文檔管理
電子倉(cāng)庫(kù)是PDM的核心,它一般建立在關(guān)系型數(shù)據(jù)庫(kù)系統(tǒng)的基礎(chǔ)上,通過(guò)權(quán)限控制來(lái)保證數(shù)據(jù)的安全性和完整性,并支持各種查詢與檢索功能。通過(guò)面向?qū)ο蟮臄?shù)據(jù)組織方式,允許用戶迅速地訪問(wèn)全企業(yè)的產(chǎn)品信息,而不必考慮用戶和數(shù)據(jù)的物理位置。
2) 產(chǎn)品結(jié)構(gòu)與配置管理
產(chǎn)品結(jié)構(gòu)和配置管理也是PDM的核心功能之一,可以對(duì)產(chǎn)品結(jié)構(gòu)、配置信息和BOM(bin of material)進(jìn)行管理。
3) 工作流程管理
工作流程管理,它用來(lái)定義和控制數(shù)據(jù)操作的基本過(guò)程,并對(duì)已建立的工作流程進(jìn)行運(yùn)行、維護(hù)、控制工作狀態(tài)以及對(duì)工作歷史過(guò)程進(jìn)行記載,使產(chǎn)品數(shù)據(jù)與其相關(guān)的過(guò)程有機(jī)地結(jié)合起來(lái)。
4) 分類及檢索功能
PDM系統(tǒng)需要管理大量的數(shù)據(jù),為了較好的建立、使用與維護(hù)這些數(shù)據(jù),PDM系統(tǒng)提供了快速方便的分類技術(shù)。
2.3 PDM的發(fā)展
產(chǎn)品數(shù)據(jù)管理技術(shù)的應(yīng)用不同于CAX等單元技術(shù),不能拿來(lái)即用。它是一種平臺(tái)技術(shù),是一個(gè)框架。它是對(duì)企業(yè)的設(shè)計(jì)、生產(chǎn)等管理進(jìn)行了一定程度的抽象。對(duì)應(yīng)于具體的應(yīng)用環(huán)境,必須對(duì)其進(jìn)行針對(duì)客戶的定制工作,即將客戶的具體環(huán)境和數(shù)據(jù)填充到產(chǎn)品管理數(shù)據(jù)系統(tǒng)中,置于PDM的管理之下。而且,定制工作具有相當(dāng)大的工作量。目前基于C/C++這種與硬件平臺(tái)相關(guān)的PDM產(chǎn)品必然對(duì)環(huán)境的適應(yīng)性較差,而企業(yè)中的網(wǎng)絡(luò)必然存在著各種硬件與軟件并存的情況,這無(wú)疑是產(chǎn)品數(shù)據(jù)管理面臨的一個(gè)問(wèn)題。
2.4 WEB技術(shù)的與PDM的結(jié)合
基于Web的分布式PDM的關(guān)鍵技術(shù)包括:數(shù)據(jù)庫(kù)技術(shù)、Web技術(shù)。
1) 數(shù)據(jù)庫(kù)技術(shù)
PDM的主要目標(biāo)就是有效地管理數(shù)據(jù),以實(shí)現(xiàn)數(shù)據(jù)共享,要實(shí)現(xiàn)這一目標(biāo),首先必須解決數(shù)據(jù)存儲(chǔ)的問(wèn)題。目前,數(shù)據(jù)存儲(chǔ)主要有兩種形式:一種是以文件形式保存數(shù)據(jù),另一種是以記錄形式將數(shù)據(jù)存放于數(shù)據(jù)庫(kù)中。
2) Web技術(shù)
PDM系統(tǒng)作為一種應(yīng)用框架,其對(duì)開(kāi)放性與可擴(kuò)展性的要求與Web的開(kāi)放性體系結(jié)構(gòu)是相互補(bǔ)充的。應(yīng)用Web技術(shù)可以使PDM系統(tǒng)在異構(gòu)環(huán)境下使用,擴(kuò)展PDM的功能,并支持異地和異構(gòu)環(huán)境下的設(shè)計(jì)、生產(chǎn)與管理。
3 基于Web的產(chǎn)品數(shù)據(jù)管理技術(shù)
3.1 WEB的B/S三層體系結(jié)構(gòu)
系統(tǒng)在開(kāi)發(fā)過(guò)程中將采用WINDOWSNT作為操作系統(tǒng),在企業(yè)局域網(wǎng)內(nèi)進(jìn)行開(kāi)發(fā),然后擴(kuò)展到Internet。系統(tǒng)可伸縮性以及信息共享程度高,開(kāi)發(fā)周期短,見(jiàn)效快。
系統(tǒng)開(kāi)發(fā)中,主要利用JSP技術(shù)為模具企業(yè)設(shè)計(jì)完成B/S模式的注塑模具產(chǎn)品數(shù)據(jù)管理系統(tǒng)。開(kāi)發(fā)環(huán)境為:客戶端裝有WINDOWSNT操作系統(tǒng)和IE瀏覽器,服務(wù)器端裝有WINDOWS NT Server操作系統(tǒng),Web服務(wù)器采用TOMCAT,數(shù)據(jù)庫(kù)服務(wù)器采用SQL Server2000,數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序采用JDBC,主要開(kāi)發(fā)工具為Jbuilders,Develop2000,Dream weaver等。
3.2 基于WEB的PDM技術(shù)的優(yōu)越性
1) 用戶接口友好
用Web技術(shù)開(kāi)發(fā)客戶端軟件更便于用戶使用。Web化的DPM系統(tǒng)與其他系統(tǒng)相比只需最少的培訓(xùn),系統(tǒng)實(shí)施的總成本也因此而減少。簡(jiǎn)單便宜的Web瀏覽器能讓企業(yè)中更多的人使用PDM系統(tǒng),使他們能方便地在線訪問(wèn)企業(yè)龐大的信息庫(kù)。
2) 更大的適用性
隨著計(jì)算機(jī)數(shù)量的急劇增多,使用Web瀏覽器作為PDM的用戶接口能取得巨大的成本效益。此外,使用Web瀏覽器還能排除在每臺(tái)計(jì)算機(jī)上安裝和維護(hù)客戶端軟件的必要。
3) 供應(yīng)鏈的有效鏈接
Web化的PDM系統(tǒng)對(duì)供應(yīng)鏈的有效鏈接也有很大的優(yōu)越性,易于改善供應(yīng)各環(huán)節(jié)之間的協(xié)作。
4) 分散企業(yè)的有效聯(lián)合
Web化的PDM系統(tǒng)容許分散在各地的項(xiàng)目小組同時(shí)工作于同一個(gè)項(xiàng)目,每小組能夠查看由不同地區(qū)甚至不同國(guó)家的其它小組輸入的信息,這種協(xié)作使企能以最小的代價(jià)把它的專業(yè)人員聚在一起來(lái)完成項(xiàng)目,這種在世界范圍內(nèi)延展項(xiàng)目小組的能力使企業(yè)能充分利用不同地區(qū)的時(shí)差進(jìn)行24小時(shí)工作。
4 結(jié)束語(yǔ)
產(chǎn)品數(shù)據(jù)管理(PDM)以其強(qiáng)大的功能與易用性受到廣大企業(yè)的青睞?;赪eb的PDM系統(tǒng)的體系結(jié)構(gòu)研究:首先分析了傳統(tǒng)C/S模式和PDM系統(tǒng)的一般結(jié)構(gòu),隨著Web技術(shù)的廣泛應(yīng)用,PDM系統(tǒng)的體系結(jié)構(gòu)也要發(fā)生相應(yīng)地變化以適應(yīng)企業(yè)的需求,由此產(chǎn)生的基于Web的PDM系統(tǒng),介紹了該系統(tǒng)的優(yōu)越性,并詳細(xì)分析了其結(jié)構(gòu)特點(diǎn)及實(shí)現(xiàn)的關(guān)鍵。
參考文獻(xiàn):
[1] 童秉樞,李建明.產(chǎn)品數(shù)據(jù)管理P(DM)技術(shù)[M].北京:清華大學(xué)出版社.2000:82-143.
在測(cè)井曲線的加載中,要求具有單獨(dú)的程序,并要具有菜單,每個(gè)模塊應(yīng)該能夠?qū)?yīng)一個(gè)菜單項(xiàng),并且在曲線加載的過(guò)程中,要具有取消按鈕。測(cè)井曲線的文件查詢,井號(hào)列表應(yīng)用的是樹(shù)形方式,其中一級(jí)節(jié)點(diǎn)表示的是盆地,二級(jí)節(jié)點(diǎn)表示的是一級(jí)構(gòu)造,三級(jí)節(jié)點(diǎn)表示的是二級(jí)構(gòu)造,四級(jí)節(jié)點(diǎn)表示的是井號(hào)。查詢結(jié)果要能夠以表格的形式來(lái)顯示。在測(cè)井曲線的文件下載界面中,測(cè)井曲線文件信息要能夠以表格的方式來(lái)進(jìn)行顯示,每一個(gè)記錄之前都必須要求具有復(fù)選款,并可以根據(jù)實(shí)際需求對(duì)其進(jìn)行勾選,既可以進(jìn)行單選,又可以進(jìn)行多選。測(cè)井曲線的回放,在其回放界面中,應(yīng)用TAB方式對(duì)相關(guān)窗口進(jìn)行分隔,并要求每個(gè)回放的圖像都能通過(guò)點(diǎn)擊TAB來(lái)進(jìn)行切換,在圖像上,可以通過(guò)鼠標(biāo)實(shí)現(xiàn)曲線的選取及放大、縮小。
二、系統(tǒng)特性
系統(tǒng)要能夠保證測(cè)井曲線能夠轉(zhuǎn)換成為統(tǒng)一的LAS2.0格式,并且在轉(zhuǎn)換過(guò)程中,其要能夠具有異常處理功能,對(duì)于由于缺乏關(guān)鍵信息,導(dǎo)致不能成功轉(zhuǎn)換的相關(guān)的測(cè)井曲線文件,要對(duì)其所缺乏的關(guān)鍵信息予以指出,在曲線的查詢、下載過(guò)程中,對(duì)其工作效率具有一定的要求,并要求在五秒鐘之內(nèi)將查詢結(jié)果予以返回,要求一百條測(cè)井曲線的下載時(shí)間不能超過(guò)兩分鐘,系統(tǒng)在實(shí)際運(yùn)行過(guò)程中,要能夠?qū)崿F(xiàn)LAS2.0格式文件的回放功能,在對(duì)曲線特性處理時(shí),要保證其能夠滿足測(cè)井曲線的實(shí)際展示要求。
三、DelphiVCL技術(shù)原理
Dephi是一個(gè)融合了可視化組件庫(kù)功能、集成開(kāi)發(fā)環(huán)境功能、現(xiàn)代編程語(yǔ)言的編程軟件,其基本類庫(kù)是可視化組件庫(kù)Vi-sualComponentLibrary,其具有操作方便、可擴(kuò)展性強(qiáng)、封裝純粹的優(yōu)點(diǎn),即使是一個(gè)非常復(fù)雜的Win32API,在對(duì)其進(jìn)行VCL封裝之后,其使用起來(lái)也是比較方便的,其能夠支持類、過(guò)程及函數(shù)的嵌套,可以在一個(gè)過(guò)程中生命一個(gè)類或者是一個(gè)過(guò)程,其對(duì)于事件具有完整的支持與封裝,通過(guò)對(duì)事件對(duì)象進(jìn)行有效的聲明,能夠?qū)⑷我獾耐獠渴录唇壎ㄓ赩CL控件中,并且在Delphi的VCL中,還具有較多的偽API,其能夠?yàn)檐浖_(kāi)發(fā)工作提供大力的支持。由于VCL具有非常好的可擴(kuò)展性,這會(huì)極大的方便控件編寫(xiě)工作,并且可以實(shí)現(xiàn)任意ActiveX控件的導(dǎo)入導(dǎo)出,并且其具有平臺(tái)無(wú)關(guān)性,可以在其他操作系統(tǒng)中直接應(yīng)用。所有的VCL組件可以劃分為可視組件與非可視組件兩種類型,通常情況下,可視組件主要是繼承TWinControl,非可視組件主要是繼承自TComponent。
四、油田測(cè)井曲線數(shù)據(jù)管理系統(tǒng)的總體設(shè)計(jì)
系統(tǒng)的主要功能模塊表現(xiàn)為:用戶管理模塊、測(cè)井曲線展示模塊、測(cè)井曲線解析模塊、測(cè)井曲線查詢下載、測(cè)井曲線加載。系統(tǒng)工作過(guò)程中的總體流程主要表現(xiàn)為:測(cè)井曲線文件加載、測(cè)井曲線文件查詢、測(cè)井曲線文件下載、測(cè)井曲線文件回放。
五、結(jié)束語(yǔ)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:統(tǒng)計(jì)源期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)
級(jí)別:部級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:CSCD期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)