前言:一篇好文章的誕生,需要你不斷地搜集資料、整理思路,本站小編為你收集了豐富的大數(shù)據(jù)遷移方案主題范文,僅供參考,歡迎閱讀并收藏。
迎接大數(shù)據(jù)時(shí)代
惠普在大數(shù)據(jù)市場(chǎng)的戰(zhàn)略是分別從產(chǎn)品和服務(wù)兩個(gè)方面幫助客戶迎接大數(shù)據(jù)帶來的挑戰(zhàn)。
在產(chǎn)品方面,主要通過業(yè)界熟知的自然語言分析平臺(tái)Autonomy IDOL、高性能數(shù)據(jù)分析平臺(tái)Vertica、通用日志管理平臺(tái)ArcSight等組成。而在服務(wù)方面,惠普推出了大數(shù)據(jù)咨詢服務(wù)。這些咨詢服務(wù)包括:為大數(shù)據(jù)管理制定整合IT戰(zhàn)略的惠普大數(shù)據(jù)基礎(chǔ)設(shè)施變革經(jīng)驗(yàn)研討會(huì);規(guī)劃并部署大數(shù)據(jù)系統(tǒng)基礎(chǔ)設(shè)施的Hadoop企業(yè)規(guī)劃服務(wù)、實(shí)施服務(wù)以及參考架構(gòu)實(shí)施服務(wù);幫助客戶應(yīng)對(duì)大數(shù)據(jù)中的風(fēng)險(xiǎn)和挑戰(zhàn),以及其對(duì)安全、合規(guī)以及業(yè)務(wù)連續(xù)性造成影響的惠普大數(shù)據(jù)保護(hù)與合規(guī)分析等。
簡(jiǎn)化云部署和云管理
云計(jì)算是惠普所說的IT新型態(tài)之一,也是惠普重點(diǎn)投資領(lǐng)域,惠普推出的基于OpenStack技術(shù)的HP Cloud OS就是惠普在云計(jì)算領(lǐng)域的最新動(dòng)作。這一開放且可擴(kuò)展的云技術(shù)平臺(tái)將為惠普融合云通用架構(gòu)奠定基礎(chǔ),將使企業(yè)客戶能夠在私有云、公有云和混合云環(huán)境中提高負(fù)載遷移能力,簡(jiǎn)化安裝并提升生命周期管理水平。
惠普的私有云整合解決方案CloudSystem和登月系列服務(wù)器(MoonShot服務(wù)器)將首先內(nèi)置HP Cloud OS技術(shù),來為客戶提供包括橫跨混合云基礎(chǔ)設(shè)施的突發(fā)功能在內(nèi)的更優(yōu)部署選擇。此外,惠普還計(jì)劃將HP Cloud OS技術(shù)集成到面向混合云的云管理平臺(tái)——惠普云服務(wù)自動(dòng)化中。
惠普還推出了Sandbox版HP Cloud OS,使客戶能夠評(píng)估并了解OpenStack的使用方法。這將有助于開發(fā)新負(fù)載,并將當(dāng)前負(fù)載遷移到云環(huán)境中。
推動(dòng)存儲(chǔ)轉(zhuǎn)型
基于統(tǒng)一的技術(shù)平臺(tái)來支持存儲(chǔ)、備份以及歸檔,惠普推出了一體化的存儲(chǔ)架構(gòu)。在惠普世界之旅上新亮相的固態(tài)優(yōu)化全閃存惠普3PAR StoreServ系統(tǒng),主打在確保企業(yè)彈性且不增加數(shù)據(jù)中心復(fù)雜性的前提下,提供高性能和低延遲的產(chǎn)品表現(xiàn);惠普StoreOnce虛擬存儲(chǔ)設(shè)備(惠普StoreOnce VSA)更是一款惠普在軟件定義存儲(chǔ)領(lǐng)域的創(chuàng)新之作,它能讓小型站點(diǎn)縮減高達(dá)65%的備份成本。
此外,惠普還推出磁帶庫(kù)新產(chǎn)品StoreEver MSL6480,該產(chǎn)品能以適中的價(jià)格提供用于長(zhǎng)期數(shù)據(jù)保護(hù)的企業(yè)級(jí)功能,它可以從小規(guī)模開始自如擴(kuò)展,提供行業(yè)領(lǐng)先的性能、可擴(kuò)展性和密度,實(shí)現(xiàn)3.5 PB的單個(gè)庫(kù)容量及高達(dá)每小時(shí)60.4 TB的性能。
打印及移動(dòng)產(chǎn)品亟待重振雄風(fēng)
從全球看,PC市場(chǎng)的萎靡不振給IT廠商帶來太多挑戰(zhàn),業(yè)內(nèi)努力尋找創(chuàng)新?;萜盏淖龇ㄊ?,新推出的產(chǎn)品和解決方案立足在“可幫助企業(yè)節(jié)省時(shí)間和資源,從而提升生產(chǎn)效率”。
惠普正式了兩款全新的PC/平板二合一產(chǎn)品—— HP SlateBook x2和HP Split x2;在“智”觸控產(chǎn)品方面,惠普全新的一體電腦和消費(fèi)類筆記本電腦產(chǎn)品皆采用了智能十點(diǎn)觸控顯示技術(shù),此次全新亮相的HP Pavilion11 TouchSmart 是惠普第一款小尺寸、全性能的觸控筆記本產(chǎn)品;針對(duì)倡導(dǎo)的“多”系統(tǒng)理念,惠普新一代產(chǎn)品采用了Windows、Android等不同操作平臺(tái),使消費(fèi)者可以根據(jù)個(gè)人實(shí)際應(yīng)用特點(diǎn)從中挑選最貼切自身需求的產(chǎn)品。
EMC Isilon:橫向擴(kuò)展 性能突出
大數(shù)據(jù)存儲(chǔ)不是一類單獨(dú)的產(chǎn)品,它有很多實(shí)現(xiàn)方式。EMC Isilon存儲(chǔ)事業(yè)部總經(jīng)理?xiàng)钐m江概括說,大數(shù)據(jù)存儲(chǔ)應(yīng)該具有以下一些特性:海量數(shù)據(jù)存儲(chǔ)能力,可輕松管理PB級(jí)乃至數(shù)十PB的存儲(chǔ)容量;具有全局命名空間,所有應(yīng)用可以看到統(tǒng)一的文件系統(tǒng)視圖;支持標(biāo)準(zhǔn)接口,應(yīng)用無需修改可直接運(yùn)行,并提供API接口進(jìn)行面向?qū)ο蟮墓芾?;讀寫性能優(yōu)異,聚合帶寬高達(dá)數(shù)GB乃至數(shù)十GB;易于管理維護(hù),無需中斷業(yè)務(wù)即可輕松實(shí)現(xiàn)動(dòng)態(tài)擴(kuò)展;基于開放架構(gòu),可以運(yùn)行于任何開放架構(gòu)的硬件之上;具有多級(jí)數(shù)據(jù)冗余,支持硬件與軟件冗余保護(hù),數(shù)據(jù)具有高可靠性;采用多級(jí)存儲(chǔ)備份,可靈活支持SSD、SAS、SATA和磁帶庫(kù)的統(tǒng)一管理。
通過與中國(guó)用戶的接觸,楊蘭江認(rèn)為,當(dāng)前中國(guó)用戶最迫切需要了解的是大數(shù)據(jù)存儲(chǔ)有哪些分類,而在大數(shù)據(jù)應(yīng)用方面面臨的最大障礙就是如何在眾多平臺(tái)中找到適合自己的解決方案。
EMC針對(duì)不同的應(yīng)用需求可以提供不同的解決方案:對(duì)于能源、媒體、生命科學(xué)、醫(yī)療影像、GIS、視頻監(jiān)控、HPC應(yīng)用、某些歸檔應(yīng)用等,EMC會(huì)首推以Isilon存儲(chǔ)為核心的大數(shù)據(jù)存儲(chǔ)解決方案;對(duì)于虛擬化以及具有很多小文件的應(yīng)用,EMC將首推以VNX、XtremIO為核心的大數(shù)據(jù)存儲(chǔ)解決方案;對(duì)于大數(shù)據(jù)分析一類的應(yīng)用需求,EMC會(huì)綜合考慮客戶的具體需求,推薦Pivotal、Isilon等一體化的解決方案。在此,具體介紹一下EMC用于大數(shù)據(jù)的橫向擴(kuò)展NAS解決方案——EMC Isilon,其設(shè)計(jì)目標(biāo)是簡(jiǎn)化對(duì)大數(shù)據(jù)存儲(chǔ)基礎(chǔ)架構(gòu)的管理,為大數(shù)據(jù)提供靈活的可擴(kuò)展平臺(tái),進(jìn)一步提高大數(shù)據(jù)存儲(chǔ)的效率,降低成本。
EMC Isilon存儲(chǔ)解決方案主要包括三部分:EMC Isilon平臺(tái)節(jié)點(diǎn)和加速器,可從單個(gè)文件系統(tǒng)進(jìn)行大數(shù)據(jù)存儲(chǔ),從而服務(wù)于 I/O 密集型應(yīng)用程序、存儲(chǔ)和近線歸檔;EMC Isilon基礎(chǔ)架構(gòu)軟件是一個(gè)強(qiáng)大的工具,可幫助用戶在大數(shù)據(jù)環(huán)境中保護(hù)數(shù)據(jù)、控制成本并優(yōu)化存儲(chǔ)資源和系統(tǒng)性能;EMC Isilon OneFS操作系統(tǒng)可在集群中跨節(jié)點(diǎn)智能地整合文件系統(tǒng)、卷管理器和數(shù)據(jù)保護(hù)功能。
楊蘭江表示,企業(yè)用戶選擇EMC Isilon的理由可以歸納為以下幾點(diǎn)。第一,簡(jiǎn)化管理,增強(qiáng)易用性。與傳統(tǒng)NAS相比,無論未來存儲(chǔ)容量、性能增加到何種程度,EMC Isilon的安裝、管理和擴(kuò)展都會(huì)保持其簡(jiǎn)單性。第二,強(qiáng)大的可擴(kuò)展性。EMC Isilon可以滿足非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)和分析需求,單個(gè)文件系統(tǒng)和卷中每個(gè)集群的容量為18TB~15PB。第三,更高的處理效率,更低的成本。EMC Isilon在單個(gè)共享存儲(chǔ)池中的利用率超過80%,而EMC Isilon SmartPools軟件可進(jìn)一步優(yōu)化資源,提供自動(dòng)存儲(chǔ)分層,保證存儲(chǔ)的高性能、經(jīng)濟(jì)性。第四,靈活的互操作性。EMC Isilon支持眾多行業(yè)標(biāo)準(zhǔn),簡(jiǎn)化工作流。它還提供了API可以向客戶和ISV提供OneFS控制接口,提供Isilon集群的自動(dòng)化、協(xié)調(diào)和資源調(diào)配能力。
EMC Isilon大數(shù)據(jù)存儲(chǔ)解決方案已經(jīng)在醫(yī)療、制造、高校和科研機(jī)構(gòu)中有了許多成功應(yīng)用。
方案點(diǎn)評(píng)
EMC Isilon是一個(gè)強(qiáng)大但簡(jiǎn)單的橫向擴(kuò)展NAS方案,適用于希望投資數(shù)據(jù)管理而不是單純存儲(chǔ)的企業(yè)。當(dāng)初,EMC將收購(gòu)來的分布式數(shù)據(jù)倉(cāng)庫(kù)軟件廠商Greenplum的軟件與Isilon存儲(chǔ)組合成了EMC最早的大數(shù)據(jù)解決方案。用戶既可以分開選擇Greenplum軟件或Isilon存儲(chǔ),也可以選擇由Greenplum軟件和Isilon存儲(chǔ)組成的一體機(jī)解決方案?,F(xiàn)在,Greenplum軟件雖然已歸Pivotal公司,但EMC是Pivotal的經(jīng)銷商與合作伙伴,Greenplum與Isilon存儲(chǔ)的組合方案并不會(huì)因此受到影響。
HDS UCP:統(tǒng)一平臺(tái) 應(yīng)用優(yōu)化
HDS中國(guó)區(qū)解決方案與專業(yè)服務(wù)事業(yè)部總監(jiān)陳戈認(rèn)為,大數(shù)據(jù)存儲(chǔ)應(yīng)該是一個(gè)解決方案:“大數(shù)據(jù)解決方案是由基礎(chǔ)架構(gòu)的各部件組成的,包含數(shù)據(jù)存儲(chǔ)、計(jì)算和分析,而存儲(chǔ)是此架構(gòu)中的一部分?!?/p>
大數(shù)據(jù)的存儲(chǔ)類型與傳統(tǒng)的存儲(chǔ)類型有一定區(qū)別:在大數(shù)據(jù)存儲(chǔ)中,更多的應(yīng)用是一次寫、多次讀,讀得更多是大數(shù)據(jù)存儲(chǔ)的一個(gè)特點(diǎn),而在傳統(tǒng)的數(shù)據(jù)存儲(chǔ)中,讀寫是隨機(jī)的,由于每個(gè)應(yīng)用不同,其讀寫的比例也是隨機(jī)的;大數(shù)據(jù)存儲(chǔ)需要具有橫向的可擴(kuò)展性,并可支持多種接口、多種數(shù)據(jù)訪問協(xié)議,便于不同數(shù)據(jù)進(jìn)入這個(gè)大數(shù)據(jù)平臺(tái)。
談到中國(guó)用戶在大數(shù)據(jù)存儲(chǔ)應(yīng)用中最迫切的需求是什么,陳戈認(rèn)為,中國(guó)用戶最迫切的需求是如何逐步實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用,即用戶從現(xiàn)有的模式如何過渡到大數(shù)據(jù),如何更好地利用大數(shù)據(jù)進(jìn)行經(jīng)營(yíng)分析。
大數(shù)據(jù)的經(jīng)典定義可以歸納為四個(gè)“V”,但企業(yè)不可能一步到位實(shí)現(xiàn)四個(gè)“V”,這需要一個(gè)循序漸進(jìn)的過程。海量的、多種類型的數(shù)據(jù)是一次性全部載入到大數(shù)據(jù)中,還是通過現(xiàn)有的平臺(tái)進(jìn)行數(shù)據(jù)初選,再導(dǎo)入到大數(shù)據(jù)平臺(tái)中,是兩種不同的實(shí)現(xiàn)途徑?!跋韧ㄟ^現(xiàn)有平臺(tái)進(jìn)行數(shù)據(jù)初選,再導(dǎo)入到大數(shù)據(jù)平臺(tái),這種方式更適合于客戶逐漸實(shí)現(xiàn)大數(shù)據(jù),可以縮短用戶實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的時(shí)間?!标惛瓯硎?,“大數(shù)據(jù)主要是非結(jié)構(gòu)化數(shù)據(jù)。用戶可以使用基于對(duì)象數(shù)據(jù)存儲(chǔ)的HCP,利用其獨(dú)特的元數(shù)據(jù)采集和智能工具,對(duì)非結(jié)構(gòu)化文件數(shù)據(jù)進(jìn)行管理,實(shí)現(xiàn)智能的自動(dòng)化,這有助于對(duì)數(shù)據(jù)進(jìn)行深度分析,幫助客戶從單一系統(tǒng)中存儲(chǔ)、共享、同步、保護(hù)、保存、分析和檢索文件數(shù)據(jù),減少垃圾數(shù)據(jù),進(jìn)而為大數(shù)據(jù)分析建立一個(gè)良好的基礎(chǔ)?!?/p>
談到用戶在大數(shù)據(jù)應(yīng)用中遇到的主要障礙,陳戈表示,一方面,應(yīng)用軟件本身的智能程度是否能滿足行業(yè)應(yīng)用需求,應(yīng)用軟件是否已經(jīng)成型,大數(shù)據(jù)人才是否具備等,是讓大數(shù)據(jù)應(yīng)用落地的關(guān)鍵;另一方面,如何抽取數(shù)據(jù),放在大數(shù)據(jù)平臺(tái)中進(jìn)行相應(yīng)的計(jì)算是另一個(gè)關(guān)鍵問題。
HDS可為所有數(shù)據(jù)提供單一、可擴(kuò)展的虛擬化集成平臺(tái)。HDS推出了“三步”云戰(zhàn)略,從基礎(chǔ)架構(gòu)、內(nèi)容和信息三個(gè)層面幫助客戶解決目前所遇到的問題。具體來看,通過“基礎(chǔ)架構(gòu)云”,HDS可以幫助客戶進(jìn)行虛擬化和集成管理,實(shí)現(xiàn)數(shù)據(jù)中心的整合;在第二層的“內(nèi)容云”當(dāng)中,HDS可以按需提供內(nèi)容,更可以不受應(yīng)用限制地進(jìn)行數(shù)據(jù)搜索和集成;在第三層的“信息云”中,針對(duì)所有數(shù)據(jù)類型,HDS在其存儲(chǔ)平臺(tái)中融入了分析功能,使客戶可以從數(shù)據(jù)信息中獲取洞察力。
HDS提供的UCP for SAP HANA集成了基于大量數(shù)據(jù)集的創(chuàng)新和內(nèi)存分析技術(shù),并提供實(shí)時(shí)的洞察力,從而使當(dāng)前的信息驅(qū)動(dòng)型企業(yè)可以加快其商業(yè)決策的速度。陳戈介紹說,UCP for SAP HANA解決方案結(jié)合了HDS刀片服務(wù)器技術(shù)、企業(yè)級(jí)存儲(chǔ)系統(tǒng)和業(yè)內(nèi)領(lǐng)先的網(wǎng)絡(luò)組件,在這樣一個(gè)集成的、高性能的硬件平臺(tái)上可以快速交付SAP下一代內(nèi)存計(jì)算技術(shù)。全球已有超過200家客戶在使用HDS和SAP的大數(shù)據(jù)解決方案。
方案點(diǎn)評(píng)
其實(shí),HDS的“三步”云戰(zhàn)略也可以看成是其大數(shù)據(jù)戰(zhàn)略。HDS借助以UCP為核心的大數(shù)據(jù)平臺(tái),可以幫助企業(yè)用戶構(gòu)建從基礎(chǔ)架構(gòu)到內(nèi)容歸檔和搜索,直至信息提取和分析的全面、高效的大數(shù)據(jù)解決方案。HDS的“信息云”直接與大數(shù)據(jù)相關(guān)。UCP是一個(gè)集成了計(jì)算、存儲(chǔ)與網(wǎng)絡(luò)的一體化平臺(tái),它既可以提供像一體機(jī)一樣的整合性、簡(jiǎn)單性,又可以提供靈活的選擇,連接第三方的設(shè)備組件。HDS還通過與包括SAP在內(nèi)的眾多大數(shù)據(jù)分析類的合作伙伴合作,針對(duì)行業(yè)定制優(yōu)質(zhì)的大數(shù)據(jù)解決方案。
HP StoreAll :快速部署 極速搜索
中國(guó)惠普有限公司企業(yè)集團(tuán)存儲(chǔ)產(chǎn)品部存儲(chǔ)架構(gòu)師張楠向記者表示,大數(shù)據(jù)存儲(chǔ)是一套解決方案,應(yīng)該能夠?qū)Υ髷?shù)據(jù)的Volume、Velocity、Variety和Value四個(gè)方面提供全面的支持。
第一,大數(shù)據(jù)存儲(chǔ)要支持海量級(jí)的數(shù)據(jù)存儲(chǔ),比如具有PB級(jí)的存儲(chǔ)能力。第二,大數(shù)據(jù)存儲(chǔ)要支持更高的存儲(chǔ)速度,支持10Gb甚至更高的網(wǎng)絡(luò)連接。第三,大數(shù)據(jù)存儲(chǔ)要支持?jǐn)?shù)據(jù)的多樣性,如圖片、文本、視頻、音頻等。第四,大數(shù)據(jù)最重要的是價(jià)值的體現(xiàn),而為了實(shí)現(xiàn)這一點(diǎn),存儲(chǔ)本身應(yīng)該具備快速、智能的數(shù)據(jù)檢索能力?!霸诖鎯?chǔ)的最底層提供最直接、快捷的數(shù)據(jù)檢索。這一過程簡(jiǎn)單說就是,將上層的數(shù)據(jù)挖掘工作下移,充分利用存儲(chǔ)強(qiáng)大的處理能力和數(shù)據(jù)識(shí)別能力?!睆堥e例說,“比如,在秒級(jí)的單位內(nèi)對(duì)數(shù)據(jù)進(jìn)行極速的搜索, 從幾千萬甚至上億個(gè)文件中找到目標(biāo)數(shù)據(jù)?!?/p>
另外,模糊查詢能力也是大數(shù)據(jù)存儲(chǔ)不可缺少的功能。智能的模糊查詢將為大數(shù)據(jù)平臺(tái)提供更加便捷的存儲(chǔ)服務(wù)能力,使得存儲(chǔ)更像一臺(tái)智能的高速計(jì)算設(shè)備。
目前,很多中國(guó)用戶在存儲(chǔ)廠商的引導(dǎo)下,片面追求存儲(chǔ)的大容量和高性能,而忽略了大數(shù)據(jù)存儲(chǔ)本身應(yīng)該提供的其他額外屬性。中國(guó)用戶在實(shí)施大數(shù)據(jù)的過程中經(jīng)常遇到的障礙有以下兩方面:第一,無法將存儲(chǔ)與大數(shù)據(jù)平臺(tái)進(jìn)行對(duì)接;第二,無法充分利用大數(shù)據(jù)存儲(chǔ)的價(jià)值,也很難將其運(yùn)用到實(shí)際的業(yè)務(wù)中。張楠表示,究其原因,主要在于有些大數(shù)據(jù)存儲(chǔ)產(chǎn)品沒有開放的接口協(xié)議,或沒有針對(duì)用戶的大數(shù)據(jù)場(chǎng)景進(jìn)行特別優(yōu)化,也沒有用戶容易接受的易用的管理方式等。
惠普在大數(shù)據(jù)方面可以提供軟硬結(jié)合的解決方案。惠普在收購(gòu)Autonomy公司之后,將其軟件與惠普的硬件平臺(tái)進(jìn)行了整合, 形成了一套完整的大數(shù)據(jù)解決方案。張楠介紹說,在存儲(chǔ)方面,惠普擁有像StoreAll這樣的大數(shù)據(jù)存儲(chǔ)平臺(tái)。借助HP StoreAll硬件平臺(tái),用戶除了可以實(shí)現(xiàn)海量數(shù)據(jù)的存儲(chǔ)和高速數(shù)據(jù)訪問以外,還能實(shí)現(xiàn)高級(jí)的數(shù)據(jù)檢索功能,對(duì)特殊文件進(jìn)行快速定位。同時(shí),結(jié)合HP Autonomy軟件的特性,惠普還引入了模糊查詢、智能語義庫(kù)等概念,可以幫助企業(yè)用戶通過存儲(chǔ)底層為上層業(yè)務(wù)帶來所需的大數(shù)據(jù)業(yè)務(wù)價(jià)值。
如今,閃存不僅在大數(shù)據(jù)領(lǐng)域,而且在Tier 1存儲(chǔ)市場(chǎng)同樣占據(jù)著十分重要的地位。對(duì)于大數(shù)據(jù)平臺(tái)來說,閃存可用來提升存儲(chǔ)的存取速度,降低I/O的響應(yīng)時(shí)間等。針對(duì)那些I/O壓力十分明確的大數(shù)據(jù)平臺(tái), SSD可以發(fā)揮其效果, 提升存儲(chǔ)的整體性能。但是,SSD并不是萬能的。因?yàn)榇蟛糠值臄?shù)據(jù)都是非結(jié)構(gòu)化的,而非結(jié)構(gòu)化數(shù)據(jù)對(duì)I/O的響應(yīng)要求遠(yuǎn)遠(yuǎn)沒有對(duì)帶寬的需求大,所以,讓用戶花數(shù)倍的價(jià)格購(gòu)買SSD存儲(chǔ)在目前來看還是比較困難的。從目前情況看,引入閃存的大數(shù)據(jù)解決方案還不是很普遍。
方案點(diǎn)評(píng)
惠普在大數(shù)據(jù)方面收購(gòu)了兩個(gè)軟件公司Vertica與Autonomy,然后將它們的軟件與原有的硬件平臺(tái)進(jìn)行整合,針對(duì)結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)都可以提供針對(duì)性的解決方案?;萜赵趯⒋髷?shù)據(jù)軟件與存儲(chǔ)硬件結(jié)合上也進(jìn)行了嘗試,其中一個(gè)成功的例子就是HP StoreAll大數(shù)據(jù)存儲(chǔ)平臺(tái)。HP StoreAll具有以下特點(diǎn):橫向擴(kuò)展,最大可以擴(kuò)展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,實(shí)現(xiàn)實(shí)時(shí)大數(shù)據(jù)的價(jià)值;內(nèi)置對(duì)OpenStack的支持,可快速部署;支持文件和對(duì)象類型的數(shù)據(jù)存儲(chǔ)。
NetApp:統(tǒng)一架構(gòu) 無限擴(kuò)展
如今,企業(yè)若想獲得成功,就必須想方設(shè)法應(yīng)對(duì)具有前所未有的復(fù)雜性、高性能的海量數(shù)據(jù),并盡可能地管理這些數(shù)據(jù),從中發(fā)掘更大的商業(yè)價(jià)值。
對(duì)于國(guó)內(nèi)用戶來說,無論企業(yè)的規(guī)模和數(shù)據(jù)量大小如何,運(yùn)用大數(shù)據(jù)的關(guān)鍵在于,企業(yè)是否把大數(shù)據(jù)作為一個(gè)真正的工具,去體現(xiàn)企業(yè)的差異化,從而提升競(jìng)爭(zhēng)力。隨著越來越智慧的企業(yè)信息化的發(fā)展,IT不再是束縛企業(yè)發(fā)展的瓶頸,而是真正地融入了企業(yè)自身的業(yè)務(wù)中。越來越多的公司將大數(shù)據(jù)成功地運(yùn)用于企業(yè)的商業(yè)模式。例如,在歐美,很多企業(yè)已經(jīng)著手將大量資源投放在大數(shù)據(jù)領(lǐng)域。反觀國(guó)內(nèi),在金融領(lǐng)域,有為數(shù)不少的企業(yè)通過大數(shù)據(jù)的分析工具來分析金融的走勢(shì),實(shí)現(xiàn)風(fēng)險(xiǎn)管理,進(jìn)行信用卡的追蹤等。此外,像零售、制造、電信等行業(yè)也已在嘗試?yán)么髷?shù)據(jù)分析工具為企業(yè)營(yíng)銷和決策提供支撐。
無論企業(yè)現(xiàn)在是否正在使用大數(shù)據(jù)工具,企業(yè)都應(yīng)全面地考慮自身未來發(fā)展的需求,選擇一個(gè)廠家的平臺(tái)與之共同發(fā)展,這可以有效避免因數(shù)據(jù)和應(yīng)用遷移帶來的麻煩。
在大數(shù)據(jù)方面,NetApp能夠幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)管理,應(yīng)對(duì)業(yè)務(wù)挑戰(zhàn)的極限,將以數(shù)據(jù)為導(dǎo)向的洞察轉(zhuǎn)化為有效行動(dòng)。若想將數(shù)據(jù)轉(zhuǎn)化為商機(jī),僅僅提升管理能力是不夠的,需要徹底轉(zhuǎn)變數(shù)據(jù)和業(yè)務(wù)之間的聯(lián)系模式。NetApp可以幫助企業(yè)用戶持續(xù)管理數(shù)據(jù),迅速把握意料之外的新商機(jī),永久保存所有數(shù)據(jù),并在靈活、開放的存儲(chǔ)平臺(tái)之上打造屬于企業(yè)自己的大數(shù)據(jù)解決方案。
NetApp提供了可高效處理、分析、管理和訪問大規(guī)模數(shù)據(jù)的大數(shù)據(jù)解決方案。NetApp的解決方案組合可劃分為分析、帶寬和內(nèi)容三個(gè)主要用例,這被稱之為大數(shù)據(jù)的“ABC”基本要素。
具體來看,分析(Analysis)是指針對(duì)極大數(shù)據(jù)集的高效分析。NetApp分析解決方案就是幫助用戶深入了解和利用數(shù)字世界,將數(shù)據(jù)轉(zhuǎn)化為高質(zhì)量的信息,以及提供關(guān)于業(yè)務(wù)的更深入見解,從而幫助企業(yè)做出更好的決策。
帶寬(Bandwidth)是指適用于數(shù)據(jù)密集型工作負(fù)載的性能。此類解決方案著重于為速度非常快的工作負(fù)載提供更高的性能。高帶寬應(yīng)用包括高性能計(jì)算(能以極快的速度執(zhí)行復(fù)雜的分析)、用于監(jiān)控和任務(wù)規(guī)劃的高性能視頻流、媒體和娛樂領(lǐng)域中的視頻剪輯和播放。
內(nèi)容(Content)是指無限的安全數(shù)據(jù)存儲(chǔ)。此類解決方案著重于滿足可擴(kuò)展的安全數(shù)據(jù)存儲(chǔ)需求。內(nèi)容解決方案必須支持存儲(chǔ)的無限擴(kuò)展能力,以便企業(yè)可以根據(jù)需要存儲(chǔ)任意多的數(shù)據(jù),并能在需要時(shí)找到所需的數(shù)據(jù)。
NetApp致力于通過一系列解決方案來提供高性能的運(yùn)算和大數(shù)據(jù)的應(yīng)用。2013年11月,NetApp再次更新了E系列家族產(chǎn)品,推出E2700和E5500。該系列產(chǎn)品采用可輕松擴(kuò)展的設(shè)計(jì),適用于要求99.999%的可靠性且穩(wěn)定、高性能的工作負(fù)載。
用戶在采購(gòu)大數(shù)據(jù)存儲(chǔ)產(chǎn)品時(shí),需要注意以下五個(gè)方面的問題:大數(shù)據(jù)存儲(chǔ)必須具有向上擴(kuò)展與向外擴(kuò)展的能力;架構(gòu)必須是針對(duì)工作負(fù)載進(jìn)行優(yōu)化的,具有實(shí)時(shí)處理能力;具有整合的數(shù)據(jù)保護(hù)功能;保證7×24小時(shí)運(yùn)行不中斷,可在線進(jìn)行容量擴(kuò)展,實(shí)施數(shù)據(jù)遷移等;可以實(shí)現(xiàn)服務(wù)的自動(dòng)化。
方案點(diǎn)評(píng)
NetApp的技術(shù)優(yōu)勢(shì)集中體現(xiàn)在其統(tǒng)一存儲(chǔ)平臺(tái)上,從入門級(jí)產(chǎn)品到企業(yè)級(jí)產(chǎn)品,全部基于同一個(gè)體系架構(gòu)和操作系統(tǒng),不僅部署和使用方便,而且升級(jí)和擴(kuò)展非常簡(jiǎn)單。當(dāng)初,NetApp收購(gòu)LSI Engenio,其中一個(gè)重要的原因就是為了大數(shù)據(jù)。2013年,NetApp不斷更新E系列產(chǎn)品線,推出E2700和E5500等。E5500可以支持高IOPS混合工作負(fù)載和數(shù)據(jù)庫(kù)、高性能文件系統(tǒng)和帶寬密集型流等應(yīng)用,可確保數(shù)據(jù)的高可用性、完整性和安全性。
曙光XData:高度集成 貼近行業(yè)
關(guān)于大數(shù)據(jù)存儲(chǔ),目前業(yè)界沒有一個(gè)通用的定義。曙光信息產(chǎn)業(yè)股份有限公司總裁助理兼存儲(chǔ)產(chǎn)品線產(chǎn)品總監(jiān)惠潤(rùn)海從曙光大數(shù)據(jù)平臺(tái)和解決方案角度,概括出大數(shù)據(jù)存儲(chǔ)的主要特征。
首先,大數(shù)據(jù)存儲(chǔ)必須支持全類型數(shù)據(jù), 包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)數(shù)據(jù),實(shí)現(xiàn)統(tǒng)一數(shù)據(jù)支持。
其次,存儲(chǔ)性能上,一方面,大數(shù)據(jù)存儲(chǔ)要支持海量數(shù)據(jù),并且要在保證數(shù)據(jù)可靠性的基礎(chǔ)之上,實(shí)現(xiàn)容量與性能的線性擴(kuò)展;另一方面,為了實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值,批處理和實(shí)時(shí)處理兩種措施都需要高性能的數(shù)據(jù)訪問獲取能力。
最后,在系統(tǒng)達(dá)到一定規(guī)模之后,系統(tǒng)的易用性和可管理性也是不可或缺的。
從應(yīng)用角度來說,目前中國(guó)用戶在大數(shù)據(jù)存儲(chǔ)應(yīng)用中最迫切的需求,是如何真正實(shí)現(xiàn)用戶數(shù)據(jù)的價(jià)值,如何驅(qū)動(dòng)業(yè)務(wù)發(fā)展,實(shí)現(xiàn)決策和運(yùn)營(yíng)?!皬南到y(tǒng)構(gòu)建層面說,要實(shí)現(xiàn)數(shù)據(jù)高性價(jià)比的存儲(chǔ)和管理,同時(shí)滿足數(shù)據(jù)服務(wù)的相關(guān)需求。”惠潤(rùn)海表示。
針對(duì)用戶對(duì)大數(shù)據(jù)存儲(chǔ)的需求, 曙光推出了像大數(shù)據(jù)一體機(jī)這樣的全類型數(shù)據(jù)分析型產(chǎn)品,同時(shí)還基于該產(chǎn)品構(gòu)建了基于行業(yè)的解決方案,以幫助用戶實(shí)現(xiàn)大數(shù)據(jù)落地。
“除此之外, 我們還提供了大數(shù)據(jù)統(tǒng)一數(shù)據(jù)中心解決方案, 涵蓋了像主攻事物處理的DS900、DS800,以及針對(duì)文件存儲(chǔ)的Parastor等存儲(chǔ)產(chǎn)品。我們基于這些存儲(chǔ)產(chǎn)品構(gòu)建了大數(shù)據(jù)運(yùn)營(yíng)管理平臺(tái)?!被轁?rùn)海介紹說,“曙光的優(yōu)勢(shì)不僅在于可以提供全面的產(chǎn)品支撐,更重要的是能夠提供數(shù)據(jù)生命周期過程服務(wù)支持。目前,我們提供的免費(fèi)維保期限為5年?!?/p>
曙光開發(fā)了針對(duì)不同行業(yè)和應(yīng)用場(chǎng)景的大數(shù)據(jù)存儲(chǔ)解決方案。以金融行業(yè)為例,目前國(guó)內(nèi)四大行的應(yīng)用系統(tǒng)每年產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)量已達(dá)到PB級(jí),結(jié)構(gòu)化數(shù)據(jù)也以百TB計(jì)。面對(duì)如此大量的數(shù)據(jù),如何存儲(chǔ)、管理、利用和盤活它們呢?惠潤(rùn)海認(rèn)為,只有通過商業(yè)智能和高級(jí)分析應(yīng)用解決方案才能將數(shù)據(jù)的價(jià)值最大程度地發(fā)揮出來。
針對(duì)金融行業(yè)用戶的需求,曙光開發(fā)的XData大數(shù)據(jù)解決方案利用優(yōu)化的大數(shù)據(jù)處理技術(shù),對(duì)文件管理、歷史數(shù)據(jù)查詢和數(shù)據(jù)分析類應(yīng)用等進(jìn)行深入研究,為數(shù)據(jù)爆炸式增長(zhǎng)帶來的海量數(shù)據(jù)存儲(chǔ)及分析應(yīng)用提供高可靠的解決方案。
曙光金融行業(yè)XData大數(shù)據(jù)解決方案采用曙光自主研發(fā)的SN-MPP并行數(shù)據(jù)庫(kù),同時(shí)結(jié)合大數(shù)據(jù)處理事實(shí)標(biāo)準(zhǔn)Hadoop,并充分考慮了多方面的數(shù)據(jù)收集,加入ETL工具和連接驅(qū)動(dòng)器,提供了類SQL的接口,還和現(xiàn)有金融業(yè)務(wù)系統(tǒng)進(jìn)行對(duì)接。
針對(duì)金融行業(yè)歷史數(shù)據(jù),XData大數(shù)據(jù)解決方案在方案設(shè)計(jì)上主要考慮了數(shù)據(jù)的安全性、歷史數(shù)據(jù)高效導(dǎo)入、快速訪問與分析報(bào)表。曙光金融行業(yè)大數(shù)據(jù)解決方案立足于基礎(chǔ)平臺(tái)建設(shè),同時(shí)切實(shí)貼合金融行業(yè)用戶需求,提供了優(yōu)質(zhì)的軟硬一體化解決方案,為用戶一攬子解決了部署、業(yè)務(wù)移植開發(fā)等技術(shù)難題,幫助用戶跨過應(yīng)用門檻。
云計(jì)算IT行業(yè)的大趨勢(shì),越來越的企業(yè)開始考慮或者著手部署云計(jì)算。不過,業(yè)內(nèi)人士提醒,作為一種新的部署和利用IT技術(shù)的方式,云計(jì)算對(duì)數(shù)據(jù)中心的基礎(chǔ)設(shè)施有著較高的要求,換而言之,如果還是采用傳統(tǒng)的數(shù)據(jù)中心基礎(chǔ)設(shè)施,是很難滿足部署云計(jì)算的要求的。
“云計(jì)算的典型特點(diǎn)是高密度負(fù)載以及靈活地動(dòng)態(tài)調(diào)度,這就要求數(shù)據(jù)中心的基礎(chǔ)設(shè)施能承受這種高密度負(fù)載的靈活遷移?!笔┠偷码姎釯T事業(yè)部全球數(shù)據(jù)中心副總裁Paul-Francois Cattier告訴記者,傳統(tǒng)數(shù)據(jù)中心由于沒有考慮這么高密度的負(fù)載,所以在供電能力和制冷能力上常常難以滿足需求;同時(shí),在管理手段上也不支持負(fù)載在數(shù)據(jù)中心范圍內(nèi)自由調(diào)度。
另外,傳統(tǒng)數(shù)據(jù)中心在電能利用效率過低,通常PUE值會(huì)在2.2,而一個(gè)設(shè)計(jì)良好的數(shù)據(jù)中心其PUE值可以降到1.3,甚至1.1。
“降低電能消耗,提高用電效率,是對(duì)新一代數(shù)據(jù)中心或者說云時(shí)代數(shù)據(jù)中心的基本要求。這既是社會(huì)責(zé)任,也是降低數(shù)據(jù)中心運(yùn)營(yíng)成本的必然選擇?!盤aul-Francois Cattier說,相關(guān)研究表明,在數(shù)據(jù)中心的整體運(yùn)營(yíng)成本中,電力成本可能占到40%-50%,如此之高的占比提醒我們降低電能消耗的重要性。
什么樣的數(shù)據(jù)中心可以滿足云計(jì)算的要求?對(duì)此Paul-Francois Cattier認(rèn)為,數(shù)據(jù)中心必須具有如下特征:
1. 標(biāo)準(zhǔn)化。新一代的數(shù)據(jù)中心一定是采用各種標(biāo)準(zhǔn)化的組件,符合各種國(guó)際標(biāo)準(zhǔn)。只有這樣才能保證快速部署,比如,集裝箱式數(shù)據(jù)中心只要幾周就可以快速構(gòu)建起來。
2. 高密度。云計(jì)算是一種集中化的部署方式,要在有限空間內(nèi)支持高負(fù)載,刀片式服務(wù)器等高密度設(shè)備是必然選擇。
3. 模塊化。數(shù)據(jù)中心要滿足動(dòng)態(tài)的需求,必須具有一定伸縮性。同時(shí),為了節(jié)省投資,最好能邊成長(zhǎng)邊投資,而模塊化就是最好的選擇。另外,模塊化還能提高可靠性和節(jié)電。
4. 集中化的管理。傳統(tǒng)數(shù)據(jù)中心IT設(shè)備與基礎(chǔ)設(shè)施是由不同的人分開管理的,通常,IT設(shè)備由IT部門管理,而基礎(chǔ)設(shè)施則由基建部門負(fù)責(zé)。以虛擬機(jī)在不同機(jī)柜中的遷移為例,傳統(tǒng)的IT管理工具通常只關(guān)心那個(gè)機(jī)柜中是否有合適的IT資源,而實(shí)際上,如果某個(gè)機(jī)柜中如果制冷能力不夠,即使它還有冗余的計(jì)算能力也不適合增加新的負(fù)載。
“如今,這個(gè)問題已經(jīng)引起了廠商的關(guān)注,包括施耐德電氣旗下的APC在內(nèi)一些廠商已經(jīng)推出了集成化的管理工具,為云環(huán)境的管理提供了很大的方便。”Paul-Francois Cattier說。
====以下簡(jiǎn)訊===
首款本土化設(shè)計(jì)桌面虛擬化產(chǎn)品面世
10月27日,在VMware公司主辦的VMware中國(guó)用戶大會(huì)上,福建升騰資訊有限公司與VMware正式聯(lián)合業(yè)內(nèi)首款專為中國(guó)客戶量身定制的桌面虛擬化解決方案——升騰CT Vision,全面滿足本土市場(chǎng)虛擬化桌面終端管理需求。升騰CT Vision是雙方自2010年10月達(dá)成戰(zhàn)略合作伙伴關(guān)系以來,充分利用各自在瘦客戶機(jī)產(chǎn)品研發(fā)、桌面虛擬化方面的優(yōu)勢(shì),共同推出第一款專為中國(guó)用戶設(shè)計(jì)的桌面虛擬化產(chǎn)品,也是目前業(yè)內(nèi)外設(shè)支持最好的桌面虛擬化產(chǎn)品。
Sybase ASE 15.7正式上市
日前,SAP旗下的Sybase公司的全新版本的企業(yè)數(shù)據(jù)管理解決方案Sybase ASE 15.7正式上市。作為SAP Business Suite商務(wù)套件的基礎(chǔ),ASE 15.7不僅為SAP客戶提供了一個(gè)強(qiáng)大的數(shù)據(jù)庫(kù)支持,也可以讓現(xiàn)有的Sybase ASE客戶方便地采用最新功能和優(yōu)化特性,而不需要升級(jí)數(shù)據(jù)庫(kù)。更為重要的是,具有全新先進(jìn)壓縮功能的ASE 15.7還可以節(jié)省磁盤空間、提高并行硬件的性能和可擴(kuò)展性,有效管理非結(jié)構(gòu)化數(shù)據(jù)。強(qiáng)大的功能足以應(yīng)對(duì)大數(shù)據(jù)時(shí)代對(duì)數(shù)據(jù)處理性能、類型、安全等方面的挑戰(zhàn)。新版ASE有5大重大改進(jìn),包括面向存儲(chǔ)的優(yōu)化、應(yīng)用程序開發(fā)效率提升、診斷與監(jiān)測(cè)的提升、增強(qiáng)的安全管理和性能提升。
Oracle NoSQL數(shù)據(jù)庫(kù)支持大數(shù)據(jù)應(yīng)用
甲骨文公司日前宣布,Oracle NoSQL數(shù)據(jù)庫(kù)即日起可以在Oracle技術(shù)網(wǎng)下載。Oracle NoSQL數(shù)據(jù)庫(kù)是Oracle大數(shù)據(jù)產(chǎn)品線的關(guān)鍵組成產(chǎn)品之一。Oracle NoSQL數(shù)據(jù)庫(kù)能夠幫助客戶以動(dòng)態(tài)架構(gòu)輕松管理大量數(shù)據(jù),例如博客數(shù)據(jù)、傳感器和智能電表數(shù)據(jù)、個(gè)性化數(shù)據(jù)收集以及社交網(wǎng)絡(luò)存留的數(shù)據(jù)。此外,甲骨文公司還將提供一款新型集成設(shè)計(jì)系統(tǒng),即Oracle大數(shù)據(jù)機(jī)(Oracle Big Data Appliance),該系統(tǒng)可以對(duì)Oracle NoSQL數(shù)據(jù)庫(kù)以及其它Oracle大數(shù)據(jù)產(chǎn)品進(jìn)行優(yōu)化。Oracle大數(shù)據(jù)機(jī)將于2012年第一季度面市。
Infor 10 為企業(yè)軟件注入新體驗(yàn)
Infor日前宣布推出Infor10和Infor10 ION軟件套件。Infor10具有消費(fèi)者級(jí)用戶體驗(yàn)和完整行業(yè)應(yīng)用特性,Infor10 Workspace是Infor10的前端,旨在提供一個(gè)消費(fèi)者級(jí)用戶體驗(yàn)并改變普通企業(yè)用戶的工作方式;而Infor10 ION軟件套件是一個(gè)能夠改變企業(yè)軟件管理方式的輕量、中間件技術(shù),作為Infor10的核心,ION連接并集成了Infor和非Infor的應(yīng)用程序,并在一個(gè)常見的格式和庫(kù)里存儲(chǔ)信息。
SUSE基于OpenStack的云基礎(chǔ)設(shè)施解決方案
SUSE公司于近日宣布,其開源、云基礎(chǔ)設(shè)施解決方案的初步開發(fā)快照已。SUSE公司正在通過增加在商業(yè)上得到支持的工具,幫助客戶快速輕松地構(gòu)建私有云基礎(chǔ)設(shè)施來擴(kuò)展其解決方案產(chǎn)品包。該公司的SUSE Cloud是業(yè)界第一個(gè)經(jīng)過充分配置的、基于OpenStack Diablo的可供公眾使用的軟件設(shè)備。它還是SUSE開源、開放標(biāo)準(zhǔn)、廠商無關(guān)的云基礎(chǔ)設(shè)施解決方案首個(gè)快照。依靠SUSE Enterprise Cloud Infrastructure這樣的開放解決方案,客戶可在私有云基礎(chǔ)設(shè)施的跨物理和虛擬環(huán)境中具有更強(qiáng)大的視程,從而使資源得到更好的利用、使業(yè)務(wù)更加高效。
Nimsoft服務(wù)臺(tái)提供托管的IT服務(wù)管理
Nimsoft日前宣布,Nimsoft服務(wù)臺(tái)作為一款基于SaaS模式的創(chuàng)新型解決方案,在亞太市場(chǎng)中被客戶廣泛采用。這款獨(dú)創(chuàng)的SaaS解決方案自推出伊始,來自服務(wù)提供商和企業(yè)客戶的需求持續(xù)顯著增長(zhǎng)。
Nimsoft服務(wù)臺(tái)是一個(gè)純粹的SaaS多租戶解決方案,用戶可通過一個(gè)自助服務(wù)門戶獲得廣泛的能力,包括提交變更請(qǐng)求、請(qǐng)求服務(wù)、報(bào)告事件,并利用一款知識(shí)管理引擎來立即解決各種常見問題。同時(shí),這種可按需定制的解決方案提供了基于ITIL的工作流程,以及多年的最佳實(shí)踐知識(shí)。 2010年3月,CA Technologies收購(gòu)了Nimsoft。
百年伊頓創(chuàng)新為本
端到端的云計(jì)算解決方案
福建工程學(xué)院的目標(biāo)是搭建一個(gè)支持大數(shù)據(jù)應(yīng)用的云平臺(tái)。福建工程學(xué)院信息科學(xué)與工程學(xué)院副院長(zhǎng)鄒復(fù)民說:“云平臺(tái)會(huì)更加易于管理,可以提高硬件的利用率和可靠性。云計(jì)算更富有彈性,使得CPU、內(nèi)存和整個(gè)處理集群得以即時(shí)擴(kuò)展。我們面臨的挑戰(zhàn)是,要?jiǎng)?chuàng)建一個(gè)既可靠又易于管理的云平臺(tái)?!?/p>
福建工程學(xué)院考慮了眾多廠商的方案。“戴爾的解決方案具有很好的性價(jià)比?!编u復(fù)民介紹說,“經(jīng)過測(cè)試,戴爾的解決方案能夠可靠地支持VMware vCloud Suite軟件,確保云計(jì)算解決方案的穩(wěn)定和高性能?!?/p>
福建工程學(xué)院最終采用了端到端的戴爾整合云平臺(tái),包括服務(wù)器和交換機(jī)。借助戴爾企業(yè)部署服務(wù)團(tuán)隊(duì)的支持,福建工程學(xué)院部署了采用英特爾至強(qiáng)處理器的戴爾 PowerEdge M620刀片式服務(wù)器,每臺(tái)服務(wù)器配置128 GB內(nèi)存,運(yùn)行VMwarevSphere Hypervisor 5.5。這些刀片服務(wù)器和戴爾網(wǎng)絡(luò)MXL10/40GbE交換機(jī)同時(shí)配置在戴爾PowerEdge M1000e模塊化刀片柜內(nèi)。戴爾交換機(jī)可以支持云環(huán)境中每臺(tái)物理服務(wù)器上的大量虛擬機(jī)。借助10/40GbE網(wǎng)絡(luò)進(jìn)行連接,數(shù)據(jù)移動(dòng)得更快。
福建工程學(xué)院一開始就看到了戴爾整合解決方案的優(yōu)勢(shì)。鄒復(fù)民說:“戴爾網(wǎng)絡(luò)MXL交換機(jī)使用10GbE鏈路進(jìn)行連接,性能相當(dāng)出色。選擇戴爾網(wǎng)絡(luò)MXL交換機(jī)的一大好處是,可以減少連接到核心交換機(jī)的接口數(shù)量。MXL交換機(jī)提供了更大的帶寬和更高的可靠性。未來,我們還可以輕而易舉地基于戴爾網(wǎng)絡(luò)MXL交換機(jī)的結(jié)構(gòu)進(jìn)行擴(kuò)展?!?/p>
在存儲(chǔ)方面,福建工程學(xué)院部署了具有數(shù)據(jù)分層功能的、采用英特爾Xeon處理器的戴爾Compellent SC8000存儲(chǔ)陣列,其性能和無縫擴(kuò)展能力可以滿足福建工程學(xué)院的應(yīng)用需求。鄒復(fù)民介紹說:“未來,我們還可以在Compellent SC8000中增加一個(gè)優(yōu)化的閃存層。戴爾Compellent解決方案的靈活性可以滿足我們長(zhǎng)期存儲(chǔ)的需求?!睘榱耸乖苹A(chǔ)架構(gòu)變得更完善,福建工程學(xué)院還部署了采用英特爾至強(qiáng)處理器的戴爾PowerEdgeR730和R720服務(wù)器,用來支撐網(wǎng)站和一個(gè)獨(dú)立的校園信息云計(jì)算平臺(tái)。
實(shí)時(shí)分析交通信息,減少擁堵
如今,福建省政府和居民擁有出行的實(shí)時(shí)數(shù)據(jù),政府部門可以使用這些信息來改善交通管理。福建省大約有12萬輛汽車安裝了GPS裝置,平均每30秒就上傳一次車輛的位置、速度等數(shù)據(jù)。這些數(shù)據(jù)連同主要交通路口的視頻監(jiān)控?cái)?shù)據(jù),源源不斷地進(jìn)入云平臺(tái)。該云平臺(tái)通過研究前一天的數(shù)據(jù)來分析公眾的駕駛模式,比如分析出租車的行程和最受歡迎的路線等。鄒復(fù)民說:“我們通過戴爾端到端云平臺(tái),正在幫助福建省制定其智慧城市的交通策略。這些數(shù)據(jù)展示了人們使用道路的方式,有助于政府制定相應(yīng)的交通政策,從而解決車輛急速增長(zhǎng)的難題。”
云平臺(tái)的數(shù)據(jù)主要通過兩個(gè)計(jì)算集群進(jìn)行分析和處理:其中一個(gè)集群運(yùn)行ApacheSpark開源軟件,是一個(gè)可以對(duì)大型數(shù)據(jù)集群進(jìn)行復(fù)雜分析的計(jì)算框架;另一個(gè)集群則運(yùn)行創(chuàng)建內(nèi)存數(shù)據(jù)池的Pivotal GemFire。兩個(gè)集群均運(yùn)行在云平臺(tái)的虛擬機(jī)上。Apache Spark軟件每天處理大型數(shù)據(jù)集群的信息,ArcGIS軟件管理地理信息數(shù)據(jù)。這些服務(wù)器每30秒便對(duì)海量數(shù)據(jù)流進(jìn)行一次處理。服務(wù)器內(nèi)存數(shù)據(jù)庫(kù)存儲(chǔ)的數(shù)據(jù)不超過10分鐘,一旦超過10分鐘,數(shù)據(jù)便會(huì)被遷移到戴爾Compellent陣列。Compellent陣列的可用容量為83TB,目前已經(jīng)使用了40TB。鄒復(fù)民表示:“校園網(wǎng)中的大多數(shù)應(yīng)用程序已經(jīng)遷移到云平臺(tái)上。學(xué)校只剩下幾臺(tái)物理服務(wù)器,主要運(yùn)行Oracle數(shù)庫(kù)?!?/p>
更好地支持智慧城市建設(shè)
關(guān)鍵詞:經(jīng)營(yíng)分析;數(shù)據(jù)倉(cāng)庫(kù);大數(shù)據(jù);云計(jì)算
中圖分類號(hào):TP311.13
1 研究背景和意義
隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來,三大運(yùn)營(yíng)商的業(yè)務(wù)重點(diǎn)正在從話音、數(shù)據(jù)業(yè)務(wù)向互聯(lián)網(wǎng)業(yè)務(wù)轉(zhuǎn)變。這種轉(zhuǎn)變將對(duì)經(jīng)營(yíng)分析系統(tǒng)帶來迫切的需求。一方面,日益嚴(yán)峻的競(jìng)爭(zhēng)環(huán)境要求經(jīng)營(yíng)分析系統(tǒng)分析粒度更加細(xì)化,為前臺(tái)客戶發(fā)展、客戶保留提供更為細(xì)致的分析結(jié)果;另一方面,隨著業(yè)務(wù)模式的轉(zhuǎn)變,海量的互聯(lián)網(wǎng)數(shù)據(jù)需要納入分析范圍,這兩方面的因素決定了未來幾年經(jīng)營(yíng)分析系統(tǒng)的規(guī)模和處理性能將超常規(guī)發(fā)展。因此,經(jīng)營(yíng)分析系統(tǒng)傳統(tǒng)的高端小型機(jī)+磁盤陣列的建設(shè)模式已難以適應(yīng)移動(dòng)互聯(lián)網(wǎng)時(shí)代企業(yè)發(fā)展的要求,亟需尋找低成本、高性能的演進(jìn)方案。
2 云計(jì)算與大數(shù)據(jù)
自Google提出云計(jì)算概念以來,已使得IT行業(yè)發(fā)生了巨變。最近一年來,大數(shù)據(jù)概念迅速興起。大數(shù)據(jù)的興起說明數(shù)據(jù)已成為重要的資產(chǎn),誰擁有更多數(shù)據(jù)、更善于使用數(shù)據(jù),就能吸引用戶、產(chǎn)生價(jià)值,在未來IT行業(yè)發(fā)展中占據(jù)競(jìng)爭(zhēng)的主動(dòng)。
大數(shù)據(jù)技術(shù)與云計(jì)算的發(fā)展密切相關(guān),大數(shù)據(jù)技術(shù)是云計(jì)算技術(shù)的延伸。大數(shù)據(jù)技術(shù)涵蓋了從數(shù)據(jù)的海量存儲(chǔ)、處理到應(yīng)用多方面的技術(shù),包括海量分布式文件系統(tǒng)、并行計(jì)算框架、NoSQL數(shù)據(jù)庫(kù)、實(shí)時(shí)流數(shù)據(jù)處理以及智能分析技術(shù)等。云計(jì)算為大數(shù)據(jù)提供了發(fā)展的可能,大數(shù)據(jù)是云計(jì)算絕佳的業(yè)務(wù)領(lǐng)域。
大數(shù)據(jù)技術(shù)為運(yùn)營(yíng)商帶來絕佳的轉(zhuǎn)型機(jī)會(huì)。除應(yīng)用于傳統(tǒng)企業(yè)運(yùn)營(yíng)管理分析外(如戰(zhàn)略分析、競(jìng)爭(zhēng)分析、運(yùn)營(yíng)分析、流量經(jīng)營(yíng)分析、網(wǎng)絡(luò)管理維護(hù)優(yōu)化、營(yíng)銷分析),還可利用積累的數(shù)據(jù),為用戶提供內(nèi)容服務(wù),例如根據(jù)對(duì)用戶上網(wǎng)行為的分析,為用戶推薦應(yīng)用商店軟件、IPTV視頻節(jié)目等。因此三大運(yùn)營(yíng)商應(yīng)抓住機(jī)會(huì),發(fā)力完善擴(kuò)充運(yùn)營(yíng)分析系統(tǒng),盤活龐大的數(shù)據(jù)資產(chǎn),拓展業(yè)務(wù)領(lǐng)域。而這種轉(zhuǎn)型,需要現(xiàn)有的數(shù)據(jù)倉(cāng)庫(kù)向云計(jì)算架構(gòu)演進(jìn)。
而就技術(shù)來說,目前應(yīng)用與大數(shù)據(jù)領(lǐng)域的云計(jì)算技術(shù)主要包括MPP(大規(guī)模并行處理)數(shù)據(jù)庫(kù)與Hadoop技術(shù)。
3 云計(jì)算MPP數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵技術(shù)分析
隨著大數(shù)據(jù)時(shí)代的到來,傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)已無法滿足性能和成本兩方面的挑戰(zhàn)。而廉價(jià)的x86設(shè)備通過分布式并行處理軟件集群實(shí)現(xiàn)了低成本、高性能的解決方案。雖然傳統(tǒng)交易型數(shù)據(jù)庫(kù)在向x86云平臺(tái)遷移過程中仍有許多問題難以解決,但在分析型數(shù)據(jù)領(lǐng)域,由于其數(shù)據(jù)操作多為連續(xù)讀寫,業(yè)界已有較多x86云計(jì)算MPP數(shù)據(jù)庫(kù)解決方案,構(gòu)建價(jià)格低廉的基于x86平臺(tái)的云數(shù)據(jù)倉(cāng)庫(kù)已成為現(xiàn)實(shí)。MPP云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵技術(shù)如下所述。
3.1 數(shù)據(jù)庫(kù)SharedNothing集群架構(gòu)
面對(duì)大數(shù)據(jù)量的處理,MPP是數(shù)據(jù)倉(cāng)庫(kù)的必然演進(jìn)方向。并行數(shù)據(jù)庫(kù)架構(gòu)方式主要包括SharedDisk和SharedNothing兩種。
SharedDisk架構(gòu)指數(shù)據(jù)庫(kù)集群中每一個(gè)CPU使用自己的私有內(nèi)存區(qū)域,通過內(nèi)部通訊機(jī)制直接訪問所有磁盤系統(tǒng)。其主要特點(diǎn)為高并發(fā)、高可用性。但其存在資源爭(zhēng)用問題,當(dāng)為大數(shù)據(jù)量處理增加更多的CPU時(shí),因?yàn)樵黾恿藢?duì)內(nèi)存訪問和網(wǎng)絡(luò)帶寬的競(jìng)爭(zhēng),系統(tǒng)反而有可能減慢。
而在SharedNothing集群中,每一個(gè)CPU都有私有內(nèi)存區(qū)域和私有磁盤空間,而且2個(gè)CPU不能訪問相同磁盤空間,CPU之間的通訊通過網(wǎng)絡(luò)連接。其主要特點(diǎn)為,支持大數(shù)據(jù)量處理高并行、低并發(fā)、低可用性。當(dāng)事務(wù)數(shù)量不斷增加時(shí),SharedNothing體系可通過增加額外的CPU和內(nèi)存來數(shù)據(jù)庫(kù)穩(wěn)定增長(zhǎng),從而可以保證每個(gè)事務(wù)處理時(shí)間不變。同時(shí),SharedNothing在運(yùn)行過程中降低了競(jìng)爭(zhēng)資源的等待時(shí)間,從而提高了性能。
就其適用場(chǎng)景而言,當(dāng)應(yīng)用代碼量很大、相關(guān)數(shù)據(jù)量比較小時(shí),SharedDisk更加適合這種典型的OLTP應(yīng)用;如計(jì)費(fèi)系統(tǒng)。而當(dāng)相關(guān)數(shù)據(jù)量很大、而應(yīng)用代碼并發(fā)量很小時(shí),由于SharedNothing架構(gòu)可將單一大任務(wù)分解為多個(gè)小任務(wù)、同時(shí)在多個(gè)節(jié)點(diǎn)處理,通過并行縮短任務(wù)處理時(shí)間,從而大大提升系統(tǒng)性能。因此SharedNothing架構(gòu)是云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)的必然選擇。
3.2 列式數(shù)據(jù)庫(kù)
列式數(shù)據(jù)庫(kù)是以列相關(guān)存儲(chǔ)架構(gòu)進(jìn)行數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù),主要適合于批量數(shù)據(jù)處理和即席查詢。相對(duì)應(yīng)的是行式數(shù)據(jù)庫(kù),數(shù)據(jù)以行相關(guān)的存儲(chǔ)體系架構(gòu)進(jìn)行空間分配,主要適合小批量的數(shù)據(jù)處理,常用于聯(lián)機(jī)事務(wù)型數(shù)據(jù)處理。
列數(shù)據(jù)庫(kù)在數(shù)據(jù)倉(cāng)庫(kù)、商務(wù)智能領(lǐng)域應(yīng)用中有著先天的優(yōu)勢(shì):獨(dú)特的存儲(chǔ)方式,能夠迅速的執(zhí)行復(fù)雜查詢;列數(shù)據(jù)庫(kù)的壓縮技術(shù),更是能為數(shù)據(jù)倉(cāng)庫(kù)、商務(wù)智能應(yīng)用中巨大的數(shù)據(jù)量節(jié)約存儲(chǔ)成本;列數(shù)據(jù)庫(kù)先進(jìn)的索引技術(shù)也大大提高了數(shù)據(jù)庫(kù)的管理,其優(yōu)勢(shì)詳見下表,可見列式數(shù)據(jù)庫(kù)是云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)的不二選擇。
4 運(yùn)營(yíng)商經(jīng)營(yíng)分析系統(tǒng)演進(jìn)方式探討
如前所述,隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展,三大運(yùn)營(yíng)商如想在競(jìng)爭(zhēng)中占據(jù)鰲頭,則其經(jīng)營(yíng)分析系統(tǒng)應(yīng)快速跟進(jìn),提升性能、擴(kuò)大容量,抓住行業(yè)變革的機(jī)遇,采用云計(jì)算技術(shù)構(gòu)建海量數(shù)據(jù)分析平臺(tái),實(shí)現(xiàn)數(shù)據(jù)的價(jià)值化。因此,經(jīng)營(yíng)分析系統(tǒng)應(yīng)在近期快速搭建企業(yè)統(tǒng)一云計(jì)算分析平臺(tái)。
就平臺(tái)搭建方式而言,可采用MPP數(shù)據(jù)庫(kù)與Hadoop技術(shù)結(jié)合的方式。MPP數(shù)據(jù)庫(kù)用于處理結(jié)構(gòu)化數(shù)據(jù)和大批量分析任務(wù),實(shí)現(xiàn)對(duì)經(jīng)營(yíng)分析系統(tǒng)核心數(shù)據(jù)倉(cāng)庫(kù)的接管和替代;而Hadoop適合處理非結(jié)構(gòu)化數(shù)據(jù)與NoSQL數(shù)據(jù),適應(yīng)小粒度高并發(fā)數(shù)據(jù)處理場(chǎng)景,應(yīng)用于ETL等子系統(tǒng),與云計(jì)算MPP數(shù)據(jù)倉(cāng)庫(kù)形成互補(bǔ),充分提升數(shù)據(jù)倉(cāng)庫(kù)的處理能力。
4.1 MPP數(shù)據(jù)庫(kù)建設(shè)方式建議
從業(yè)界主流的兩種云數(shù)據(jù)倉(cāng)庫(kù)技術(shù)路線來看,一體機(jī)方案雖然性能較高,但其無法支持在線平滑擴(kuò)展,在業(yè)務(wù)靈活性方面受限;且其硬件為專有硬件,容易形成對(duì)特定廠家的綁定;產(chǎn)品價(jià)格普遍較高,較傳統(tǒng)建設(shè)方式優(yōu)勢(shì)不明顯,隨著未來數(shù)據(jù)量的激增,必將對(duì)企業(yè)產(chǎn)生較大的成本壓力。
而軟件數(shù)據(jù)庫(kù)管理系統(tǒng)技術(shù)路線則在靈活性方面占據(jù)優(yōu)勢(shì),可隨著未來業(yè)務(wù)的變化在線擴(kuò)展系統(tǒng);其硬件支持標(biāo)準(zhǔn)x86設(shè)備,未來建設(shè)選型空間較大,系統(tǒng)總體投資較低;在未來使用大云HugeTable時(shí),標(biāo)準(zhǔn)的x86硬件也可平滑利舊。因此,運(yùn)營(yíng)商應(yīng)盡早引入基于軟件數(shù)據(jù)庫(kù)管理系統(tǒng)的云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品,一方面降低系統(tǒng)建設(shè)成本,另一方面通過系統(tǒng)遷移部署及早積累經(jīng)驗(yàn),規(guī)范應(yīng)用軟件,為未來全面轉(zhuǎn)向云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)做好準(zhǔn)備。
4.2 落地實(shí)施建議原則
由于云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)技術(shù)較為前沿,在通信行業(yè)落地案例極少,缺乏可借鑒的建設(shè)經(jīng)驗(yàn);而經(jīng)營(yíng)分析系統(tǒng)已逐漸由后臺(tái)決策支持系統(tǒng)轉(zhuǎn)變?yōu)橹吻芭_(tái)業(yè)務(wù)發(fā)展的生產(chǎn)系統(tǒng),出于保證系統(tǒng)穩(wěn)定性考慮,在從現(xiàn)有經(jīng)營(yíng)分析系統(tǒng)向云平臺(tái)遷移時(shí),應(yīng)審慎、分階段實(shí)施。
另一方面,現(xiàn)有經(jīng)分系統(tǒng)運(yùn)行壓力已非常大,新業(yè)務(wù)需求層出不窮,系統(tǒng)能力擴(kuò)容迫在眉睫。結(jié)合兩方面考慮,云計(jì)算數(shù)據(jù)倉(cāng)庫(kù)落地建議以“分流減壓、可用驗(yàn)證、漸次替換”分步實(shí)施方式進(jìn)行。
5 結(jié)束語
云計(jì)算技術(shù)在大數(shù)據(jù)處理方面已具備較好的實(shí)踐基礎(chǔ),可滿足運(yùn)營(yíng)商經(jīng)營(yíng)分析系統(tǒng)低成本、高性能建設(shè)的需求,及早探索云數(shù)據(jù)倉(cāng)庫(kù)的建設(shè),近期將有助于其在移動(dòng)互聯(lián)網(wǎng)時(shí)代占據(jù)競(jìng)爭(zhēng)優(yōu)勢(shì)。遠(yuǎn)期則可以在經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)上,搭建大數(shù)據(jù)分析平臺(tái),通過自己采集、第三方提供等方式匯聚數(shù)據(jù),并對(duì)數(shù)據(jù)進(jìn)行分析,滿足在線廣告、電子商務(wù)等行業(yè)的數(shù)據(jù)分析需求。
參考文獻(xiàn):
目前,客戶正在迅速部署分析應(yīng)用來提高業(yè)務(wù)洞察力,并將ERP、分析和數(shù)據(jù)庫(kù)等關(guān)鍵工作負(fù)載向云計(jì)算平臺(tái)遷移,而x86系統(tǒng)是許多企業(yè)的第一選擇。X6 架構(gòu)對(duì)于內(nèi)存需求較大的應(yīng)用來說,能夠提供三倍的可擴(kuò)展內(nèi)存容量(與其他x86系統(tǒng)相比),以支持云計(jì)算和大數(shù)據(jù)分析。新一代X6 架構(gòu)具備以下特性:
X6采用 eXFlash 內(nèi)存通道存儲(chǔ)。這種存儲(chǔ)安裝在非常靠近CPU的內(nèi)存插槽上,能夠提供 12.8 TB的極速閃存容量,從而縮短延遲,提高以大數(shù)據(jù)分析為代表的應(yīng)用性能。X6 可縮短數(shù)據(jù)庫(kù)操作的延遲時(shí)間,還可以通過減少或取消所需的外部 SAN/NAS 存儲(chǔ)單元而減少存儲(chǔ)成本;
X6采用模塊化、可擴(kuò)展的設(shè)計(jì),是能夠支持多代 CPU的x86架構(gòu),可以降低采購(gòu)成本。X6 具有適應(yīng)未來技術(shù)發(fā)展的穩(wěn)定性和靈活性,用戶可基于當(dāng)前系統(tǒng)進(jìn)行靈活擴(kuò)展,并在日后進(jìn)行升級(jí),快速裝機(jī)和配置模式能夠簡(jiǎn)化部署和生命周期管理。
X6能夠幫助客戶把基于云的交付模式擴(kuò)展到關(guān)鍵業(yè)務(wù)領(lǐng)域。X6的內(nèi)存和存儲(chǔ)特性能夠提高虛擬機(jī)性能,支持應(yīng)用的SaaS交付。具備自主自愈功能的 CPU 和內(nèi)存系統(tǒng)能夠主動(dòng)識(shí)別潛在故障并采取修復(fù)措施,旨在保證應(yīng)用正常運(yùn)行時(shí)間。此外,向上集成的模塊設(shè)計(jì)便于系統(tǒng)管理員利用虛擬化工具執(zhí)行管理任務(wù),從而降低系統(tǒng)管理成本和復(fù)雜性。
湖北聯(lián)通IT系統(tǒng)的演進(jìn)就頗有代表性。湖北聯(lián)通的核心BSS系統(tǒng)從聯(lián)通創(chuàng)建至今一直沿襲著傳統(tǒng)的架構(gòu)模式:Unix小機(jī)加高端存儲(chǔ)陣列。為了滿足業(yè)務(wù)增長(zhǎng)需求每年不斷地?cái)U(kuò)容改造,但在當(dāng)前架構(gòu)下的擴(kuò)容總是屬于被動(dòng)地滿足應(yīng)用升級(jí)的需求,即便如此,依然會(huì)在高峰時(shí)感覺緊張。
在云計(jì)算浪潮襲來,湖北聯(lián)通注意到云計(jì)算的優(yōu)勢(shì)開始嘗新求變。湖北聯(lián)通從2010年開始探索云架構(gòu),去年上半年基本完成了對(duì)整體系統(tǒng)平臺(tái)和應(yīng)用進(jìn)行了充分改造,初步構(gòu)建了基于IaaS架構(gòu)的BSS核心系統(tǒng)。同時(shí),湖北聯(lián)通還做了一個(gè)大膽嘗試,基于x86服務(wù)器加開源kvm構(gòu)建資源池來支持其Web業(yè)務(wù)。
湖北聯(lián)通的這段經(jīng)歷其實(shí)江西電信也經(jīng)歷過。作為中國(guó)電信最早進(jìn)行云計(jì)算項(xiàng)目試點(diǎn)之一,江西電信在更早些時(shí)候就已經(jīng)建起了一個(gè)有2臺(tái)大型主機(jī)、數(shù)十臺(tái)x86服務(wù)器構(gòu)成的IaaS云,在這個(gè)云平臺(tái)上,江西電信建起了橫跨三個(gè)數(shù)據(jù)中心的兩朵云(即公共云和業(yè)務(wù)云)。
江西電信云計(jì)算項(xiàng)目主要負(fù)責(zé)人柳立峰博士告訴本報(bào)記者,其嘗試云計(jì)算的一個(gè)目的,解決服務(wù)器和存儲(chǔ)設(shè)備利用率低的問題,提高IT系統(tǒng)靈活性,另一個(gè)更長(zhǎng)遠(yuǎn)的目的是為電信企業(yè)找到新的“錢途”。“比如,手機(jī)搜索、計(jì)算資源出租以及一些智能化應(yīng)用等新業(yè)務(wù)形式都需要云計(jì)算平臺(tái)來支撐。”他說。
江西電信和湖北聯(lián)通商在IT建設(shè)上的這些變化正是整個(gè)電信運(yùn)營(yíng)IT變化的一個(gè)縮影。近年來,云計(jì)算以及以通用服務(wù)器取代傳統(tǒng)高端小機(jī)成為很多電信運(yùn)營(yíng)商和大型企業(yè)非常關(guān)注的話題,而敏感的IT廠商顯然已經(jīng)注意到這種變化,推出了自己對(duì)應(yīng)的服務(wù)和解決方案。
“今年1月份,我們了Symantec 4.0戰(zhàn)略,其核心之一是我們會(huì)把自己的技術(shù)重新整合來去推動(dòng)整個(gè)的IT架構(gòu)的變革,即推動(dòng)IT行業(yè)從傳統(tǒng)的IT架構(gòu)向云計(jì)算、移動(dòng)化等新的IT架構(gòu)遷移?!辟愰T鐵克大中華區(qū)技術(shù)支持部總監(jiān)李剛告訴計(jì)算機(jī)世界記者。
很顯然,在移動(dòng)化、大數(shù)據(jù)、云計(jì)算等新技術(shù)的推動(dòng)下,IT行業(yè)向一個(gè)全新的架構(gòu)演變:移動(dòng)終端成為用戶訪問企業(yè)信息重要的信息入口,改變了很多新的業(yè)務(wù)模式,直接推動(dòng)IT系統(tǒng)的變化;大數(shù)據(jù)系統(tǒng)的出現(xiàn)使得原來的架構(gòu)成本太高、靈活性不夠的弱點(diǎn)越來越明顯。在這種背景之下,人們開始探索新的解決方案,而像x86服務(wù)器、通用的存儲(chǔ)設(shè)備等通用硬件和開源軟件由于成本優(yōu)勢(shì),也開始進(jìn)入規(guī)劃者的視野。
今年年初,EMC重新調(diào)整了管理團(tuán)隊(duì),任命了一位新的全球CIO Vic Bhagat,而原來的CIO Sanjay Mirchandani則被調(diào)到EMC新成立的公司Pivotal Initiativ,同時(shí)繼續(xù)支持EMC快速增長(zhǎng)市場(chǎng)。有趣的是,Vic Bhagat來自通用電氣并在那里工作了20多年的時(shí)間,而通用電氣正是Pivotal的股東之一。
對(duì)于EMC這樣靠云計(jì)算與虛擬化解決方案每年收入上百億美元的公司來說,它的全球CIO從來都不僅僅負(fù)責(zé)傳統(tǒng)CIO的工作。作為新CIO,Bhagat同時(shí)還是企業(yè)服務(wù)業(yè)務(wù)執(zhí)行副總裁,其職責(zé)涉及EMC的信息技術(shù)、全球卓越中心、全球企業(yè)服務(wù)(GBS)以及間接采購(gòu)組織。
“如果要把這四個(gè)層面的工作按照關(guān)注度進(jìn)行排序的話,我首要關(guān)注的肯定是全球卓越研發(fā)中心,通過對(duì)組織架構(gòu)的重新調(diào)整,讓全球研發(fā)中心變得真正全球化,能夠?qū)WMC的核心研發(fā);其次是EMC的內(nèi)部IT架構(gòu),讓現(xiàn)有架構(gòu)跟上新的技術(shù)浪潮,并且成為EMC最新技術(shù)優(yōu)秀樣板;第三個(gè)是全球客戶服務(wù),第四是采購(gòu)。”Bhagat強(qiáng)調(diào),在這四項(xiàng)工作當(dāng)中,重要的是找到其中重復(fù)或者效率不高的地方加以優(yōu)化和自動(dòng)化,提高整個(gè)組織架構(gòu)的效率。
以EMC全球研發(fā)體系為例。Bhagat認(rèn)為過去每個(gè)研發(fā)中心從某個(gè)角度講都各自為戰(zhàn),也存在著一定的競(jìng)爭(zhēng)關(guān)系。這半年來他聽到不少業(yè)務(wù)開發(fā)部門強(qiáng)調(diào)“我主要是跟中國(guó)合作”、“我主要是跟以色列合作”或者“我主要是跟印度合作”之類的話。
“當(dāng)然,這種模式也還可以?!盉hagat停頓了一下說,“但這樣會(huì)影響EMC真正從全球?qū)用婵创约旱难邪l(fā)體系――每個(gè)國(guó)家研發(fā)中心的知識(shí)產(chǎn)權(quán)以及他們的核心技術(shù)。所以我將把EMC所有的研發(fā)中心塑造成一個(gè)整體團(tuán)隊(duì)進(jìn)行合作,讓所有EMC的業(yè)務(wù)部門、開發(fā)部門和整體的卓越研發(fā)中心,形成一個(gè)長(zhǎng)期、良好的模式?!?/p>
說到EMC的四大卓越研發(fā)體系――中國(guó)、愛爾蘭、以色列和印度,總會(huì)提到每個(gè)國(guó)家研發(fā)團(tuán)隊(duì)獨(dú)特的價(jià)值和特性,而針對(duì)每個(gè)團(tuán)隊(duì)的工作特點(diǎn)給他們布置不一樣的工作。如今,Bhagat更強(qiáng)調(diào)的研發(fā)體系的全球性工作網(wǎng)絡(luò),“除了原來主要關(guān)注的國(guó)家之外,讓不同的研發(fā)中心之間也能互相進(jìn)行支持與合作。這更多的是一個(gè)合作的平臺(tái),而不是競(jìng)爭(zhēng)的平臺(tái)。”
Bhagat認(rèn)為自己在四個(gè)領(lǐng)域都接收了非常優(yōu)秀的團(tuán)隊(duì),但挑戰(zhàn)主要來自于人才。“我希望在我周圍都是一些比我更聰明、更優(yōu)秀的人才,只有這樣,才能把我的工作做得更好。但是怎么去找到這些聰明又優(yōu)秀的人才,對(duì)我來講還真是一個(gè)非常大的挑戰(zhàn)?!盉hagat認(rèn)為工作當(dāng)中的熱情很重要,“如果員工真的很有激情,對(duì)公司的各種戰(zhàn)略方向都很認(rèn)同的話,不僅會(huì)給管理層帶來很大信心,客戶和整個(gè)市場(chǎng)對(duì)公司的信心也會(huì)大增。我最愿意跟團(tuán)隊(duì)講的一句話就是――當(dāng)你每天早上醒來的時(shí)候,應(yīng)該感到非常興奮地去工作,因?yàn)槟阒烂刻旄阋黄鸸ぷ鞯娜硕际且粯勇斆?、熱情的一群人。?/p>
過去幾年,EMC原有的基礎(chǔ)架構(gòu)在云計(jì)算以及虛擬化方面得到了很大的提高,包括以服務(wù)的方式提高IT的價(jià)值,對(duì)整個(gè)IT架構(gòu)進(jìn)行虛擬化,以及將分布在世界各地的數(shù)據(jù)中心進(jìn)行整合以提高效率。比如,EMC公司內(nèi)部是EMC私有云產(chǎn)品的第一個(gè)用戶,在自己公司獲得成功后,EMC也將這些經(jīng)驗(yàn)和產(chǎn)品推廣到全球客戶?!霸谕ㄓ秒姎猓易鳛镃IO更多是做后臺(tái)的工作――提供應(yīng)用、IT架構(gòu)、支持業(yè)務(wù)系統(tǒng),更多是公司內(nèi)部層面上。但在EMC,CIO有兩個(gè)很重要的職責(zé),除了保證整個(gè)公司內(nèi)部的IT基礎(chǔ)架構(gòu)能夠滿足業(yè)務(wù)的需求外,還要在外面真正面對(duì)客戶,讓客戶了解EMC的產(chǎn)品,我們自己是怎么使用自己的產(chǎn)品的?!?/p>
對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ),除了考慮易用性、性能和安全因素以外,還要考慮與智能挖掘相關(guān)技術(shù)相結(jié)合。
大數(shù)據(jù)要求用戶不僅要對(duì)傳統(tǒng)商業(yè)智能軟件進(jìn)行改造,還要對(duì)企業(yè)已有的業(yè)務(wù)系統(tǒng)基礎(chǔ)架構(gòu)進(jìn)行改造。
大數(shù)據(jù)面臨的最大挑戰(zhàn)是大規(guī)模、實(shí)時(shí)的關(guān)聯(lián)性分析。對(duì)于存儲(chǔ)來說,高吞吐、低延遲的要求會(huì)越來越高,內(nèi)存、閃存的重要性也會(huì)越來越高。
中國(guó)石油研究院總工程師賴能和表示:“我們擁有9萬個(gè)CPU、25PB存儲(chǔ)。在油氣勘探數(shù)據(jù)處理方面,我們面臨的主要挑戰(zhàn)是數(shù)據(jù)量和計(jì)算量非常大,數(shù)據(jù)來源單一,處理流程非常復(fù)雜,單個(gè)文件的容量就達(dá)100TB。我們對(duì)存儲(chǔ)的投資已超過了服務(wù)器?!?/p>
中國(guó)的大數(shù)據(jù)應(yīng)用已經(jīng)起步。記者采訪了金融、互聯(lián)網(wǎng)、教育、制造等行業(yè)的一些敢于“吃螃蟹”的用戶。
精準(zhǔn)營(yíng)銷效果佳
大數(shù)據(jù)最先從互聯(lián)網(wǎng)行業(yè)興起,互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)應(yīng)用方面的一些成功經(jīng)驗(yàn)值得其他行業(yè)借鑒。以攜程旅行網(wǎng)(CTRIP)為例,它的大數(shù)據(jù)應(yīng)用目前正處于快速發(fā)展階段,已經(jīng)在很多方面進(jìn)行了有益嘗試,包括細(xì)化網(wǎng)站平臺(tái)的流程,優(yōu)化業(yè)務(wù)運(yùn)營(yíng),支持業(yè)務(wù)成長(zhǎng)的決策,解決部分傳統(tǒng)方法難以解決的具體問題。攜程旅行網(wǎng)高級(jí)副總裁、研發(fā)中心總經(jīng)理葉亞明(Eric Ye)給記者舉了兩個(gè)例子:在飯店推薦和航班查詢方面,攜程就利用其數(shù)據(jù)精細(xì)化工具來計(jì)算業(yè)務(wù)的投資回報(bào)率(ROI);攜程還通過機(jī)器學(xué)習(xí)的方法識(shí)別用戶,進(jìn)一步改善針對(duì)用戶的推薦結(jié)果,解決“查詢不到匹配酒店”等難題。
利用大數(shù)據(jù)為企業(yè)決策提供支持或者實(shí)現(xiàn)精準(zhǔn)營(yíng)銷是企業(yè)中常見的大數(shù)據(jù)應(yīng)用。東方航空公司就是一例,它開展大數(shù)據(jù)研究和應(yīng)用已經(jīng)有很長(zhǎng)時(shí)間,并且采購(gòu)了大數(shù)據(jù)一體機(jī)專門解決大數(shù)據(jù)的相關(guān)問題。目前,東方航空公司的大數(shù)據(jù)應(yīng)用主要集中在營(yíng)銷業(yè)務(wù)領(lǐng)域,包括渠道分析、航線分析、航班后期走勢(shì)分析、航線上客速度分析等。在東方航空公司,大數(shù)據(jù)處理和分析的益處顯而易見,它能提供更準(zhǔn)確、更實(shí)用、更全面的數(shù)據(jù)分析和展現(xiàn),形成統(tǒng)一的營(yíng)銷數(shù)據(jù)分析門戶,更好地為東方航空公司營(yíng)銷的各個(gè)環(huán)節(jié)提供決策支持,使精準(zhǔn)營(yíng)銷成為可能。
中國(guó)傳媒大學(xué)高性能計(jì)算中心主任魯永泉博士和他的團(tuán)隊(duì)近年來一直致力于打造中國(guó)首個(gè)動(dòng)漫產(chǎn)業(yè)的云平臺(tái),并且已經(jīng)了VSO虛擬工作室平臺(tái)。此平臺(tái)集虛擬工作室、動(dòng)漫渲染、在線交易等眾多功能于一身,是真正能夠落地的動(dòng)漫云平臺(tái)。據(jù)魯永泉介紹,他們已經(jīng)將大數(shù)據(jù)用于動(dòng)漫云平臺(tái),平臺(tái)的主要功能是對(duì)動(dòng)漫云的用戶行為進(jìn)行分析,為運(yùn)營(yíng)人員制定更加精確的營(yíng)銷和服務(wù)策略提供支持。
追求高性價(jià)比
為滿足大數(shù)據(jù)的應(yīng)用需求,存儲(chǔ)平臺(tái)究竟應(yīng)該如何搭建呢?不同行業(yè)的用戶針對(duì)不同應(yīng)用會(huì)進(jìn)行不同的搭配。攜程已經(jīng)建立了一個(gè)具有一定規(guī)模的Hadoop集群,其大數(shù)據(jù)應(yīng)用就基于此集群?!盀檫@個(gè)集群選擇相應(yīng)的存儲(chǔ)方案時(shí),我們綜合考慮了I/O吞吐性能、性價(jià)比、計(jì)算密集型還是存儲(chǔ)密集應(yīng)用型等諸多因素。”葉亞明介紹說,“目前,我們標(biāo)準(zhǔn)的存儲(chǔ)配置是基于SATA硬盤,配合JBOD、數(shù)據(jù)傾斜調(diào)整、機(jī)架感知等可靠技術(shù)的應(yīng)用,實(shí)現(xiàn)存儲(chǔ)和計(jì)算的優(yōu)化。面對(duì)一些特殊應(yīng)用,我們還會(huì)采用不同的內(nèi)存存儲(chǔ),如HBase節(jié)點(diǎn)中的內(nèi)存比例會(huì)稍高,而Hive/PIG等節(jié)點(diǎn)中的內(nèi)存比例則有所調(diào)整。”
東方航空公司對(duì)于大數(shù)據(jù)存儲(chǔ)的要求很明確,不僅要性能卓越,可擴(kuò)展性強(qiáng),還要實(shí)現(xiàn)安全保護(hù),能夠?qū)崟r(shí)響應(yīng),實(shí)現(xiàn)負(fù)載均衡等。東方航空公司下一步將考慮引入對(duì)非結(jié)構(gòu)化數(shù)據(jù)的處理。針對(duì)非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ),東方航空公司除了會(huì)考慮易用性、性能和安全性等因素以外,對(duì)于與智能挖掘相關(guān)的技術(shù)也十分關(guān)注。東方航空公司選擇大數(shù)據(jù)解決方案秉承的原則是:業(yè)務(wù)驅(qū)動(dòng),信息技術(shù)引領(lǐng),追求更高性價(jià)比。
目前,南華期貨股份有限公司在大數(shù)據(jù)方面的應(yīng)用還不夠深入,但數(shù)據(jù)的采集和積累是其一直堅(jiān)持在做的重要工作。南華期貨積累的數(shù)據(jù)主要包括兩年以上的全市場(chǎng)逐筆Tick行情數(shù)據(jù)、近10年的主力合約分鐘數(shù)據(jù)、全部客戶的交易和結(jié)算數(shù)據(jù)、詳細(xì)的網(wǎng)絡(luò)訪問日志等?!拔覀兊拇髷?shù)據(jù)應(yīng)用主要集中在針對(duì)高端客戶的數(shù)據(jù)服務(wù)和有針對(duì)性的交易指導(dǎo)方面。接下來,我們還會(huì)依托實(shí)時(shí)交易數(shù)據(jù)分析,向客戶推送有針對(duì)性的咨詢服務(wù)等?!蹦先A期貨股份有限公司總經(jīng)理助理顧松表示。
談到大數(shù)據(jù)對(duì)存儲(chǔ)的需求,顧松表示,核心需求主要體現(xiàn)在容量、可靠性和速度三方面。針對(duì)不同的應(yīng)用,上述三個(gè)需求重要性的排序也會(huì)有所變化:比如在逐筆Tick行情數(shù)據(jù)處理中,重要性的排序是可靠性、容量、速度;在網(wǎng)絡(luò)訪問日志中,重要性的排序?yàn)槿萘俊⑺俣?、可靠性。顧松特意?qiáng)調(diào)了存儲(chǔ)可擴(kuò)展的重要性:“當(dāng)前,我們?yōu)槊總€(gè)應(yīng)用都估算了具有一定冗余的存儲(chǔ)容量,所以可擴(kuò)展性的重要性并沒有凸顯出來。不過隨著應(yīng)用的發(fā)展和后續(xù)數(shù)據(jù)遷移、備份需求的增加,存儲(chǔ)的可擴(kuò)展性和重復(fù)數(shù)據(jù)刪除等技術(shù)就會(huì)顯得更加重要和必要?!?/p>
長(zhǎng)安汽車股份有限公司副總裁馬軍最想找的是懂算法的人,希望依靠更先進(jìn)的算法實(shí)現(xiàn)數(shù)據(jù)的自動(dòng)抽取,從而提升數(shù)據(jù)采集和分析的效率。他認(rèn)為,公司現(xiàn)有的存儲(chǔ)平臺(tái)不會(huì)成為瓶頸。
魯永泉也表示,其動(dòng)漫云平臺(tái)對(duì)存儲(chǔ)沒有特別的要求:“大數(shù)據(jù)意味著大存儲(chǔ),而能夠滿足大數(shù)據(jù)需求的存儲(chǔ),比如HDFS等的設(shè)計(jì)理念不再?gòu)?qiáng)調(diào)單個(gè)存儲(chǔ)的可靠性,而是強(qiáng)調(diào)利用建立副本等軟件的方式來確保數(shù)據(jù)的安全。至于性能方面,大型分布式系統(tǒng)的單個(gè)存儲(chǔ)節(jié)點(diǎn)的性能高一點(diǎn)固然很好,但其實(shí)對(duì)整體性能的影響不大,反而需要在網(wǎng)絡(luò)優(yōu)化方面多下些功夫。”
容量、性能同步擴(kuò)
華為跨界到IT領(lǐng)域,其重要的資本就是在網(wǎng)絡(luò)領(lǐng)域多年積累的自主研發(fā)能力和過硬的產(chǎn)品品質(zhì),而華為最擅長(zhǎng)的無阻塞交換網(wǎng)絡(luò)技術(shù)也讓華為在服務(wù)器、存儲(chǔ)和大數(shù)據(jù)解決方案的開發(fā)中顯得游刃有余且特色鮮明。華為OceanStor 9000大數(shù)據(jù)存儲(chǔ)系統(tǒng)在標(biāo)準(zhǔn)性能評(píng)估機(jī)構(gòu)SPEC的SPECsfs2008基準(zhǔn)測(cè)試中再次刷新記錄,其性能領(lǐng)先友商產(chǎn)品3倍多。參與測(cè)試的華為OceanStor 9000的配置為100個(gè)節(jié)點(diǎn),在NFS網(wǎng)絡(luò)共享協(xié)議環(huán)境下的性能達(dá)到5030264 IOPS,位居業(yè)界第一。同時(shí),OceanStor 9000的橫向擴(kuò)展架構(gòu)保證了系統(tǒng)的線性擴(kuò)展能力,在不中斷業(yè)務(wù)的情況下,每增加一個(gè)新節(jié)點(diǎn),容量和性能即可線性增長(zhǎng)。
級(jí)別:統(tǒng)計(jì)源期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)
級(jí)別:省級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:部級(jí)期刊
榮譽(yù):中國(guó)優(yōu)秀期刊遴選數(shù)據(jù)庫(kù)
級(jí)別:CSCD期刊
榮譽(yù):中國(guó)期刊全文數(shù)據(jù)庫(kù)(CJFD)