大數(shù)據(jù)下數(shù)據(jù)分析服務(wù)的市場(chǎng)探析

前言：想要寫(xiě)出一篇引人入勝的文章？我們特意為您整理了大數(shù)據(jù)下數(shù)據(jù)分析服務(wù)的市場(chǎng)探析范文，希望能給你帶來(lái)靈感和參考，敬請(qǐng)閱讀。

摘要：對(duì)提供大數(shù)據(jù)技術(shù)服務(wù)的電商，分析其現(xiàn)狀和商業(yè)需求，并通過(guò)爬蟲(chóng)技術(shù)爬取大型電商網(wǎng)站關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息。研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售價(jià)格、月銷數(shù)量、顧客評(píng)分等。結(jié)合詞頻分析和統(tǒng)計(jì)技術(shù)，分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價(jià)格、服務(wù)種類。研究發(fā)現(xiàn)，現(xiàn)有的基于大數(shù)據(jù)技術(shù)的電商服務(wù)存在定價(jià)不清、質(zhì)量難以保證、客戶評(píng)價(jià)真實(shí)性存疑等問(wèn)題。針對(duì)問(wèn)題提出標(biāo)準(zhǔn)化數(shù)據(jù)市場(chǎng)、引入第三方監(jiān)管、建立成熟的收益機(jī)制的建議。

關(guān)鍵詞：數(shù)據(jù)分析；大數(shù)據(jù)；可視化；電商服務(wù)；大數(shù)據(jù)技術(shù)

0引言

近年來(lái)，隨著移動(dòng)互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能的迅猛發(fā)展，全球大數(shù)據(jù)存儲(chǔ)量持續(xù)快速增長(zhǎng)，其中中國(guó)數(shù)據(jù)量的增長(zhǎng)最為迅速。根據(jù)國(guó)際數(shù)據(jù)公司(IDC)的監(jiān)測(cè)數(shù)據(jù)顯示，2013年至2018年全球大數(shù)據(jù)儲(chǔ)量分別為4.3ZB、6.6ZB、8.6ZB、16.1ZB、21.6ZB、33.0ZB，近年全球大數(shù)據(jù)儲(chǔ)量的增速每年都保持在40%左右。根據(jù)IDC最新的統(tǒng)計(jì)數(shù)據(jù)，中國(guó)的數(shù)據(jù)產(chǎn)生量約占全球數(shù)據(jù)產(chǎn)生量的23%[1]。IDC最新的《全球半年度大數(shù)據(jù)支出指南，2018H2》預(yù)測(cè)在2019年度，大數(shù)據(jù)與商業(yè)分析解決方案全球市場(chǎng)的整體收益將達(dá)到1896.6億美元，相比2018年增長(zhǎng)12.1%。IDC預(yù)測(cè)，2019年中國(guó)大數(shù)據(jù)市場(chǎng)總體收益將達(dá)到96.0億美元，2019-2023年預(yù)測(cè)期內(nèi)的年CAGR（復(fù)合年均增長(zhǎng)率）為23.5%，增速高于全球平均水平。到2023年，市場(chǎng)規(guī)模則將增長(zhǎng)至224.9億美元[2]。在這樣的背景下，數(shù)據(jù)在全球市場(chǎng)經(jīng)濟(jì)運(yùn)轉(zhuǎn)中的價(jià)值日趨顯著，所以數(shù)據(jù)分析服務(wù)應(yīng)當(dāng)順應(yīng)當(dāng)前國(guó)家政策以及未來(lái)市場(chǎng)，收集大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息和數(shù)據(jù)相關(guān)的門(mén)戶網(wǎng)站，研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售情況與大型門(mén)戶網(wǎng)站的定價(jià)、服務(wù)，從小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的需求程度、服務(wù)反饋，來(lái)分析小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的發(fā)展趨勢(shì)，并分析兩者之間的優(yōu)缺點(diǎn)。

1電商服務(wù)現(xiàn)狀分析

1.1淘寶

淘寶網(wǎng)是中國(guó)現(xiàn)下最受歡迎的專業(yè)網(wǎng)購(gòu)零售平臺(tái)之一，注冊(cè)用戶數(shù)量高達(dá)5億，日均瀏覽量超過(guò)1.3億。在淘寶出售數(shù)據(jù)分析等相關(guān)服務(wù)，在沒(méi)有知名度的情況下，前期不需要投入大量宣傳投入，靠著淘寶自帶的流量，也不會(huì)擔(dān)憂沒(méi)有人流量。但淘寶的數(shù)據(jù)分析服務(wù)也存在如下問(wèn)題。⑴數(shù)據(jù)和人工成本估算，以及數(shù)據(jù)收益機(jī)制還不成熟，導(dǎo)致商品的定價(jià)沒(méi)有統(tǒng)一標(biāo)準(zhǔn)，也沒(méi)有可參考的依據(jù)，價(jià)格相差過(guò)大，客戶無(wú)法判斷商家所給的定價(jià)是否與自己的需求相匹配。⑵交易雙方信任機(jī)制難以建立，把握數(shù)據(jù)使用流向問(wèn)題難以解決[3]。淘寶商家在淘寶注冊(cè)商鋪資質(zhì)最低費(fèi)用為1000元，若是發(fā)生糾紛，商家跑路所需承擔(dān)的風(fēng)險(xiǎn)很小，個(gè)人的權(quán)益難以保障。⑶交易評(píng)價(jià)真實(shí)性不可查，涉及電商銷售，難免會(huì)存在刷單行為，客戶也很難辨別商品評(píng)論的真實(shí)性，存在被誤導(dǎo)以及引誘消費(fèi)的風(fēng)險(xiǎn)。

1.2大型門(mén)戶網(wǎng)站

本研究以數(shù)據(jù)為關(guān)鍵詞，找尋了四個(gè)大型門(mén)戶，分別對(duì)它們的框架、定價(jià)、服務(wù)對(duì)象進(jìn)行研究分析?；疖嚥杉髦鞔驍?shù)據(jù)采集，有較為清晰的定價(jià)，有免費(fèi)版供需求不多、不需要太深入處理數(shù)據(jù)的人群使用，更多的版本選擇讓用戶可以自由的根據(jù)自己的需求做選擇。除此之外，還有在線客服可進(jìn)行咨詢、指導(dǎo)。八爪魚(yú)采集器主打數(shù)據(jù)采集，操作簡(jiǎn)單，是人人可用的數(shù)據(jù)采集器。采集教程有圖文版和視頻教程，讓客戶更容易上手。采集軟件也有不同的定價(jià)，方便客戶選擇。問(wèn)題的解決方案也有細(xì)分，涵蓋了新聞采集、電商采集、金融采集數(shù)據(jù)服務(wù)、市場(chǎng)洞察等十幾種，可為不同領(lǐng)域的客戶提供有針對(duì)性的方案。前嗅主打數(shù)據(jù)采集和大數(shù)據(jù)可視化。比起前兩個(gè)按軟件的版本來(lái)定價(jià)，前嗅的定價(jià)更為詳細(xì)些。前兩者的數(shù)據(jù)采集需要自己動(dòng)手完成，而前嗅有ForeSpider數(shù)據(jù)采集引擎可自己爬取數(shù)據(jù)，也可以選擇數(shù)據(jù)代采。在數(shù)據(jù)采集這個(gè)模塊，前嗅就分出了6種服務(wù)及定價(jià)，對(duì)客戶來(lái)說(shuō)更詳細(xì)也更好理解?？梢暬瘓?bào)告分出了3種不同的需求，預(yù)存云數(shù)據(jù)系統(tǒng)，研究報(bào)告和定制報(bào)告。還可根據(jù)客戶數(shù)據(jù)進(jìn)行情感分析、用戶畫(huà)像分析、語(yǔ)義識(shí)別等。集搜客主打網(wǎng)頁(yè)抓取和內(nèi)容分析，主要是對(duì)文本的處理和情感分析。集搜客有專門(mén)的爬蟲(chóng)軟件，分為4個(gè)版本，每個(gè)版本都有自己的定價(jià)。除此之外，也有定制服務(wù)的價(jià)格，劃分出了6個(gè)定制項(xiàng)目，并顯示每個(gè)服務(wù)最低的價(jià)格?；疖嚥杉?、八爪魚(yú)采集器、前嗅、集搜客在頁(yè)面下方都放了合作的企業(yè)，其中有中國(guó)人民銀行、中國(guó)電信、可口可樂(lè)、鳳凰網(wǎng)、中國(guó)平安等知名大型企業(yè)，對(duì)它們是一種能力的認(rèn)證，也是交易的認(rèn)可。

2數(shù)據(jù)分析服務(wù)的商業(yè)需求

2.1淘寶：小型數(shù)據(jù)服務(wù)方

本研究以“數(shù)據(jù)分析”為關(guān)鍵詞，于2020年8月通過(guò)爬蟲(chóng)技術(shù)爬取淘寶電商網(wǎng)站的529條信息。其中包括9個(gè)字段：商品名、鏈接、圖片、價(jià)格、郵費(fèi)、店鋪名、月銷數(shù)量、店鋪評(píng)分、發(fā)貨地等。去除重復(fù)、不符主題的噪聲數(shù)據(jù)，留取了202條有效數(shù)據(jù)。去除對(duì)本次研究沒(méi)有研究意義的字段，本研究將對(duì)這202條有效數(shù)據(jù)的價(jià)格、月銷數(shù)量、高頻關(guān)聯(lián)詞、發(fā)貨地這四個(gè)字段進(jìn)行分析。

2.2門(mén)戶網(wǎng)站：大型數(shù)據(jù)服務(wù)方

2.2.1火車采集器。火車采集器是目前互聯(lián)網(wǎng)上應(yīng)用最廣泛的數(shù)據(jù)處理、分析和挖掘軟件。軟件憑借其靈活的配置與強(qiáng)大的性能領(lǐng)先國(guó)內(nèi)其他數(shù)據(jù)采集類產(chǎn)品，并贏得眾多企業(yè)和用戶認(rèn)可。目前共客戶使用的有五個(gè)版本，可以免費(fèi)使用，有需要更強(qiáng)大功能的付費(fèi)版本，價(jià)格在960元至8600元，購(gòu)買后的版本均可終身使用。2.2.2八爪魚(yú)采集器。八爪魚(yú)采集器是一款擁有百萬(wàn)用戶的數(shù)據(jù)采集軟件，其使用方法簡(jiǎn)單易懂，不懂網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，也能輕松采集想要的數(shù)據(jù)。目前共客戶使用的有七個(gè)版本，有免費(fèi)的版本，付費(fèi)版本價(jià)格在49元至69800元以及根據(jù)顧客要求制定節(jié)點(diǎn)再定價(jià)格。私有部署版、數(shù)據(jù)服務(wù)都沒(méi)有明確的價(jià)格，需要根據(jù)客戶需求來(lái)制定方案，再根據(jù)方案制定價(jià)格。2.2.3前嗅智能大數(shù)據(jù)專家。前嗅是可提供數(shù)據(jù)采集、定制和研究可視化報(bào)告、自然語(yǔ)言處理以及大數(shù)據(jù)周邊配套產(chǎn)品等且擁有國(guó)內(nèi)唯一自主知識(shí)產(chǎn)權(quán)Web服務(wù)器系統(tǒng)的大型門(mén)戶網(wǎng)站。在價(jià)格的制定上，比前兩者分的更細(xì)，許多服務(wù)的起步價(jià)多為200元至400元。劃分板塊多，衍生的服務(wù)更為多樣。2.2.4集搜客GooSeeker。集搜客GooSeeker是一款網(wǎng)頁(yè)抓取和內(nèi)容分析，把互聯(lián)網(wǎng)裝進(jìn)表格和數(shù)據(jù)庫(kù)的軟件。網(wǎng)絡(luò)爬蟲(chóng)軟件目前有四個(gè)版本，除了免費(fèi)版本外，其他三個(gè)版本的價(jià)格在49元至20000元之間，還有根據(jù)需求的定制服務(wù)。通過(guò)對(duì)以上四個(gè)大型門(mén)戶網(wǎng)站的調(diào)研，發(fā)現(xiàn)每個(gè)服務(wù)方所服務(wù)的人顧客群體有所區(qū)別，需求存在著明顯的差異?；疖嚥杉骱桶俗︳~(yú)采集器都是主打數(shù)據(jù)采集的軟件，但價(jià)格上卻有所差別，火車采集器的價(jià)格明顯比八爪魚(yú)便宜，可見(jiàn)針對(duì)的目標(biāo)客戶是不一樣的。前嗅智能大數(shù)據(jù)專家針對(duì)的是有大數(shù)據(jù)技術(shù)需求方面的人群，大數(shù)據(jù)的衍生服務(wù)也包括在內(nèi)，多樣且全能。集搜客是針對(duì)有網(wǎng)頁(yè)抓取和內(nèi)容分析，主要是對(duì)文本的處理和情感分析的需求的顧客群體。以上四個(gè)大型門(mén)戶網(wǎng)站都有自己明確的市場(chǎng)定位，針對(duì)不同的需求，發(fā)展自己的特點(diǎn)。

3數(shù)據(jù)調(diào)查與分析的方法及過(guò)程

利用爬蟲(chóng)技術(shù)爬取了2020年8月大型電商網(wǎng)站的數(shù)百條關(guān)于大數(shù)據(jù)分析服務(wù)的真實(shí)信息，研究當(dāng)前小型數(shù)據(jù)分析服務(wù)和個(gè)人數(shù)據(jù)分析服務(wù)的銷售價(jià)格、月銷數(shù)量、顧客評(píng)分等，結(jié)合詞頻分析和統(tǒng)計(jì)技術(shù)，以及分析大型電商網(wǎng)站的大數(shù)據(jù)分析服務(wù)質(zhì)量、價(jià)格、服務(wù)種類。

3.1價(jià)格分析

在本次爬取的信息中，價(jià)格較為多樣化，單價(jià)從1元到500元不等，數(shù)字較為隨機(jī)，可見(jiàn)淘寶的數(shù)據(jù)分析標(biāo)準(zhǔn)沒(méi)有統(tǒng)一，差異性較大。大多標(biāo)價(jià)也非實(shí)際交易價(jià)格，實(shí)際交易價(jià)格往往是在雙方交流后才確定的價(jià)格。沒(méi)有統(tǒng)一的定價(jià)標(biāo)準(zhǔn)，會(huì)導(dǎo)致顧客在購(gòu)買服務(wù)之前難以了解實(shí)際交易價(jià)格與自己心理預(yù)期價(jià)格的差距，從而難以選擇與自己心理預(yù)期相符的服務(wù)。

3.2月銷數(shù)量

在本次爬取的信息中，單項(xiàng)付款最多人數(shù)為717人，最少為0人，月銷數(shù)量大于100的占總收集信息的10%。但僅看付款數(shù)量無(wú)法判斷實(shí)際交易人數(shù)，因?yàn)橐蝗丝膳南聰?shù)量不可知（如：?jiǎn)蝺r(jià)100元，在交流后，所需服務(wù)實(shí)際需要為400元，可以單價(jià)*4拍下）。如圖1所示。

3.3高頻次關(guān)聯(lián)詞

在本次爬取的信息中，標(biāo)題中除了數(shù)據(jù)分析出現(xiàn)的高頻詞匯有：spss、可視化、爬蟲(chóng)、python、stata、統(tǒng)計(jì)。出現(xiàn)的頻次分別為：可視化出現(xiàn)61次、spss出現(xiàn)59次、stata出現(xiàn)30次、python出現(xiàn)31次、爬蟲(chóng)出現(xiàn)23次、統(tǒng)計(jì)出現(xiàn)19次。其中spss、stata、python都是數(shù)據(jù)分析工具，不同的行業(yè)與需求對(duì)數(shù)據(jù)分析工具有不同的要求，可視化的高頻次出現(xiàn)體現(xiàn)著客戶對(duì)數(shù)據(jù)可視化的需求強(qiáng)烈。如圖2所示。

3.4發(fā)貨地分析

在本次爬取的信息中，發(fā)貨地有北京、上海、杭州、深圳、南京、成都和武漢等地址。其中出現(xiàn)次數(shù)較多的為北京、上海、南京，分別為44次、29次、16次。這三大城市的占比為44%，可見(jiàn)這三大城市的數(shù)字經(jīng)濟(jì)發(fā)展明顯優(yōu)于其他城市。如圖3所示。從價(jià)格、月銷量、高頻次關(guān)聯(lián)詞、發(fā)貨地址的分析結(jié)果看，以淘寶網(wǎng)為代表的小型數(shù)據(jù)服務(wù)方的定價(jià)模糊，沒(méi)有清晰、明確的定價(jià)標(biāo)準(zhǔn)，月銷量有高有低，但由于定價(jià)模糊的關(guān)系，并不能判斷它的真實(shí)銷量。從高頻關(guān)聯(lián)詞數(shù)據(jù)分析與可視化關(guān)系緊密這一點(diǎn)看，數(shù)據(jù)可視化是數(shù)據(jù)分析中的一大需求點(diǎn)，發(fā)貨地點(diǎn)多為一線城市，可見(jiàn)經(jīng)濟(jì)與數(shù)據(jù)經(jīng)濟(jì)關(guān)系成正比關(guān)系。

4結(jié)論與建議

經(jīng)過(guò)研究和分析電商數(shù)據(jù)分析服務(wù)的多方面數(shù)據(jù)，獲知了以淘寶電商為主體的小型數(shù)據(jù)分析服務(wù)在體系上的不完善，多數(shù)是在商品標(biāo)題添加相關(guān)詞，但商品詳情頁(yè)面沒(méi)有詳細(xì)的服務(wù)名稱、服務(wù)范圍、服務(wù)價(jià)格，大多需要咨詢客服才能了解；以大型門(mén)戶網(wǎng)站為主題的數(shù)據(jù)分析服務(wù)為主體的數(shù)據(jù)分析服務(wù)都有著自己明確且清晰的體系，有詳細(xì)的產(chǎn)品分類，可提供服務(wù)的范圍，有標(biāo)準(zhǔn)的定價(jià)，以及自己的主打的特色產(chǎn)品，火車采集器、八爪魚(yú)采集器、集搜客也提供有免費(fèi)的服務(wù)，供客戶體驗(yàn)產(chǎn)品、了解產(chǎn)品。當(dāng)前我國(guó)數(shù)據(jù)資源流通存在諸多瓶頸問(wèn)題，尚不具備作為一種生產(chǎn)要素的商品化、資產(chǎn)化機(jī)制，無(wú)法界定權(quán)屬、無(wú)法評(píng)估質(zhì)量、無(wú)法有效定價(jià)、無(wú)法可信流通等問(wèn)題較為突出[3]。在此提出以下建議供參考。⑴推進(jìn)建立商品化、資產(chǎn)化和規(guī)范化的數(shù)據(jù)商品體系。⑵建立第三方數(shù)據(jù)監(jiān)督機(jī)構(gòu)。市場(chǎng)的數(shù)據(jù)質(zhì)量難以保障，已過(guò)期數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、沒(méi)有意義的數(shù)據(jù)俯拾皆是，第三方機(jī)構(gòu)可監(jiān)督數(shù)據(jù)的來(lái)源，評(píng)判數(shù)據(jù)的可用性。⑶小型數(shù)據(jù)分析服務(wù)應(yīng)確立自己的基本框架，將所能提供的服務(wù)、服務(wù)范圍、服務(wù)價(jià)格，進(jìn)行清晰的劃分并標(biāo)明，讓顧客能更加簡(jiǎn)單便捷、有對(duì)比性的了解所提供的服務(wù)。⑷建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制?？v觀淘寶和大型門(mén)戶網(wǎng)站對(duì)同類服務(wù)的定價(jià)，價(jià)格相差懸殊。建立成熟的數(shù)據(jù)和人工成本估算以及數(shù)據(jù)收益機(jī)制可以為客戶避免“貴的就是對(duì)的”的心理；也可以避免客戶一味的貪圖便宜買到假數(shù)據(jù)。

5結(jié)束語(yǔ)

伴隨著“數(shù)據(jù)創(chuàng)造價(jià)值，智慧引領(lǐng)經(jīng)濟(jì)”的潮流，越來(lái)越多的行業(yè)加入到數(shù)據(jù)經(jīng)濟(jì)的行列中來(lái)。本文分別對(duì)幾個(gè)不同類型的數(shù)據(jù)電商服務(wù)的框架、定價(jià)、服務(wù)對(duì)象進(jìn)行了研究，從目前的數(shù)據(jù)看來(lái)，數(shù)據(jù)電商服務(wù)的在定價(jià)和數(shù)據(jù)來(lái)源方面存在一定的模糊地帶，但隨著國(guó)家層面推進(jìn)大數(shù)據(jù)政策，數(shù)據(jù)電商服務(wù)也會(huì)進(jìn)一步完善，最終形成一個(gè)成熟的體系。

參考文獻(xiàn)

[1]從全球大數(shù)據(jù)市場(chǎng)看未來(lái)發(fā)展趨勢(shì)[EB/OL].(2019-08-16)[2020-01-12].

[2]IDC最新版全球大數(shù)據(jù)市場(chǎng)規(guī)模預(yù)測(cè),中國(guó)持續(xù)穩(wěn)定增長(zhǎng)[EB/OL].(2019-09-12)[2019-12-06].

[3]于施洋,王建冬,郭巧敏.我國(guó)構(gòu)建數(shù)據(jù)新型要素市場(chǎng)體系面臨的挑戰(zhàn)與對(duì)策[J].電子政務(wù),2020.3:2-12

[4]徐鑫.大數(shù)據(jù)環(huán)境下競(jìng)爭(zhēng)情報(bào)分析的變化與方法創(chuàng)新[J].科技情報(bào)研究,2020.2:25

作者:邱敏 梁婷婷 梁天友 單位:南寧學(xué)院信息工程學(xué)院