在智能互聯(lián)產(chǎn)品誕生之前，數(shù)據(jù)的產(chǎn)生主要源于內(nèi)部運(yùn)營(yíng)和價(jià)值鏈上各個(gè)職能之間的內(nèi)部交付，例如訂單處理、供應(yīng)商互動(dòng)、銷售互動(dòng)和客戶服務(wù)拜訪等。企業(yè)可以通過(guò)問(wèn)卷調(diào)查、市場(chǎng)研究和其他外部資源處所獲得的信息從而能夠?qū)@些數(shù)據(jù)進(jìn)行補(bǔ)充。將這些數(shù)據(jù)進(jìn)而綜合到一起，企業(yè)就會(huì)掌握一定的客戶、需求和成本信息，但其程度將會(huì)遠(yuǎn)遠(yuǎn)低于它們對(duì)自己產(chǎn)品功能的了解。

　　各個(gè)職能部門中通常分散了對(duì)數(shù)據(jù)進(jìn)行定義以及分析的職責(zé)，造成了豎井效應(yīng)。盡管部門與部門之間也會(huì)分享數(shù)據(jù)。就好像銷售數(shù)據(jù)會(huì)用來(lái)管理備件的庫(kù)存，但這些分享規(guī)模有限，并且存在不定期的情況。從關(guān)注產(chǎn)品信息為入口

　　現(xiàn)如今，企業(yè)在上述傳統(tǒng)數(shù)據(jù)源之外，斬獲了一種全新的數(shù)據(jù)來(lái)源——即產(chǎn)品本身。智能互聯(lián)產(chǎn)品能實(shí)時(shí)產(chǎn)生數(shù)據(jù)，其容量之大和種類之豐富都可謂前所未有。今時(shí)今日數(shù)據(jù)已經(jīng)成為人才、技術(shù)和資本之外的又一項(xiàng)企業(yè)核心資源，在很多行業(yè)中，數(shù)據(jù)也許將成為決定性的資源。

　　這些產(chǎn)品數(shù)據(jù)本身價(jià)值就相當(dāng)可觀。當(dāng)它們與交易歷史、庫(kù)存地理位置、大宗商品價(jià)格和交通信息等其他數(shù)據(jù)融合到一起的時(shí)候，它們的價(jià)值將呈指數(shù)級(jí)增長(zhǎng)。例如，在農(nóng)業(yè)生產(chǎn)中，濕度傳感器和天氣預(yù)報(bào)相互結(jié)合到一起，就能對(duì)灌溉系統(tǒng)進(jìn)行優(yōu)化并節(jié)省水資源。

　　以車隊(duì)管理為例子，獲得每輛汽車或卡車的維護(hù)需求和地理位置信息，維修部門就能提前準(zhǔn)備配件、預(yù)約保養(yǎng)時(shí)間并提高維修效率。當(dāng)企業(yè)獲得產(chǎn)品使用和性能數(shù)據(jù)，保修數(shù)據(jù)的價(jià)值就會(huì)越發(fā)凸顯。就像在保修期內(nèi)，如果用戶使用產(chǎn)品過(guò)于頻繁的話，有可能導(dǎo)致設(shè)備受到損壞，那么公司就可以預(yù)先進(jìn)行保養(yǎng)，以免日后產(chǎn)品損壞再進(jìn)行保修導(dǎo)致更昂貴的維修成本。利用互聯(lián)網(wǎng)架構(gòu)化采集多元數(shù)據(jù)

　　數(shù)據(jù)基本就是兩類，一類是人類軌跡產(chǎn)生的數(shù)據(jù)，另一類機(jī)器自動(dòng)產(chǎn)生的數(shù)據(jù)。這兩類數(shù)據(jù)構(gòu)成了我們今天的大數(shù)據(jù)多結(jié)構(gòu)化數(shù)據(jù)源。自工業(yè)革命以來(lái)，為了改進(jìn)運(yùn)營(yíng)，制造商一直以來(lái)都在有意采集并存儲(chǔ)數(shù)據(jù)。

　　隨著時(shí)間的推移，數(shù)據(jù)在制造業(yè)分析的需求將越來(lái)越大。然在過(guò)去的250年間，利用數(shù)據(jù)的根本動(dòng)因并沒(méi)有改變，但有數(shù)據(jù)的復(fù)雜性增強(qiáng)，以及將數(shù)據(jù)轉(zhuǎn)化為情報(bào)的能力將有越來(lái)越大的需求。從產(chǎn)品數(shù)據(jù)到企業(yè)智能運(yùn)營(yíng)的數(shù)字化過(guò)程中，企業(yè)管理者需要有系統(tǒng)化的架構(gòu)。

　　產(chǎn)品的最終是由客戶在使用，而所有的產(chǎn)品經(jīng)營(yíng)管理過(guò)程中，有相當(dāng)一部分是需要客戶的數(shù)據(jù)。通過(guò)互聯(lián)網(wǎng)，特別是移動(dòng)互聯(lián)網(wǎng)上的相關(guān)工具包括社交媒體等平臺(tái)來(lái)收集客戶產(chǎn)品信息對(duì)于提升管理等各個(gè)環(huán)節(jié)非常關(guān)鍵。

　　網(wǎng)頁(yè)數(shù)據(jù)搜集系統(tǒng)的系統(tǒng)架構(gòu)其主要功能包括數(shù)據(jù)采集、數(shù)據(jù)處理、數(shù)據(jù)洞察三個(gè)主模塊。整個(gè)系統(tǒng)采用分布式架構(gòu)設(shè)計(jì)。前端的數(shù)據(jù)采集模塊采用基于消息隊(duì)列構(gòu)建的爬蟲服務(wù)集群，中間的數(shù)據(jù)處理模塊采用分布式文件系統(tǒng)結(jié)合搜索引擎，后端的數(shù)據(jù)洞察模塊則通過(guò)分布式的內(nèi)存計(jì)算框架提供實(shí)時(shí)數(shù)據(jù)分析服務(wù)。自動(dòng)高效與開放性

企業(yè)要實(shí)現(xiàn)網(wǎng)頁(yè)信息獲取的自動(dòng)化，高效完成信息的搜集。網(wǎng)絡(luò)爬蟲數(shù)據(jù)搜集系統(tǒng)主要有兩點(diǎn)值得注意。第一，主要數(shù)據(jù)來(lái)源是企業(yè)外部，以互聯(lián)網(wǎng)信息為主。其次，爬蟲作業(yè)在前期進(jìn)行初始化全量抓取時(shí)期工作量較大，后期的增量抓取工作量顯著減小，月數(shù)據(jù)量約為首月的3%~5%。針對(duì)這些特點(diǎn)，我們?cè)跇?gòu)建系統(tǒng)時(shí)需要考慮平臺(tái)的開放性。

　　由于爬蟲系統(tǒng)所采集的數(shù)據(jù)均來(lái)源于外部的公開信息，所以平臺(tái)本身的信息安全性要求不如其他系統(tǒng)那么高。所以我們?cè)谙到y(tǒng)的使用策略應(yīng)該要完全基于云平臺(tái)來(lái)構(gòu)建。借助云平臺(tái)的靈活性，可以在系統(tǒng)運(yùn)行的不同階段實(shí)現(xiàn)按需配置的目的。

　　從網(wǎng)頁(yè)爬蟲數(shù)據(jù)搜集系統(tǒng)的數(shù)據(jù)量來(lái)看，隨著時(shí)間的推移數(shù)據(jù)量不斷膨脹。所以對(duì)于這樣的系統(tǒng)平臺(tái)，從數(shù)據(jù)的抓取、數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)的處理、數(shù)據(jù)的運(yùn)算和可視化能力都需要跟上數(shù)據(jù)膨脹的速度。所以系統(tǒng)的所有模塊采用了分布式架構(gòu)比較合理，可以非常方便地根據(jù)數(shù)據(jù)量的情況進(jìn)行靈活的擴(kuò)展。未來(lái)物聯(lián)網(wǎng)將匯聚來(lái)自智能資產(chǎn)通過(guò)大量感應(yīng)器和傳感器所聚集的生產(chǎn)制造所有相關(guān)的環(huán)境數(shù)據(jù)，而這些智能設(shè)備數(shù)據(jù)與我們的制造流程以及產(chǎn)品的客戶反饋數(shù)據(jù)聚合后，就形成了企業(yè)經(jīng)營(yíng)管理大數(shù)據(jù)和分析能夠介入的著手點(diǎn)。制造業(yè)流程繁多且非常復(fù)雜，我們現(xiàn)在可以利用大數(shù)據(jù)和分析，對(duì)此前未解釋清楚的變量的影響進(jìn)行評(píng)估，并結(jié)合起來(lái)理解它們對(duì)質(zhì)量問(wèn)題的影響。對(duì)制造全環(huán)境進(jìn)行信息收集，轉(zhuǎn)化為數(shù)字環(huán)境并分析的方法公然挑戰(zhàn)了傳統(tǒng)的注重關(guān)鍵少數(shù)的品質(zhì)思維。“