處理與分析已經(jīng)成為全球性問題引起歐美各國(guó)政府和產(chǎn)業(yè)界高度重視美國(guó)政府于2012年3月率先發(fā)布了《大數(shù)據(jù)研究與發(fā)展計(jì)劃》Google, Amazon、FacebookIBMEMCSAP等國(guó)際領(lǐng)先互聯(lián)網(wǎng)和仃公司都在相關(guān)技術(shù)領(lǐng)域和應(yīng)用進(jìn)行布局力圖在大數(shù)據(jù)產(chǎn)業(yè)浪潮中搶得先機(jī)。

　　隨著我國(guó)經(jīng)濟(jì)社會(huì)信息化自動(dòng)化水平不斷提高在政府管理、公共服務(wù)、科學(xué)研究、商業(yè)應(yīng)用等許多領(lǐng)域也而臨大數(shù)據(jù)問題亞需各種有針對(duì)性和經(jīng)濟(jì)有效的解決方案快速提升我國(guó)在大數(shù)據(jù)領(lǐng)域的整體實(shí)力和國(guó)際競(jìng)爭(zhēng)力。

　　木文結(jié)合中國(guó)科學(xué)院戰(zhàn)略性技術(shù)先導(dǎo)專項(xiàng)“而向感知中國(guó)的新一代信息技術(shù)”中“海云數(shù)據(jù)系統(tǒng)”的研制實(shí)踐提出基于互聯(lián)網(wǎng)和數(shù)據(jù)中心、而向服務(wù)的大數(shù)據(jù)分析平臺(tái)解決方案以滿足日益增長(zhǎng)的用戶需求為我國(guó)開展大數(shù)據(jù)分析技術(shù)的研究和實(shí)踐提供借鑒和參考。

　　大數(shù)據(jù)時(shí)代來臨工業(yè)界是技術(shù)爭(zhēng)霸的主戰(zhàn)場(chǎng)。全球大數(shù)據(jù)產(chǎn)業(yè)界針對(duì)大數(shù)據(jù)特有的海量、非結(jié)構(gòu)化、關(guān)系復(fù)雜、動(dòng)態(tài)時(shí)變等特性以及不斷涌現(xiàn)的各種新型應(yīng)用需求圍繞海量復(fù)雜數(shù)據(jù)的存儲(chǔ)、管理、整合、處理、分析、展現(xiàn)、應(yīng)用等主要環(huán)節(jié)已經(jīng)形成了新的大數(shù)據(jù)產(chǎn)業(yè)體系。

　　從發(fā)展路線c;業(yè)界將大數(shù)據(jù)產(chǎn)業(yè)劃分為三大陣營(yíng):一類是以IB M、微軟惠普ORACLE,EM C等為代表的傳統(tǒng)仃領(lǐng)導(dǎo)廠商通過“硬件十軟件十?dāng)?shù)據(jù)”整體解決方案向用戶提供以平臺(tái)為核心的完備的基礎(chǔ)架構(gòu)與服務(wù)并通過密集地并購(gòu)大數(shù)據(jù)分析企業(yè)以迅速增強(qiáng)和擴(kuò)展在大數(shù)據(jù)分析領(lǐng)域的實(shí)力和市場(chǎng)份額;一類是以SA S, SPSS等為代表的專業(yè)商務(wù)智能公司專注于智能數(shù)據(jù)分析;還有一類是以G oogle,Am azon, Facebook等互聯(lián)網(wǎng)公司為代表基于自身的應(yīng)用平臺(tái)、龐大用戶群和海量用戶信息提供精準(zhǔn)營(yíng)銷和個(gè)性化推薦等商業(yè)活動(dòng)。以上三大陣營(yíng)各有特點(diǎn)和優(yōu)勢(shì)形成了大數(shù)據(jù)時(shí)代三足鼎立的格局。

　　以IB M、微軟、惠普、ORACLE, EMC等為代表的傳統(tǒng)IT巨頭通過“硬件軟件數(shù)據(jù)”的整體平臺(tái)向用戶提供大數(shù)據(jù)一站式解決方案。IBM在過去幾年連續(xù)投入160億美元收購(gòu)了30多家與大數(shù)據(jù)相關(guān)的企業(yè)初步實(shí)現(xiàn)了大數(shù)據(jù)行業(yè)應(yīng)用的布局。目前IBM在軟件架構(gòu)層而收購(gòu)了商務(wù)智能軟件供應(yīng)商Cognos、統(tǒng)計(jì)分析軟件SPSS、數(shù)據(jù)庫(kù)分析供應(yīng)商N(yùn)etezza。結(jié)合IBM的DB2數(shù)據(jù)庫(kù)推出了支持ApacheHadoop的InfoSphereBigIn sights軟件支持大數(shù)據(jù)的應(yīng)用。在硬件架構(gòu)層而IBM發(fā)布了集成了刀片服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)設(shè)備及相應(yīng)軟件系統(tǒng)的大數(shù)據(jù)一體機(jī)Pure Data提供數(shù)據(jù)倉(cāng)庫(kù)、和數(shù)據(jù)分析等功能。

　　通過收購(gòu) Vertica 公司惠普推出針對(duì)大數(shù)據(jù)的Vertica 6.1 數(shù)據(jù)分析平臺(tái)突破了傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)庫(kù)無法實(shí)現(xiàn)縱向擴(kuò)展的瓶頸。在大數(shù)據(jù)管理方面Vertica信息優(yōu)化平臺(tái)實(shí)現(xiàn)高速度、高性能、高可擴(kuò)展通過內(nèi)嵌 R 語言包實(shí)現(xiàn)了分析功能。Vertica 數(shù)據(jù)分析平臺(tái)以軟件的形式存在可以加載在不同的計(jì)算資源上運(yùn)行包括一體機(jī)同構(gòu)或異構(gòu)的硬件集群甚至是公有云環(huán)境。

　　整體平臺(tái)解決方案廠商依靠自身原有的軟件、硬件或技術(shù)優(yōu)勢(shì)通過收購(gòu)及整合不同公司的產(chǎn)品線c;實(shí)現(xiàn)對(duì)大數(shù)據(jù)各個(gè)領(lǐng)域的覆蓋。但是這種堆砌式的系統(tǒng)整合并不能徹底的突破大數(shù)據(jù)分析的瓶頸。只有通過對(duì)自身產(chǎn)品和技術(shù)的原始創(chuàng)新才能實(shí)現(xiàn)對(duì)大數(shù)據(jù)處理問題的徹底解決。

　　商務(wù)智能專業(yè)廠商在大數(shù)據(jù)時(shí)代的發(fā)力點(diǎn)在結(jié)構(gòu)化數(shù)據(jù)處理。在大數(shù)據(jù)時(shí)代這些廠商開始加大在高可擴(kuò)展計(jì)算、非結(jié)構(gòu)化數(shù)據(jù)處理、以及與業(yè)務(wù)運(yùn)營(yíng)集成的實(shí)時(shí)處理(即操作型商務(wù)智能)等方面的投入和創(chuàng)新。例如SAS 在 2012 年推出了基于內(nèi)存計(jì)算的高性能數(shù)據(jù)分析方案核心部件包括SAS 高性能分析服務(wù)器、SAS 可視化分析和 SAS DataFlux 數(shù)據(jù)流處

　　理引擎。SAS 高性能分析服務(wù)器采用庫(kù)內(nèi)分析和內(nèi)存計(jì)算兩種解決方案。庫(kù)內(nèi)分析技術(shù)在數(shù)據(jù)庫(kù)內(nèi)實(shí)現(xiàn)分析的過程用戶過去開發(fā)的 SAS 程序可以直接移植使用而且這樣的分析過程無需提取數(shù)據(jù)避免了數(shù)據(jù)傳輸?shù)念~外開銷分析能力極大地提高。內(nèi)存計(jì)算技術(shù)則利用大內(nèi)存服務(wù)器的優(yōu)勢(shì)減少數(shù)據(jù)從硬盤加載到內(nèi)存的機(jī)會(huì)把數(shù)據(jù)和分析程序直接放置在內(nèi)存中執(zhí)行特別適合具有迭代和嵌套模式的分析算法極大地提高了建模處理的速度。除此之外SAS 公司最新推出的高性能分析解決方案還采用了“SAS Visual Analytics”技術(shù)即可視化分析讓用戶及時(shí)地查看分析結(jié)果。

　　商務(wù)智能專業(yè)廠商(如 SAS、Teradata)憑借在數(shù)據(jù)分析領(lǐng)域的長(zhǎng)期積累在大數(shù)據(jù)的分析建模方面仍然處于行業(yè)領(lǐng)導(dǎo)地位。但是這些產(chǎn)品的大數(shù)據(jù)處理能力往往依賴于高性能服務(wù)器的處理能力雖然他們也在向 Hadoop 等分布式平臺(tái)遷移但是實(shí)際的效果還有待觀察。

　　Hadoop 服務(wù)器之間運(yùn)行大量的任務(wù)并且不用擔(dān)心軟件錯(cuò)誤會(huì)導(dǎo)致整個(gè)服務(wù)器集群出現(xiàn)崩潰。第二種叫做“Prism ( 棱鏡 )”它實(shí)現(xiàn)了不同地域服務(wù)器的數(shù)據(jù)自動(dòng)復(fù)制和傳輸使 Facebook 遍布全球數(shù)據(jù)中心的Hadoop 服務(wù)器集群的數(shù)據(jù)得到同步形成更加龐大的Hadoop 數(shù)據(jù)集群。

　　云計(jì)算服務(wù)提供商 Amazon 推出了 Amazon 彈性MapReduce(Amazon Elastic MapReduce)。彈性MapReduce 是一項(xiàng)能夠迅速擴(kuò)展的 Web 服務(wù)運(yùn)行在亞馬遜彈性計(jì)算云(Amazon EC2)和亞馬遜簡(jiǎn)單存儲(chǔ)服務(wù)平臺(tái)上(Amazon S3)上。作為業(yè)界領(lǐng)先的云計(jì)算服務(wù)提供商Amazon 提供網(wǎng)頁(yè)檢索、日志分析、數(shù)據(jù)挖掘、金融建模等數(shù)據(jù)密集型的任務(wù)需要的彈性云服務(wù)動(dòng)態(tài)地滿足用戶對(duì)于計(jì)算資源的需求。

　　相對(duì)于國(guó)外互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)技術(shù)上的不斷創(chuàng)新國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)主要在大數(shù)據(jù)應(yīng)用模式上創(chuàng)新。阿里巴巴利用旗下淘寶網(wǎng)的歷史交易數(shù)據(jù)推出了“淘寶指數(shù)”相對(duì)于國(guó)外互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)技術(shù)上的不斷創(chuàng)新國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)主要在大數(shù)據(jù)應(yīng)用模式上創(chuàng)新。阿里巴巴利用旗下淘寶網(wǎng)的歷史交易數(shù)據(jù)推出了“淘寶指數(shù)”商家可以參考該指數(shù)指導(dǎo)生產(chǎn)、制定價(jià)格和控制庫(kù)存。百度面對(duì)大數(shù)據(jù)時(shí)代企業(yè)需求從數(shù)據(jù)、工具及應(yīng)用三個(gè)層面規(guī)劃大數(shù)據(jù)時(shí)代的企業(yè)戰(zhàn)略。騰訊利用自身強(qiáng)大的社會(huì)網(wǎng)絡(luò)通訊平臺(tái)資源通過大數(shù)據(jù)技術(shù)挖掘社會(huì)網(wǎng)絡(luò)中的商業(yè)價(jià)值實(shí)現(xiàn)了不同產(chǎn)品營(yíng)銷平臺(tái)為用戶推薦感興趣的產(chǎn)品和內(nèi)容。

　　綜上所述當(dāng)前的大數(shù)據(jù)技術(shù)領(lǐng)域以產(chǎn)業(yè)引領(lǐng)為主在大數(shù)據(jù)集中的領(lǐng)域推出相應(yīng)的產(chǎn)品和服務(wù)。學(xué)術(shù)界主要圍繞其中的難點(diǎn)問題展開基礎(chǔ)性研究。目前圍繞大數(shù)據(jù)的科學(xué)研究、技術(shù)創(chuàng)新、系統(tǒng)開發(fā)和實(shí)際應(yīng)用剛剛起步無論產(chǎn)業(yè)界還是學(xué)術(shù)界正處在群雄并起的“大數(shù)據(jù)春秋時(shí)期”。可以預(yù)計(jì)在未來五至十年大數(shù)據(jù)領(lǐng)域?qū)?huì)發(fā)展成若干核心團(tuán)隊(duì)、公司、典型應(yīng)用的“大數(shù)據(jù)戰(zhàn)國(guó)時(shí)代”。

　　大數(shù)據(jù)沒有一個(gè)明確的定義是一個(gè)相對(duì)的概念取決于當(dāng)前所具有的數(shù)據(jù)處理能力。如果一個(gè)用戶所面對(duì)的數(shù)據(jù)超出該用戶所擁有的數(shù)據(jù)存儲(chǔ)、處理和分析的能力致使該用戶不能有效地利用數(shù)據(jù)該用戶就面對(duì)大數(shù)據(jù)問題。在大數(shù)據(jù)時(shí)代個(gè)人、企業(yè)和機(jī)構(gòu)都會(huì)面臨大數(shù)據(jù)的問題。建設(shè)面向服務(wù)的大數(shù)據(jù)平臺(tái)為眾多的中小企業(yè)和個(gè)人用戶提供大數(shù)據(jù)處理和分析的能力將成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重要方向。

　　面向服務(wù)的大數(shù)據(jù)分析平臺(tái)以區(qū)域性智能數(shù)據(jù)中心及高速互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施以互聯(lián)網(wǎng)服務(wù)體系為架構(gòu)以大數(shù)據(jù)存儲(chǔ)、處理、挖掘和交互式可視化分析等關(guān)鍵技術(shù)為支撐通過多樣化移動(dòng)智能終端及移動(dòng)互聯(lián)網(wǎng)為用戶提供數(shù)據(jù)存儲(chǔ)、管理及分析服務(wù)。

　　大數(shù)據(jù)分析平臺(tái)的拓?fù)浼軜?gòu)如圖 1 所示。其中部署在多個(gè)地方的智能數(shù)據(jù)中心提供大數(shù)據(jù)存儲(chǔ)及計(jì)算平臺(tái)通過平臺(tái)服務(wù)器提供系統(tǒng)調(diào)用功能。門戶服務(wù)中心將整合所有的智能數(shù)據(jù)中心存儲(chǔ)和計(jì)算資源并通過 web應(yīng)用服務(wù)器和 Open API 服務(wù)器以 web 調(diào)用和Open API 調(diào)用的方式提供大數(shù)據(jù)存儲(chǔ)、管理及挖掘服務(wù)。終端用戶利用移動(dòng)智能終端通過互聯(lián)網(wǎng)訪問門戶服務(wù)中心使用其提供的大數(shù)據(jù)存儲(chǔ)、管理及挖掘服務(wù)。

　　大數(shù)據(jù)分析平臺(tái)的系統(tǒng)架構(gòu)如圖 2 所示。系統(tǒng)包含 3 個(gè)層次平臺(tái)層為整個(gè)大數(shù)據(jù)分析平臺(tái)提供基礎(chǔ)平臺(tái)支持;功能層提供基本的大數(shù)據(jù)存儲(chǔ)和挖掘功能;服務(wù)層為用戶提供基于互聯(lián)網(wǎng)的大數(shù)據(jù)服務(wù)。具體包括

　　(1)大數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)針對(duì)數(shù)據(jù)不斷增長(zhǎng)的挑戰(zhàn)需要研究大規(guī)模、非結(jié)構(gòu)化數(shù)據(jù)的存儲(chǔ)問題突破大數(shù)據(jù)的存儲(chǔ)、管理和高效訪問關(guān)鍵技術(shù)當(dāng)前需要構(gòu)建至少 PB 級(jí)存儲(chǔ)能力的大數(shù)據(jù)平臺(tái)才能滿足一般的科研和應(yīng)用需求。

　　(2)分布式數(shù)據(jù)挖掘運(yùn)行時(shí)系統(tǒng)針對(duì)大數(shù)據(jù)挖掘算法運(yùn)行的挑戰(zhàn)突破 MapReduce 技術(shù)的局限研究有效支持迭代、遞歸、層次及集成機(jī)制的海量數(shù)據(jù)挖掘編程模型和運(yùn)行時(shí)系統(tǒng)構(gòu)建大數(shù)據(jù)運(yùn)行時(shí)系統(tǒng)。

　　(3)智能數(shù)據(jù)中心聯(lián)合調(diào)度技術(shù)針對(duì)大數(shù)據(jù)存儲(chǔ)和挖掘的挑戰(zhàn)研究多數(shù)據(jù)中心的智能聯(lián)合調(diào)度、負(fù)載均衡技術(shù)整合多個(gè)數(shù)據(jù)中心的存儲(chǔ)和計(jì)算資源構(gòu)建基于多智能中心的大數(shù)據(jù)服務(wù)平臺(tái)。

　　(1)高可擴(kuò)展性大數(shù)據(jù)挖掘算法針對(duì)大數(shù)據(jù)挖掘的挑戰(zhàn)研究基于云計(jì)算的分布式大數(shù)據(jù)處理與挖掘算法構(gòu)建高可擴(kuò)展的大數(shù)據(jù)處理與挖掘算法庫(kù)實(shí)現(xiàn) TB 級(jí)數(shù)據(jù)的建模能力。

　　(2)大數(shù)據(jù)安全與隱私保護(hù)技術(shù)針對(duì)數(shù)據(jù)挖掘“軟件即服務(wù)”(SaaS)模式的需求研究開發(fā)數(shù)據(jù)挖掘在云環(huán)境下的隱私保護(hù)、數(shù)據(jù)審計(jì)和節(jié)點(diǎn)數(shù)據(jù)挖掘技術(shù)確保大數(shù)據(jù)挖掘過程中的數(shù)據(jù)安全保證用戶的隱私不被泄露。

　　(1)基于 Web 的大數(shù)據(jù)挖掘技術(shù)突破傳統(tǒng)的基于單機(jī)軟件的數(shù)據(jù)挖掘技術(shù)創(chuàng)新基于 Web 的大數(shù)據(jù)挖掘方法和流程實(shí)現(xiàn)易于使用的基于 Web 的大數(shù)據(jù)挖掘技術(shù)構(gòu)建基于 Web 的大數(shù)據(jù)分析環(huán)境。

　　(2)基于 Open API 的大數(shù)據(jù)挖掘技術(shù)突破傳統(tǒng)的基于軟件的數(shù)據(jù)挖掘技術(shù)創(chuàng)新基于 Open API 的大數(shù)據(jù)挖掘方法研究大數(shù)據(jù)挖掘開放接口、開放流程構(gòu)建基于 Open API 的大數(shù)據(jù)分析模式。

　　為廣大用戶提供大數(shù)據(jù)處理和分析的服務(wù)功能大數(shù)據(jù)分析平臺(tái)要突破傳統(tǒng)的基于軟件和高端服務(wù)器的數(shù)據(jù)挖掘傳統(tǒng)技術(shù)體系采用基于云計(jì)算的大數(shù)據(jù)存儲(chǔ)和處理架構(gòu)、分布式數(shù)據(jù)挖掘算法和基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、處理和挖掘服務(wù)模式。實(shí)現(xiàn)這一目標(biāo)需要做如下創(chuàng)新

　　(1)系統(tǒng)架構(gòu)創(chuàng)新突破傳統(tǒng)的基于軟件和高端服務(wù)器的數(shù)據(jù)挖掘技術(shù)體系研發(fā)基于互聯(lián)網(wǎng)和云計(jì)算的大數(shù)據(jù)存儲(chǔ)、處理和挖掘的數(shù)據(jù)中心系統(tǒng)架構(gòu)支持多用戶、多任務(wù)的大數(shù)據(jù)分析環(huán)境;

　　(2)服務(wù)模式創(chuàng)新突破傳統(tǒng)的一次性軟件銷售或軟件租賃的高價(jià)格解決方案創(chuàng)新基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、處理和分析服務(wù)模式為用戶提供按需、廉價(jià)的大數(shù)據(jù)存儲(chǔ)、處理和分析服務(wù);

　　(3)使用模式創(chuàng)新突破傳統(tǒng)的使用單機(jī)軟件的方式創(chuàng)新基于互聯(lián)網(wǎng)的大數(shù)據(jù)存儲(chǔ)、管理和分析服務(wù)提供多終端(臺(tái)式機(jī)筆記本平板電腦、手機(jī)等)、多途徑(瀏覽器訪問Open API 調(diào)用等)的用戶使用模式。

　　商業(yè)應(yīng)用是大數(shù)據(jù)分析平臺(tái)的發(fā)展目標(biāo)。隨著我國(guó)程度和水平不斷提高越來越多的企業(yè)需要大數(shù)據(jù)分析的能力以提高競(jìng)爭(zhēng)力。在互聯(lián)網(wǎng)、電子商務(wù)、金融、電信、零售、物流等數(shù)據(jù)驅(qū)動(dòng)型行業(yè)客戶分群、客戶行為分析、客戶關(guān)系管理、市場(chǎng)營(yíng)銷、廣告投放、業(yè)務(wù)優(yōu)化、風(fēng)險(xiǎn)管理等企業(yè)核心業(yè)務(wù)越來越依賴于對(duì)數(shù)據(jù)的有效分析與挖掘。正如在《大數(shù)據(jù)國(guó)家選擇與產(chǎn)業(yè)方向》一書中所說“大數(shù)據(jù)時(shí)代公司的價(jià)值與其擁有的數(shù)字資產(chǎn)的規(guī)模、活性成正比與其解釋、運(yùn)用數(shù)據(jù)的能力成正比”。因此如何從海量業(yè)務(wù)數(shù)據(jù)中挖掘有價(jià)值的信息和知識(shí)從而指導(dǎo)商業(yè)運(yùn)營(yíng)與決策、提高企業(yè)運(yùn)營(yíng)效率和盈利能力成為每個(gè)企業(yè)都將面臨的重要挑戰(zhàn)。

　　大數(shù)據(jù)分析平臺(tái)基于分布式海量數(shù)據(jù)存儲(chǔ)與計(jì)算環(huán)境提供圖形化交互式數(shù)據(jù)處理和分析工具豐富的數(shù)據(jù)分析與挖掘算法以及交互式可視化分析工具通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供服務(wù)。這種系統(tǒng)實(shí)現(xiàn)策略不僅符合大數(shù)據(jù)應(yīng)用的發(fā)展趨勢(shì)同時(shí)也滿足中小企業(yè)和個(gè)人用戶對(duì)于數(shù)據(jù)分析系統(tǒng)的可用性、時(shí)效性和低成本等方面的要求。

　　目前在大數(shù)據(jù)處理與分析領(lǐng)域國(guó)際上三支主要力量在不斷地競(jìng)爭(zhēng)與融合即大型互聯(lián)網(wǎng)公司(如Google、Amazon)、 傳 統(tǒng) 商 務(wù) 智 能 公 司( 如SAS、SPSS)和傳統(tǒng) IT 公司(如IBMORACLESAP)。三方從各自優(yōu)勢(shì)出發(fā)不斷增強(qiáng)針對(duì)大數(shù)據(jù)的分析智能性、計(jì)算擴(kuò)展性和非結(jié)構(gòu)化數(shù)據(jù)處理能力。盡管一些公司在上述領(lǐng)域取得突破并搶得市場(chǎng)先機(jī)但國(guó)際大數(shù)據(jù)產(chǎn)業(yè)整體上仍然處于起步階段據(jù) IDC 公司預(yù)測(cè)未來 5 年大數(shù)據(jù)分析產(chǎn)業(yè)年增長(zhǎng)率高達(dá) 9.8%到 2016年全球產(chǎn)業(yè)規(guī)模將超過 500 億美元。同時(shí)越來越多的大數(shù)據(jù)創(chuàng)新公司不斷涌現(xiàn)并發(fā)展迅速也證明了該領(lǐng)域蘊(yùn)含著巨大的發(fā)展?jié)摿蛷V闊的市場(chǎng)前景。

　　大數(shù)據(jù)分析平臺(tái)所采用的技術(shù)路線和應(yīng)用模式融合了智能分析技術(shù)、高可擴(kuò)展計(jì)算技術(shù)、非結(jié)構(gòu)化數(shù)據(jù)處理技術(shù)和軟件即服務(wù)(SaaS)應(yīng)用模式符合當(dāng)前國(guó)際大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展趨勢(shì)和產(chǎn)業(yè)化應(yīng)用要求。一方面系統(tǒng)通過互聯(lián)網(wǎng)服務(wù)方式向用戶提供高可用、高易用和一站式的海量數(shù)據(jù)分析服務(wù)可有效降低企業(yè)應(yīng)用門檻和成本通過專業(yè)化服務(wù)外包滿足企業(yè)個(gè)性化需求。另一方面由于是開放架構(gòu)的系統(tǒng)平臺(tái)商業(yè)用戶和其他軟件提供商可通過系統(tǒng)提供的互聯(lián)網(wǎng)服務(wù)開發(fā)接口(Open API)開發(fā)面向行業(yè)商務(wù)智能應(yīng)用的解決方案孵化新型咨詢公司、軟件公司和信息服務(wù)公司有助于形成以平臺(tái)為核心的大數(shù)據(jù)分析產(chǎn)業(yè)生態(tài)環(huán)境。

　　自2001年12月31日澳門幸運(yùn)博彩專營(yíng)合約期滿之后，澳門博彩業(yè)已經(jīng)發(fā)展成為“三家正牌，三家副牌”共六家公司參與激烈競(jìng)爭(zhēng)的局面，而亞洲各國(guó)和周邊地區(qū)博彩業(yè)的規(guī)劃與發(fā)展則使競(jìng)爭(zhēng)的程度進(jìn)一步加劇。近幾年來，全球經(jīng)濟(jì)危機(jī)及內(nèi)地在宏觀經(jīng)濟(jì)調(diào)控及簽證政策調(diào)整等方面的舉措，使博彩公司面臨經(jīng)營(yíng)管理的巨大挑戰(zhàn)。博彩公司的管理者們?cè)絹碓疥P(guān)心如何提高績(jī)效并降低運(yùn)營(yíng)成本，如何合理的配置公司的各種博彩產(chǎn)品及配套

　　發(fā)現(xiàn)注冊(cè)、配置中心、消息總線、負(fù)載均衡、斷路器、數(shù)據(jù)監(jiān)控等，都可以用Spring Boot的開發(fā)風(fēng)格做到一鍵啟動(dòng)和部署。 在本套課程中，我們將全面的講解Spring Cloud技術(shù)棧， 從環(huán)境的部署到技術(shù)的應(yīng)用，再到項(xiàng)目實(shí)戰(zhàn)，讓我們不僅是學(xué)習(xí)框架技術(shù)的使用，而且可以學(xué)習(xí)到使用Spring Cloud如何解決實(shí)際的問題。 Spring Cloud各個(gè)組件相互配合，合作支持了一套完整的微

　　網(wǎng)關(guān) nZuul網(wǎng)關(guān)使用&原理分析&源碼分析 nZuul 1.x 版本的不足與替換方案 nSpringCloud Gateway深入剖析 l鏈路追蹤 n鏈路追蹤的基礎(chǔ)知識(shí) nSleuth的介紹與使用 nSleuth與Zipkin的整合開發(fā) l配置中心 nSpringClond Config與bus 開發(fā)配置中心 n開源配置中心Apollo 4、主講內(nèi)容 章節(jié)一： 1.微

　　網(wǎng)關(guān)Zuul的基本使用 2.Zuul1.x 版本的不足和替換方案 3.深入SpringCloud Gateway 4.鏈路追蹤Sleuth與Zipkin 章節(jié)四： 1.SpringCloud Config的使用 2.SpringCloud Config結(jié)合SpringCloud Bus完成動(dòng)態(tài)配置更新 3.開源配置中心Apollo

　　導(dǎo)讀：大數(shù)據(jù)環(huán)境呈現(xiàn)出“4V+1C”的特點(diǎn)：數(shù)據(jù)量巨大(Volume)、數(shù)據(jù)類型繁多(Variety)、價(jià)值密度低(Value)、處理速度快(Velocity)和具有較強(qiáng)的復(fù)雜性(Complexity)，原始大數(shù)據(jù)信息中混雜著許多不完整、錯(cuò)誤和重復(fù)的“不清潔”數(shù)據(jù)，導(dǎo)致大數(shù)據(jù)存在著不一致、不完整性、低價(jià)值密度、不可控和不可用的特性。面對(duì)如此龐大的數(shù)據(jù)量，人們希望從海量數(shù)據(jù)中挖掘出有價(jià)值的信息或知識(shí)...

　　一、項(xiàng)目背景 隨著我國(guó)現(xiàn)代信息技術(shù)的蓬勃發(fā)展，信息化建設(shè)模式發(fā)生根本性轉(zhuǎn)變,一場(chǎng)以云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)應(yīng)用等技術(shù)為核心的“新 IT”浪潮風(fēng)起云涌，信息化應(yīng)用進(jìn)入一個(gè)“新常態(tài)”。*(某政府部門)為積極應(yīng)對(duì)“互聯(lián)網(wǎng)+”和大數(shù)據(jù)時(shí)代的機(jī)遇和挑戰(zhàn)，適應(yīng)全省經(jīng)濟(jì)社會(huì)發(fā)展與改革要求，大數(shù)據(jù)

　　離不開BI。在大數(shù)據(jù)之前，BI就已經(jīng)存在很久了，簡(jiǎn)單把大數(shù)據(jù)等同于BI，明顯是不恰當(dāng)?shù)摹５珒烧哂质蔷o密關(guān)聯(lián)的，相輔相成的。BI是達(dá)成業(yè)務(wù)管理的應(yīng)用工具，沒有BI，大數(shù)據(jù)就沒有了價(jià)值轉(zhuǎn)化的工具，就無法把數(shù)據(jù)的價(jià)值呈現(xiàn)給用戶，也就無法有效地支撐企業(yè)經(jīng)營(yíng)管理決策；大數(shù)據(jù)則是基礎(chǔ)，沒有大數(shù)據(jù)，BI就失去了存在...

　　摘要：在跟很多客戶的溝通過程中，用戶常常提出這樣的問題：目前我們的數(shù)據(jù)庫(kù)中已經(jīng)存儲(chǔ)了大量的數(shù)據(jù)，包括結(jié)構(gòu)化的和非結(jié)構(gòu)化的，但是分布在不同的系統(tǒng)，各個(gè)業(yè)務(wù)系統(tǒng)從這些數(shù)據(jù)庫(kù)中取數(shù)據(jù)的需求和情況越來越多，已經(jīng)形成了難以維護(hù)管理的“蜘蛛網(wǎng)”，需要建立統(tǒng)一的數(shù)據(jù)管理和訪問

　　在我們的項(xiàng)目當(dāng)中，使用定時(shí)任務(wù)是避免不了的，我們?cè)诓渴鸲〞r(shí)任務(wù)時(shí)，通常只部署一臺(tái)機(jī)器。部署多臺(tái)機(jī)器時(shí)，同一個(gè)任務(wù)會(huì)執(zhí)行多次。比如給用戶發(fā)送郵件定時(shí)任務(wù)，每天定時(shí)的給用戶下發(fā)郵件。如果部署了多臺(tái)，同一個(gè)用戶將發(fā)送多份郵件。只部署一臺(tái)機(jī)器，可用性又無法保證。Elastic-Job框架可以幫助解決定時(shí)任務(wù)在集群部署情況下的協(xié)調(diào)調(diào)度問題，保證任務(wù)不重復(fù)不遺漏的執(zhí)行。 Elas...

　　離不開BI。在大數(shù)據(jù)之前，BI就已經(jīng)存在很久了，簡(jiǎn)單把大數(shù)據(jù)等同于BI，明顯是不恰當(dāng)?shù)摹５珒烧哂质蔷o密關(guān)聯(lián)的，相輔相成的。BI是達(dá)成業(yè)務(wù)管理的應(yīng)用工具，沒有BI，大數(shù)據(jù)就沒有了價(jià)值轉(zhuǎn)化的工具，就無法把數(shù)據(jù)的價(jià)值呈現(xiàn)給用戶，也就無法有效地支撐企業(yè)經(jīng)營(yíng)管理決策；大數(shù)據(jù)則是基礎(chǔ)，沒有大數(shù)據(jù)，BI就失去了存在的基礎(chǔ)，沒有辦法快速、實(shí)時(shí)、高效地...