中國電子學會云計算專家委員會主任委員懷進鵬：對云計算大數據的認識與思考

【CSDN現場報道】第六屆中國云計算大會于2014年5月20-23日在北京國家會議中心拉開帷幕。本次大會立足實踐，以國際化的視野，幫助與會者了解全球云計算技術的發展趨勢；從應用出發，探討交通、醫療、教育、金融、制造、數字娛樂等行業領域的實踐經驗；并通過技術專場、產品發布和培訓課程等方式，深度剖析云計算大數據的核心技術。

中國電子學會云計算專家委員會主任委員，中國大數據專家委員會主任委員，中國科學院院士懷進鵬作為主會第一位演講嘉賓，發表了題為“對云計算大數據的認識與思考”的演講。他表示：互聯網正在迎來第三次變革，通過云計算和大數據，進入以數據和服務為中心的模式，但是也存在著三個挑戰：資源的共享與管理，數據分析處理能力和網絡與數據安全問題。

以下為演講實錄：

懷進鵬：各位專家、各位領導、各位來賓大家上午好，非常高興有機會跟各位匯報和交流一些認識，關于云計算大數據的認識，這個領域現在非常熱，前面吳部長做了高瞻遠矚的發言，云計算和大數據一個重要的內容，我們從量變到質變比較容易，量變過程容易認識，從量變到質變的一個瞬間難以把握的，如何在信息技術發展的今天我們能夠有新的機會，或者是再找到新技術，從分布到走到集中，集中又走到分布這樣一些新機會。特別是互聯網信息技術和產業發展當中我們能不能有更重要的機會，所以我跟各位交流一下認識，有些非常有局限的，面對當前互聯網的發展計算模式的機會是什么，云計算和大數據主要的問題，最后是一些科學問題與建議。

其實云計算和大數據發展，大家一直講一件事情：是不是會出現互聯網的第二次價值？這個價值可能對我們來說窗口期不是很長，一旦大規模產業化應用的時候，我們從中發現問題的機會，和我們前面創造技術帶來的機會有所不同。大家知道谷歌的情況，現在數據有所變化，網民每次點擊谷歌收兩美元，實際上它的后臺對它支持非常大，互聯上百萬臺服務器存儲上百PB的服務器，而且功耗也很大，主要方式實際上是互聯網進入了一個新的運營商的概念，不是基礎設施，而是服務運營商的概念。

中國電子學會云計算專家委員會主任委員，中國大數據專家委員會主任委員，中國科學院院士 懷進鵬

像我們這次會議主題一樣智慧中國，以后作為城市智慧，中國智慧應該在哪里？從一個角度來說我們會有交通、醫療、社區等等，那么這些方式保證了標準規范，有了安全支撐以后，更多的通過服務商和系統的管理運維來提供對于社會和企業更多的友好應用。所以這種模式的發展可能真的會對于我們很多的狀態發生變化，就像互聯網改變了我們過去幾類的傳統產業。比如說我們數字傳媒業，比如說我們現在電子商務，比如說我們現在教育、醫療方面，在整個現代服務業方面可能都會面臨新的影響和沖擊，特別像金融系統也會有很多新的變化，所以互聯網和信息化是非常重要的孿生兄弟，互聯網快速發展使得我們更多的利用好資源。

既然如此就出現兩個新問題：一、怎么用好這個資源，怎么管好這個資源。我們在技術上面大家都知道有了很多探索，包括以前面向科學計算、網格計算，互聯網應用當中P2P等等有很多方式，實際上一個基本問題就是為了管好資源，而管好資源的基礎是能夠對這些資源真的是形成它的創造能力和服務能力以及高可靠能力，所以管好資源很重要。什么是云計算？云計算是盡力可為的計算，并不保證質量，從計算通信平臺向計算平臺和智能平臺轉換中出現的一類平臺，實現我們廉價盡力而為的應用服務體系。

大數據這兩年非常熱門，已經成為全世界的熱詞，什么是大數據？任何一件事情我們對它定義無外乎兩個兩面，一個方面我們通過內涵，另外一個通過外征，對大數據我們對它實在沒辦法定義，有點類似商業社會的負面清單管理，不是被處理好的數據就叫大數據，盡管如此大數據給技術研究者、產業界帶來了很多機會，在當前互聯網二次價值信息探索的時候管好數據，管好資源是云計算要做的，同時大量資源如何用好這是非常重要的問題，所以用好應該好也是一個硬幣兩個方面，代表著云計算的管理和大數據的分析。

作為第一個方面就是資源的共享和管理，我們現在都知道資源和數據成為重要的基礎設施，整個社會當中在信息化的發展里面資源共享和管理是特別重要的。另外一個方面就是資源本身在信息化當中已經是一個重要的耗能產業，這是幾年前有過這樣的數據分析，ICT是全球耗能的第五大產業。同時大量的資源海量資源進入管理當中，也會對我們實際應用帶來特別重要的影響。

第一張圖是facebook在一天的應用當中，有一天對資源爆炸性的增長，從50臺一下子變成3000臺，這個就要求我們如何管好資源，配置好資源，同時系統的可靠性也非常重要。在應用當中動則幾百萬，上千萬的應用，去年光棍節淘寶交易額達到新的水平，在這樣資源需求和供給極大的增長，短時間爆炸的時期，如何建立高可靠的資源管理，就是我們云計算面臨的第一個重要挑戰。

二、現在都在說大數據，我們把原有的數據分析，統計科學的結果來談我們如何大數據的分析。另外一組方式，大數據是我們現在方法還不能有效處理的這類數據。所以在一個角度來說大數據我們沒有辦法應對，人類智慧還沒有找到更有效對所有數據衡量進行分析，國務院是科學大數據的分析，科學數據是研究的基礎，商業數據，還有一類社會數據，所以在數據走向豐富的時候，也可能會給我們帶來影響，這個也需要研究。

另外一個大數據出現確實在一些方面給我們帶來一些價值，在醫療應用，在數據計算分析當中都有很多好處，同時在社會活動當中，在經濟領域都有通過對數據的歸類和分析來進行預測發現在一定程度上對我們認識和解決問題有很重要的影響。同時我們意識到大數據分析對一種方法一類數據分析，是對所有分析。這像谷歌前一段時間對流感的預測沒有達到它在08年預測的那么準，也說明在認識問題和采集數據分析方式還會有不同方式出現，因為它并不是0和1之間的選擇。所以很多產業界的朋友們講現在是IT到BT的產業轉型，我覺得從技術角度來看我們還需要進行研究和處理。

第二個問題真的是如何用好這些數據，就需要提高數據分析的處理能力。數據分析處理能力最重要就是我們對于軟件開發設計，在這個方面在傳統的軟件當中已經是一個非常大的問題，我們面對互聯網大量數據的出現，所以還有一個新問題，就是在大數據時代軟件工具還有不適應的問題，是不是出現面向云計算和大數據需要的新一類技術和科學，比如說數據科學與工程來支持對于現在大數據和海量資源管理和調度的問題，可能也是非常有意義的事情，但是值得探索的問題。

第三關于網絡安全和數據安全的問題，如果我們想使得資源能夠被用好，最后一個就是能夠放心的用，安全問題應該說是無論怎么強調都不過分，對于大數據來說可能隱私和共享的問題成為新的矛盾，因此我覺得面向互聯網第二個機會興起的時候，可能要我們面對處理好三個問題，未來架構問題，包括硬件設備和系統。第二關于資源有效的管理和處理。第三就是我們能夠提供可信任的基本環境。

對于通信認識，我們現在幾乎很少用寫信的方式來與伙伴、朋友、家人進行聯系，通信是非常重要不可或缺的方式，互聯網改變我們很多通信的方式，實際上互聯網已經正在改變我們經濟和社會的生活。前面提到谷歌公司有4.5億模型預測傳染病，阿里巴巴預測金融風險，我們流行一句話有了搜索引擎就可以熟悉更多的游覽器，有了電子商務我們熟悉客戶的消費行為，這些社交媒體使我們熟悉客戶的交流方式，如果我們行為方式有所改變，是否對大數據的分析處理能夠有助于我們科學研究。所以這幾年當中科學研究基于大數據的科學研究，在傳統科學計算領域開始進入到網絡計算，也提出了理論研究、實驗研究、計算研究之外的數據密集型的研究，更有人提出大數據是否成為科學研究。對此也有專題研究，同時美國、歐盟以及中國都啟動對大數據研究的科學問題，因為對未來問題的發現也是一個重要的機遇，究竟大數據能否改變或者影響我們一定程度的思維模式，如果是的話，它會從什么角度開始。我舉個例子，我們在日常生活和行為方式上，我們通常在做飯會用查一查的方式解決我們是否知道飯菜熟了，這是在科技社會當中基本的經濟統計的方法，以量本是均勻的假定進行我們的行為。但是大數據下數據是不斷的變化，表達的方式是多樣的，所以過去以產量的方式可能結合產量樣本的分析，或者基于一個區域一個時間內對于施工下產量樣本的共同研究。我們買一雙鞋會不會跑遍所有北京商店，而是基本差不多就行，從科學方向走向看著差不多就行情況下，計算就變得非常需要。

第三我們經常講科學研究不僅知其然要知其所以然，從因果性看問題的源頭，從大數據當中我們考慮如何大概差不多判斷知其然也會重要。這在我們實踐當中有很多這樣的方式，所以因此大數據否是科學的問題還是一個偽命題，至少從實驗角度對我們研究這類問題有意義。

我下面談到關于問題簡單說一下，是否從大數據思維中我們能夠發現認識更多的有關大數據的問題，這個問題表現特征作為從事計算機的角度而言，我們第一個關心大數據能不能處理，第一個問題自然變成數據能不能算得了，數據能不能算得了一個基本的常識，無論計算機有多快還有一些問題由于復雜性太高算不了，計算問題是計算機工作者最關心的問題，我們一輩子做的事情，輸入通過一個函數這就是軟件，能夠轉換和輸出一個結果。所以研究最重要的問題就是和F有關，那么F就是算法也就是我們看問題能不能算，算法問題非常重要，過去已經有10位左右的圖靈獎獲得者在算法和研究的領域，但是大數據時代是不是計算復雜度特別高，因為它定義數據算不了，因此會不會有新問題，這是我們關注的問題。

在傳統我們學計算函數的時候大家知道，能計算分成兩類，能判定分為易解問題，不能算難算有近似的問題，在大數據下可能有很大變化。過去易解的問題在現有環境下不可解的，比如說一個PB的數據，光用現在最快硬盤讀取速度1.9天，一個GB的數據需要五年左右完成，百度一天網頁超過10個PB，百度用最快硬盤把數據讀完就需要19天，一天數據需要19天讀完，顯然在數據處理當中它已經不是能解決的，這是我們忍受不了當天事需要18天完成，過去認為能算的問題在這里可能算不了，所以對這類問題我們需要有很多新研究考慮的事情。

第二類事情我們說難解的事情，在計算機找出計算給出盡可能好的結果，在大數據下我們給一個函數近似表示，數據極大，找近似的時候雙重近似把問題又復雜化了，所以出現一個新情況我們要把F和算法和輸出要做新的匹配。這樣一個問題直接涉及到了怎么設計算法，怎么編這個軟件，我們知道在小樣本結果下算法小就是好識別率高，在大樣本下簡單算法就好的，10的6次方一個簡單算法對系統更重要。

第二個關于數據表征和度量的問題。要想計算要把它表示出來，大量毫無規律的數據怎么度量怎么給社會提供數據，所以對于大數據處理，或者云計算處理一個基本的問題就是數據表征和度量的問題。這個里面問題又是非常復雜的，涉及到數據極大的量，大概10的10次方以上為數，才能表達所有數據，第二數據度量越來越難，一頭豬和一只大象有可能相似的，有可能兩個雞蛋不同，究竟這個意義在何處？如何度量？如何理解？有可能數據分析結果給我們帶來我們直觀上完全認識不一樣的事情，但是它的合理性在哪里？數據表征度量是解決計算之后最重要的問題。

數據如此之多如同大海撈針一樣怎么建立更有效數據的搜索方法，從關鍵詞搜索還有沒有新方式？

第三類我們說解決了計算問題，解決數據表示和理解的問題，剩下來就是數據怎么在實際處理當中有效結合的同時。現在數據處理當中熟悉的是hadoop，但是意識到它是有效的方法，但是有很多局限性，比如說面對計算能力，數據不斷的增量發展，不僅要解決一段的數量，還要解決間接增加，不僅解決自己向下的分析方法，還有相融合分析數據，這可能對我們現在軟件系統提出新挑戰，并且也適時研發很多研究，新的大數據，云計算處理模型是什么樣，對現有的存儲，體積機構有什么影響？如何有效支持數據分析和發展？在這里就形成也許未來我們存儲和計算互動，就像我們擁有大數據的企業和公司一樣，它的存儲和計算能力一定不是通用商業性，而是有效解決跟它最契合的數據內容。

接下來關于數據分析，第三個有一個比較有意思就是大數據和Crowd軟件，利用眾多的軟件實踐和理解來解決軟件群體智能的問題，這個問題很好玩但是剛剛開始，我們解決計算的復雜性一個方面回答圖靈計算，另外我們從E圖靈計算的來看，業余通過crowd computing可以融合大家智慧一起研究。

第四個就是可信問題，建立隱私和數據的安全保護。這一類問題在大數據當中，在線模型云計算有很多挑戰，這個領域安全問題在在線云計算當中多少年一直排在第一位，其次才是性能和可用性。關于安全風險分析也有常規所提到六類和七類重要研究的點。我們也在這里給各位報告，北航研究團隊在數據計算復雜性，數據查詢搜索，研究F和X找到X上最近也有好的結果，這一點需要我們繼續努力。

最后我想說幾句話怎么看大數據分析價值，這張圖是技術經濟預測，在這張圖當中有這么幾個階段，我分別標出云所在的地點，對應底下劃分實際上給出技術到形成生產力的一個全過程。應該說大數據現在真正形成一個產業和完全影響沒有到來，而關于虛擬世界或者我們對云計算的發展倒是有相當的機遇。

另外一個方面我們看到大數據還正在處在起步階段，過渡商業的炒作對大家關注有好處，但是很容易忽略它后面的問題，因此也應該權衡好技術發展和產業應用的關系。另外大數據的投資像前面所講在云計算也有很多基礎，在教育、醫療、交通、能源利用方面大數據的分析的確在這些領域有了效果而且有很多投資在這里發展，那么未來也給出了對未來形勢的預測。大數據很熱是因為大家預測2016年產業會應用巨大。我覺得從電子商務軌跡來看技術創新和產業機遇會有一個時間差，不同時間窗口下我們應該抓住它技術或產業發展最重要的部分。關于云計算和大數據我覺得是一場可能會影響我們很長時間重要的內容，也許會對我們行為、思維都會產生重要的影響，特別是對我們未來的交流上，但是我想也更需要產業界、學術界和擁有資源的資源擁有者能夠共同合作來推進云計算大數據有效的發展，這個也對中國信息產業的發展和信息化的建設會有特別重要的作用，謝謝各位。

更多精彩內容，敬請關注第六屆中國云計算大會專題報道，關注新浪微博直播 @CSDN云計算。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈