【云先鋒】ClouDil云方案：PB級大數據解決方案

珠海世紀鼎利通信科技股份有限公司作為一家在通信領域專長于無線網絡測試并提供移動通信網絡優化綜合解決方案的高科技企業，以其領先的技術、服務實力以及優秀業績，于2010年1月在創業板成功上市，世紀鼎利專注于為通信運營商、系統提供商和第三方咨詢服務公司提供專業的無線網絡優化、測試、規劃等解決方案和產品，正逐步轉型成為“端到端綜合解決方案”提供商。

旗下的ClouDil云方案成為國內率先將Hadoop技術實際運用到電信領域的產品，由于電信級的信令共享平臺數據量很大，以中移動江蘇公司2011年為例，約36億條記錄/天，對查詢性能要求極高，一個月的數據要求秒級呈現。日前，筆者有幸聯系到該公司的基礎研究部副總監張勇鵬，他給我們詳細分享了ClouDil云方案的性能特性，以及開發過程中的諸多細節，以下為采訪實錄：

張勇鵬

畢業于西安電子科技大學，現任珠海世紀鼎力通信科技股份有限公司基礎研究部副總監 。

歷任：高級開發工程師、測試部經理、西安研發主任、2011任基礎研究部副總監，同時組建云計算團隊，負責ClouDil的研究和開發。

CSDN：能給大家介紹下你和你們公司情況嗎？技術特點和團隊結構如何？ 

張勇鵬：世紀鼎利成立于2001年，主要專注于無線網絡測試并提供移動通信網絡優化綜合解決方案，為通信運營商、系統提供商和第三方咨詢服務公司提供專業的無線網絡優化、測試、核心網信令大數據解決方案和產品。

云計算團隊組建于2011年，開發團隊主要分布在北京、西安、珠海，人員主要由開發經理、架構師、產品經理、產品助理、開發工程師、測試人員組成，基本上保持50人左右的規模。

ClouDil主要負責涉及4個方向：大數據處理、應用托管、集群管理、可視化建模。

云計算方面的產品主要是我們的ClouDil系列，產品介紹及特性如下：

1）ClouDil TitanData 

提供PB級數據的采集、存儲和處理能力，作為企業大數據平臺，為企業提供端到端的業務支持，快速實現海量數據的商業價值。

2）ClouDil Visual Modeler 

針對于大數據的可視化建模，大大降低用戶的開發門檻，不用寫代碼、只需要懂業務即可快速開發基于大數據應用。

3）ClouDil AppHost 

比VMware更輕量級的虛擬技術，通過資源隔離方式，實現Web、PHP、Java后臺服務等應用的托管，大大減少了應用部署的復雜度和工作量，同時極大的提高了硬件資源的利用率。

4）ClouDil ClusterCare 

對集群進行統一管理的平臺，不但對硬件進行監控，也可以通過自定義的方式對集群中運行的程序進行監控、告警。

CSDN：談談你們的ClouDil云方案吧，主要功能有哪些？為什么開發這個平臺？

張勇鵬：2011年，我司中標中移動江蘇公司信令共享云平臺項目，當時信令共享平臺的數據量很大，約36億條記錄/天，對查詢性能要求極高，一個月的數據要求秒級呈現，傳統的數據庫方案完全無法實現。

當時我們也在找一些合作廠家，但發現國內沒有任何一個成熟的云方案能解決電信級大數據的問題，后來只好自行組建團隊，使用Hadoop技術，使得此江蘇信令共享平臺項目成為國內第一家將Hadoop技術應用在電信領域的解決方案。

江蘇信令共享平臺是ClouDil的第一個項目，當時主要的功能有兩個：一個是即席查詢、一個是海量數據分析。

CSDN：你覺得ClouDil最大的技術優勢在哪？國內外競爭者有哪些？

張勇鵬：ClouDil的最大技術優勢有兩個：敏捷和包容。敏捷性體現在：1、快速部署，一鍵即可安裝。2、快速開發，不需要編碼即可開發。包容性主要體現在可針對任一Hadoop生態鏈中的版本，比如：CDH4、Hive、HBase、Hypertable、Implala都可根據用戶的需求特點進行選裝。

CSDN：開發這個平臺過程中遇到的最大困難是什么？目前企業在部署ClouDil平臺過程中還有哪些難點？

張勇鵬：遇到最大的困難還是人才難求，畢竟國內在這塊還是比較薄弱，相關的高級開發人員還比較少。

部署ClouDil本身比較容易，但ClouDil畢竟是一個平臺，最終產生價值的還是基于平臺的應用，由于Hadoop對開發人員要求較高，一些未經優化的應用進入平臺后，會占用大量的平臺資源，導致平臺效率極其低下。

CSDN：ClouDil如何收費？盈利模式如何？

張勇鵬：呵，目前ClouDil還沒有做為一個完整的發行包提供，主要應用在一些行業的解決方案，這些行業方案具有一個共同的特點，就是數據量非常大，比如電信領域、交通領域等等。

CSDN：未來有什么規劃？對這個行業的前景怎么看？

張勇鵬：ClouDil將在近期提供免費版本，供大家使用，并會根據反饋意見進行改進。

目前云計算、大數據都比較熱，但真正讓大數據帶來收益的案例并不多，ClouDil的大方向是為用戶帶來實實在在的利益，比如說減少成本，帶來增值等等。大數據的趨勢不可改變，只要踏踏實實的做下去，真正為用戶帶來價值，肯定會越來越好。

CSDN：有沒有什么有趣的用戶案例和大家分享一下？

張勇鵬：呵呵，我們在大數據挖掘領域正在進行深入的研究，目前主要在通信領域這塊，有幾個有意思的結果：

1、各地的晚高峰時間點不一樣，比如重慶，晚高峰一般在18：00，而南京的晚高峰會出現在15：30分左右，沈陽晚高峰有時會更早。

2、一般節日通話次數少于平時。

3、春節期間，從8點開始，信道占用一路上升，到12點半后開始下降。

4、微信和QQ，占了統計流量的50%，各地都差不多。

CSDN：能談談數據挖掘領域面臨的挑戰嗎？國內在數據挖掘方面處在什么樣的水平？和國外的差距體現在哪些方面？

張勇鵬： 目前國內在挖掘上“各廠家都在探索“，而更多的是數據統計，挖掘主要是定向的多一些，即知道結果，回溯其原因。國外這塊的研究更多一些，國內因為追求短期利益，而大數據這塊開發和調試相對周期更長，帶來的利益也不是很明確，一般企業不會投入太多精力去做研究，而大數據挖掘才能為用戶帶來真正的價值，我們后期將會在挖掘領域投入更多的研究。 

CSDN：您對第六屆云計算大會有哪些期望？特別關注哪部分？為什么？ 

張勇鵬：應用，目前國內平臺的建設、數據的存儲基本上完成了，剩下的就是應用，如何基于這些數據對最終客戶帶來價值，這才是硬道理。只要切切實實給用戶帶來利益，云計算、大數據才會有長遠的發展。

如果您的公司認同云計算與大數據發展趨勢，重視技術團隊的發展和技術人才的成長，承認技術已成為企業關鍵競爭力之一，那就不應錯過第六屆中國云計算大會。目前購票火爆， 團體購票可享受8折優惠，個人票僅有部分剩余，迅速搶票 ！

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈