【云先鋒】訊之智RSBASE：實現PB級數據的實時查詢和分析平臺

大數據洶涌來襲，一個大規模生產、分享和應用數據的時代正在開啟。每個人，每個企業和機構都同時是數據的制造者和消費者。高速增長是大數據的一個重要特征，每時每刻，數據從各個渠道以驚人的速度源源不斷地生成。信息具有時效性，各種重要的商機轉瞬即逝，各種問題和危機需要實時的應對能力，以閃電的速度傳遞商業智能，幫助企業在瞬息萬變的現代商業競爭中把握稍縱即逝的黃金機遇，游刃有余地應對各種突發問題和危機，是訊之智大數據分析產品努力追求的目標。 

開源架構Hadoop是批處理架構，不具有實時分析能力。目前流行的一些實時分析系統例如HANA都是基于純內存計算，實時分析的數據量比較有限。由美國海歸博士團隊創立的南京訊之智公司自主研發的大數據實時分析平臺RSBASE是基于工作集的內存需求，可用資源和系統的實時性可進行靈活調整，能夠輕松實現千億條信息的實時查詢和分析。以下是對訊之智創始人謝晚霞的采訪實錄：

謝晚霞

南京訊之智創始人，畢業于美國佐治亞理工學院。

在美國擁有多年工作經驗，曾經在美國成功創立一家致力于互聯網實時搜索和分析技術的公司，公司憑借其突破性的創新技術入圍美國著名的IT界創新大賽TechCrunch Disrupt。

CSDN： 首先給大家介紹一下你和你的公司？團隊結構？

訊之智：南京訊之智由美國海歸博士團隊創立。公司從2013年起開始全面開拓中國市場。團隊技術核心人物為創始人謝晚霞博士，他畢業于美國佐治亞理工學院，在美國擁有多年工作經驗。曾經在美國成功創立一家致力于互聯網實時搜索和分析技術的公司。該公司憑借其突破性的創新技術在美國著名的IT界創新大賽TechCrunch Disrupt中獲得過決賽入圍的榮譽。團隊中另有多名來自中美領域的一流軟件人才。同時公司在美國設有研發分支機構，以保持公司技術和世界領先水平的同步性。

CSDN：為什么選擇大數據實時分析行業？是看到什么樣的市場機會？

訊之智：首先在大數據實時分析領域，我們的團隊在多年的工作中積累了豐富的經驗。在搜索引擎技術、大規模分布式計算、數據庫、數據挖掘等領域都擁有深厚的理論基礎和豐富的實踐經驗。大數據技術是當前IT領域中最有潛力的分支，是各國政府和企業界都非常看重的具有戰略意義的產業。Web2.0 、移動互聯網和物聯網時代的來臨，更加凸顯大數據技術的重大意義和應用價值。

中國是天然的數據大國。中國擁有全世界最多的網民和手機用戶，也擁有非常多的信息化企業。在過去二十多年內，中國在信息化進程方面取得了巨大的進展，各行各業的領先企業以及政府機構都實現了現代信息化辦公和管理，政府機構的電子政務建設也蓬勃發展。在這場規模浩大的信息化進程中，企業和政府機構積累了海量的數據。這些數據中往往蘊含著價值潛力巨大的信息，需要運用先進的數據分析技術予以充分挖掘，才能充分利用。大數據技術在中國市場上一定可以創造出巨大的價值，其發展空間不可限量，這就是我們看到的市場機會。

CSDN：你們的RSBASE大數據實時分析管理平臺最大的技術優勢有哪些？

訊之智：

1． 對海量流式數據的實時分析能力。自主研發的分布式存儲、索引和分析平臺，處于國際一流水平。國內外流行的開源架構Hadoop是批處理架構，不具有實時分析能力。目前流行的一些實時分析系統例如HANA都是基于純內存計算，實時分析的數據量比較有限。RSBASE是基于工作集的內存需求，可用資源和系統的實時性可進行靈活調整。

2． 系統性能優化率高，對計算資源的利用率高，達到國際先進水平。行列式混合存儲，數據壓縮率高，同時數據裝載和實時分析速度不受影響。

3． 穩定性和可靠性高，可以在公有云平臺上穩定運行處理高速海量數據。目前國內外能做到這一點的廠商屬于鳳毛麟角。比如說，國內絕大多數的Hadoop技術供應商目前只提供基于專用計算機集群的解決方案。

4． 對非結構化數據的分析挖掘能力。訊之智的受專利保護的多維度非結構化數據分析模型，以及自主研發的功能強大的機器學習算法和知識庫，支持對非結構化數據的深度挖掘，將非結構化數據和結構化數據在一起進行綜合全面的分析。

CSDN：貴公司的RSBASE大數據實時分析管理平臺的應用場景有哪些？

訊之智：目前的主要應用場景有電信行業大數據分析，主要是對手機用戶上網行為數據的分析；

零售行業顧客購物足跡數據分析，采集和分析線下數據并關聯線上數據，為傳統零售業提供O2O的運營智能和推薦引擎。

機器軌跡實時監控和分析，針對計算機網絡、物聯網環境中產生的海量機器數據提供實時監控和分析。通過對計算機網絡系統日志數據的實時監控和分析，可以預測系統性能瓶頸和實時發現黑客入侵行為。

CSDN：有好的客戶案例和大家分享一下嗎？

訊之智：例如在電信行業領域，我們的方案幫助了中國電信兩大省公司解決了長期以來不能有效解決的用戶上網行為數據分析問題。在采用我們的方案以前，電信省公司一直為持續高速增長的海量用戶上網數據所困擾，因為傳統的分析框架已經完全不能支持對超大規模數據的分析需求。對于持續增長的超大規模數據，必須采用可擴展的分布式大數據分析架構。我們在電信內部的公共云平臺上成功部署了RSBASE， 以非常經濟的計算資源投入實現了對幾千億條記錄的實時查詢和分析。和國內絕大多數同類競爭產品相比，我們具有非常顯著的性價比優勢。對用戶上網數據的精準查詢和分析能力，使得電信部門不僅能更好的解決流量爭議問題，更重要的是，電信部門可以通過對用戶行為數據的分析，更好的理解電信客戶的上網習慣，從而更好地服務客戶。基于用戶的上網行為分析，還可以應用在精準化營銷領域。同時，基于上網行為的數據分析，也對網絡質量管理提供了新的視角。

在零售領域，目前我們正在向合作伙伴提供基于O2O的數據采集和分析服務。我們不僅提供顧客購物足跡的采集，更為重要的是，我們提供基于顧客購物足跡的BI分析，傳統零售業的百貨店、購物中心等經營商可以從中獲得重要的運營智能，以及對顧客消費行為習慣和喜好的全方面了解，是現代零售業布局O2O，迎接全渠道銷售時代必需的核心能力。

CSDN：關于貴公司的數據可視化模塊，能否和大家詳細說說？

訊之智：在數據可視化方面，我們主要強調信息展示的實時性、動態性和交互性。我們可以有效地剔除信息噪音，以非常簡約和直觀的方式向用戶傳遞大量的信息，讓數據中暗藏的規律、數據之間的關聯性、依賴性，以及數據的趨勢性變得一目了然。我們認為，可視化不僅是一種信息展示技術，更是一種允許用戶交互的探索式分析技術，我們希望將這兩點目標完美地融合并實現。

CSDN：您覺得目前大數據實時分析面臨的挑戰有哪些？

訊之智：

• 實時數據分析中的數據海量性
• 實時的復雜分析 (關聯分析、模糊匹配)
• 實時的非結構化數據處理 （NLP處理相對較慢， 比方說part-of-speech tagging）
• 實時分析中數據/信息的篩選（權威性，真實性，相關性）
• 實時分析預測技術

從技術上來講，對海量數據的吞吐和分析能力一直以來都是非常具有挑戰性的技術，目前國內外廠商可以提供相對完善的方案，但是還有很大的可提升空間；在非結構化數據分析方面，還存在不少等待突破的技術障礙等等。

CSDN：公司未來有什么規劃？能和我們談談大數據分析的前景嗎？

訊之智：我們未來的規劃就是持續推進大數據實時分析技術在各行業的深層次應用，并且在定制行業應用的同時希望能夠探索出一些新的商業模式，研發出一些具有創新意義的通用產品。

關于大數據分析的前景，業界已經有許多精彩的討論，我就不在此贅述了。如果一定要談，我想總結一句，大數據技術是已經在發生的，IT產業發展進化的必然趨勢，是繼個人電腦、互聯網、搜索引擎技術之后對人類生活具有最大沖擊力的新一波技術革命。

更多云先鋒系列文章：

【云先鋒】國云：2億打造的云操作系統G-Cloud架構及應用

【云先鋒】SSO365：提供專業IAM解決方案的云身份認證公司 

【云先鋒】ClouDil云方案：PB級大數據解決方案 

【云先鋒】多備份：云端數據物流平臺為企業提供云備份服務 

【云先鋒 】上海越誠：基于云服務的建站類iService軟件超市 

【云先鋒】圣荷賽：來自硅谷的新一代IT交付模式實踐者

備注：云先鋒系列文章是由CSDN云計算頻道打造的，主要報道國內外在云計算、大數據方面具有獨特競爭優勢的企業，以傳播技術為目的，推動中國云計算技術的發展，歡迎投稿。

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈