見證新一代全能大數據計算平臺崛起 ――中國Spark技術峰會將于4月19日在北京召開

2014年4月19日，由CSDN和《程序員》雜志聯合舉辦的“2014中國Spark技術峰會”（Spark Summit China）將在北京召開，國內外Apache Spark社區成員和企業用戶將首次齊聚一堂。來自AMPLab、Databricks、Intel、淘寶、騰訊、網易等國內外多家機構的Spark貢獻者及一線開發者將分享Spark的現狀與未來，各種計算范式的實際操作，新創業公司基于Spark的產品發布，以及生產環境中使用Spark及相關項目的第一手經驗和最佳實踐方案。

超越Hadoop的全能大數據計算平臺

隨著大數據相關技術和產業的逐漸成熟，單個組織內往往需要同時進行多種類型的大數據分析作業：傳統Hadoop MapReduce最為擅長的批量計算、各種機器學習算法為代表的迭代型計算、流式計算、社交網絡中常用的圖計算、SQL關系查詢、交互式即席查詢等。在Spark出現前，要在一個組織內同時完成以上數種大數據分析任務，就不得不與多套獨立的系統打交道，一方面引入了不容小覷的運維復雜性，另一方面還免不了要在多個系統間頻繁進行代價高昂的數據轉儲。

Spark是發源于美國加州大學伯克利分校AMPLab的集群計算平臺，它立足于內存計算，性能超過Hadoop百倍，從多迭代批量處理出發，兼收并蓄數據倉庫、流處理和圖計算等多種計算范式，是罕見的全能選手。Spark當下已成為Apache基金會的頂級開源項目，擁有著龐大的社區支持（活躍開發者人數已超過Hadoop MapReduce），技術也逐漸走向成熟。

議題精彩紛呈，案例首次分享

對企業來說，搭建Spark配合現有平臺，需要擁有專業的團隊實現與維護――對Spark擁有全面和深入的理解，才能開發出高效可靠的應用。本次大會將圍繞Spark的多個方面做出權威而全面的解讀，多個案例將在大會中首次分享。

Spark的現狀與未來

Andy Konwinski是Spark創始團隊AMPLab成員，集群調度系統Mesos作者，Databricks聯合創始人，美國Spark Summit組織者。他將帶來有關Spark發展現狀與未來的權威解讀。

基于Spark Graphx的大規模用戶圖計算和應用

明風是淘寶技術部數據挖掘與計算團隊負責人，帶領團隊構建了國內第一個100臺規模的Spark on Yarn集群，并基于Spark進行大量機器學習，實時計算和圖計算的先行嘗試，并將實踐成果成功地應用于淘寶網數據相關的業務和產品。

面對淘寶的海量用戶，如何基于億級別的用戶和十億級別的關系鏈，進行高效的關系構建，社區發現和屬性傳播，一個高效強大的分布式圖計算引擎必不可少。開發時，如何提升性能，計算的結果怎樣才能得到高效應用？本演講將帶給你滿意的答案。

當機器學習遇到大數據系統――從Spark MLlib看兩者的混合發展

尹緒森是Intel工程師，對Spark、Mahout、GraphLab等開源項目擁有實際經驗和深度理解。MLlib的出現讓我們看到在一個成熟的大數據棧上構建簡潔、易用、高效的機器學習算法的希望。當機器學習遇到大數據系統，究竟會產生怎樣的火花？他的演講將從MLlib看兩者的混合發展。

Spark性能優化

陳超就職于皮皮網，擔任數據平臺負責人，負責公司所有數據分析與數據挖掘相關的項目。他是國內較早的Spark研究與使用者，Spark Contributor，目前專注于基于Spark平臺的大數據處理。演講將分享Spark的核心原理，并在此基礎上探討幾個Spark性能的優化點。

快速模型更新在精準廣告推薦中的應用

薛偉是騰訊精準推薦中心廣告推薦負責人，2011年加入騰訊數據平臺部，之后一直從事云計算、海量數據分析和數據挖掘、精準推薦相關的研發工作。騰訊廣點通團隊長期從事社交網絡展示廣告的技術研究和應用，從Spark誕生之初就開始關注這項技術和這個開源項目，并在廣點通項目中進行了長期的應用實踐。在這個報告中，他將介紹如何綜合運用包括Spark在內的技術來實現廣告推薦模型的快速更新。

Tranwarp Inceptor：基于Spark引擎的高速內存分析和挖掘工具

孫元浩是星環科技聯合創始人及CTO，他將介紹如何構建分布式內存列式存儲，以及如何利用PL/SQL和R語言對內存數據進行高速數據統計和挖掘。

Spark內核探索與性能優化

連城是Spark Contributor，即將加入Databricks工作。Catalyst/Spark SQL是新近加入Spark主線版本的alpha組件，它是一套簡潔強大的SQL查詢計劃優化框架。隨著時間的推移，已逐漸進化為一整套完整的SQL on Spark解決方案并更名為Spark SQL。 它的主要特點包括：向下兼容HiveQL，支持針對原生RDD對象的關系查詢，可對用戶編寫的HQL/SQL查詢進行有效優化，實現了一套可擴展的代碼生成框架，可以針對特定邏輯直接生成字節碼，進一步提升性能。它將成為Shark的新引擎。

面向實時計算和ETL處理的Shark應用

王健宗是網易大數據高級研究員，負責網易游戲大數據框架的研究和部署工作，在其推廣下成功將Spark穩定應用在生產環境中。他的演講將介紹應用Spark時的經驗和教訓，希望這些經驗總結能為大家應用落地Spark提供參考和幫助。

為了保證“Spark中國技術峰會”內容的高品質，國內Spark領域的最權威專家組成了程序委員會，成員包括Databricks聯合創始人，Spark、Shark、GraphX等項目核心作者辛

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈