多多色-多人伦交性欧美在线观看-多人伦精品一区二区三区视频-多色视频-免费黄色视屏网站-免费黄色在线

國內最全IT社區平臺 聯系我們 | 收藏本站
阿里云優惠2
您當前位置:首頁 > 互聯網 > 一周熱點:美國大學生數學建模分析,Hadoop不是萬能,探訪雅虎數據中心

一周熱點:美國大學生數學建模分析,Hadoop不是萬能,探訪雅虎數據中心

來源:程序員人生   發布時間:2014-09-01 00:08:54 閱讀次數:3967次

2014年2月7日-11日,一年一度的美國大學生數學建模競賽正在緊張進行,參加這個競賽獲獎的學生,能比較輕松地敲開美國前一百位大學的大門;Hadoop雖然是一個強大的分布式計算架構,但是它也有很多不足的地方;擁有過8億的活躍用戶,提供了60多個全球化產品,分別在20多個國家或地區部署數十萬臺服務器之上的雅虎運維團隊為何僅有數百人,看北京全球研發中心高級系統運維工程師劉元如何解讀……


第六屆中國云計算大會(China Cloud Computing Conference)將于2014年05月在國家會議中心?北京召開。此次會議將繼承前五屆大會的成功經驗,將邀請更多國內外知名院士、專家學者、行業CIO參加會議并作演講。


1. 2014年美國大學生數學建模競賽翻譯及建模思路

一年一度的美國大學生數學建模競賽(MCM/ICM已發展為一項國際級的競賽項目。數學建模是有效搭建邏輯與數據間橋梁的工具,沒有建模,大數據分析只是空中樓閣,張騰元在CSDN博客中對2014年美國大學生數學建模題目進行了翻譯,然后給出了自己的解題思路,以及眾多的參考文獻:


http://www.comap.com/undergraduate/contests/車輛右行:在一些規定汽車靠右行駛的國家(即美國,中國和其他大多數國家,除了英國,澳大利亞和一些前英國殖民地) ,多車道的高速公路經常使用這樣一條規則:要求司機開車時在最右側車道行駛,除了在超車的情況下,他們應移動到左側相鄰的車道,超車,然后恢復到原來的行駛車道(最右車道)。建立和分析一個數學模型,來分析這一規則在輕型和重型交通中的性能(即車輛較少和交通較擁堵時)。

大學教練的故事:體育畫報,為運動愛好者雜志,正在尋找上個世紀堪稱“史上最優秀大學教練”的男性或女性。建立數學模型,選出在大學曲棍球,足球,棒球或壘球,籃球,橄欖球領域(過去或現在)最好的一個或多個、男性或女性大學教練。你在你的分析中使用的時間范圍對結果有影響嗎?比如說,在1913年執教的情況不同于2013年?清楚地說明您的評估指標。討論你的模型怎樣在男女性別和所有可能的運動中應用。展示由你的模型得到的3個不同的運動各自排名前5的教練。 

2. Hadoop雖然強大,但不是萬能的

Hadoop很強大,但企業在使用Hadoop或者大數據之前,首先要明確自己的目標,再確定是否選對了工具,畢竟Hadoop不是萬能的!本文中列舉了幾種不適合使用Hadoop的場景。包括: 低延遲的數據訪問、結構化數據、數據量并不大的時候、大量的小文件、太多的寫入和文件更新、MapReduce 可能不是最好的選擇。

3. 簡單10招,讓你的云計算事業錦上添花

現在各行各業的競爭越來越激烈,云計算和IT領域尤其如此。要想在云計算和IT領域立足或者出人頭地,必須在具備扎實的專業知識的基礎上,不斷學習其它相關知識。DataCenterKnowledge網站的Bill Kleyman給我們分享了幾個簡單的方法,來提升我們的云計算和IT技能。


 

要想在云領域和IT領域成為成功人士,你首先要完善你已有的專業技能,除此之外,下面的10種方法可能會幫到你:關注社會,并獲得別人的關注、學習新的技術、學習商業語言、設想自己是架構師――統籌全局、了解團隊和組織動態、將業務和市場轉化為真正的IT解決方案、不要害怕說出來、網絡、網絡和還是網絡、考慮“數據中心”以外的東西、永不自滿。

4. 走進支撐過8億用戶的Yahoo!數據中心

Yahoo!是一家全球知名的互聯網公司,擁有過8億的活躍用戶,提供了60多個全球化產品,分別部署在20多個國家或地區的數十萬臺服務器之上,然而雅虎全球的運維團隊卻僅有數百人。雅虎北京全球研發中心高級系統運維工程師劉元從三個方面來闡述雅虎的技術運維體系,剖析超大規模網絡應用的運維挑戰,走進Yahoo!數據中心!

基礎設施:“工欲善其事,必先利其器”――需要支撐超大規模的網絡應用,超大規模的全球基礎設施是必不可少的。所以我們先看Yahoo!數據中心和全球的骨干網絡有哪些特別的設計和考慮,來幫支撐超大規模的互聯網應用。

技術生態圈:有了世界頂尖的硬件環境,軟件環境也不可少。博文著重介紹下Yahoo!的技術生態圈,看看Yahoo!使用了哪些產品和技術來支持大規模網絡應用。


運維團隊:前面的兩條分別是硬件和軟件環境,除了一流的硬件和完備的軟件環境,能夠實現高可用性大規模應用的核心,還是人。所以在最后,他給大家介紹了雅虎的全球運維團隊是如何工作的。

5. 更快、更強――解析Hadoop新一代MapReduce框架Yarn

對于業界的大數據存儲及分布式處理系統來說,Hadoop 是耳熟能詳的卓越開源分布式文件存儲及處理框架,隨著需求的發展,Yarn 框架浮出水面,讀者通過本文中新舊 Hadoop MapReduce 框架的對比,更能深刻理解新的 yarn 框架的技術原理和設計思想。 博文首先介紹了原MapReduce框架的不足:

 


然后重點介紹了Yarn架構:Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調度/監視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM),Application相當于map-reduce job或者DAG jobs。

ResourceManager和NodeManager(NM)組成了基本的數據計算框架。ResourceManager協調集群的資源利用,任何client或者運行著的applicatitonMaster 想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫,對于MapReduce框架而言有它自己的AM實現,用戶也可以實現自己的AM,在運行的時候,AM會與NM一起來啟動和監視tasks。

6. 圍觀龍虎斗:谷歌GCE vs. 亞馬遜AWS,要做9件事

真正被AWS看在眼中的勁敵是GCE,GigaOm的Barb Darrow先是撰寫了一篇很有意思的文章《 8 things Google Cloud could do to freak Amazon out》,后又補充了《 What I missed in the Google vs. Amazon cloud debate ― fiber!》。這9點,也許就是谷歌GCE追趕亞馬遜AWS要做的9件事,自然也是AWS防御的薄弱區。


這九點包括:發布保留實例 、 推出更多的托管服務、利用搜索、 提供更多不同類型的實例、 增添更多的區域、 提供虛擬機鏡像導入/導出功能、 發揮光纖優勢、 多宣傳GCE技術領軍人物、 加強執行力。

7. HBase寫數據過程

Hadoop已成為當下最流行的對數據挖掘處理平臺,同時,在YARN出現后,其生態圈也愈加繁榮;然而,Hadoop原生數據庫HBase卻因眾多問題飽受詬病,比如部署難、以Java為中心等工程問題,以及故障轉移、面向主從設計的架構問題,這直接導致了HBase人氣甚至不如同為列存儲類型的Cassandra。幸運的是,在我們之前有很多先行者對Hadoop進入了深入的研究,本次即為大家帶來@無塵道長 的心得,博文從從client和server兩個方面探討HBase的寫數據過程。

8. 汽車巨人福特讓“數據”說話

福特數據科學負責人Michael Cavaretta是負責整理公司所有數據的數據分析師之一,這次他從通過數據了解汽車設計、考慮價值,而不僅僅是成本、追求新技術也要適可而止,有時候也要重視效益、不用崇拜數據科學家方面給大家介紹福特是如何讓“數據”說話的。


Michael Cavaretta

進入20世紀后,福特經歷一系列打擊,面臨絕境,福特轉變傳統思維尋求數據專家幫助,如今數據分析已經深入福特的企業文化,數據幫助福特了解用戶需求、優化汽車設計、解決業務問題......“大數據”對福特公司有著很重要的意義,現在的福特就像是由無數個0和1構成。有關于汽車的數據,有關于這家世界五百強公司戰略的數據,甚至還有關于客戶如何看待福特公司這樣的數據。

9. Hortonworks聯手Red Hat,構建更強大的Hadoop

Red Hat和Hortonworks將合作整合大量的技術,Hortonworks看重Red Hat一直是開源社區的頂級貢獻人,有良好的企業形象和銷售渠道,而Red Hat要進一步的發展也需要有Hadoop的支持,雙方可謂各取所需。新伙伴關系下的整個產品列表:

  • Red Hat 存儲
  • Red Hat企業級Linux和OpenJDK平臺
  • Red Hat企業級Linux OpenStack平臺
  • Red Hat JBoss 數據虛擬化
                    

Hortonworks的首席執行官Rob Bearden 

Hortonworks還喊出了開源口號,想要與Red Hat和微軟這樣更大的平臺供應商建立更深的聯系,而MapR仍然努力想讓自己的產品脫穎而出。Cloudera積極嘗試 丟掉Hadoop供應商的標簽,作為提供全方位數據管理的企業,從Teradata甚至IBM這樣的公司搶走客戶。

10. 在AWS上使用GPU實現分布式神經網絡

Netflix最近承認正在開發新的技術開展人工智能領域的應用,著眼深度學習可以讓Netflix的電影推薦更準確,但是深度學習領域還有很多技術難題未被解決,Netflix技術博客網站的Alex chen等人結合自身實踐,從分布式機器學習的層次、優化CUDA Kernel、PCI 配置空間和虛擬環境、G2 實例、分布式貝葉斯hyperparameter優化等方面分享了在AWS上實現分布式人工智能網絡的經驗。


最后作者總結道:如果你需要在自己定制的基礎設施上實現它、成本和復雜性將難以想象的。利用AWS有明顯的好處,在實例的定制和使用資源時會有一定的支持。我們希望通過分享我們的經驗來讓別人更方便開發類似應用程序。

11-15. 其它云計算熱點資訊還有大數據時代,看“小數據”如何支持決策、Hadoop Namenode以regular方式啟動代碼流程分析、詳解并行邏輯回歸、為Hadoop存儲層增加對OpenStack Swift的支持、追本溯源 解析“大數據生態環境”發展現狀,請繼續關注CSDN云計算頻道。(文/魏偉)

生活不易,碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈
程序員人生
------分隔線----------------------------
分享到:
------分隔線----------------------------
關閉
程序員人生
主站蜘蛛池模板: 古代级a毛片可以免费看 | 欧美久久久久欧美一区 | 欧美一级一毛片 | 亚洲性猛交xx乱 | 最近中文字幕资源4 | 日本不卡一二三 | jizz视频| 亚洲美女视频网站 | 亚洲黄色在线观看网站 | 国产精品自产拍在线观看 | 亚洲国产精品yw在线观看 | free性vido另类重口 | 国产日本欧美在线观看乱码 | 欧美一级全黄 | 日本欧美在线播放 | 一级做a免费视频观看网站 一级做a爰片久久毛片 | 欧美一区二区影院 | 亚洲成年网站在线777 | 在线黄色免费网站 | 97午夜理伦片在线影院 | 福利网站在线观看 | 亚洲图片偷拍自拍 | 国产美女无遮挡免费视频 | 一二三四视频免费观看在线看 | 中文字幕中文字幕中中文 | 最新亚洲一区二区三区四区 | 欧美亚洲另类图片 | 亚洲国产精品人久久 | 一级爱爱片一级毛片-一毛 一级爱一级做a性视频 | 国内精品久久久久激情影院 | 日韩中文一区 | 无码中文av有码中文av | 免费观看欧美一级毛片 | 亚洲成年网站在线777 | 亚洲综合二区 | 日本在线观 | 福利视频第一区 | 成人欧美视频在线看免费 | 国产成人免费片在线视频观看 | 亚洲最大福利视频 | 亚洲综合校园春色 |