就在別的公司感嘆這老牌硬件公司IBM逐漸沒落的時候,它再一次給我們帶來驚喜,最近它發布最新的網絡傳輸技術,能在極低的功率下使網絡傳輸速度達到400Gbps,下載4萬首歌曲僅需幾秒,大批網友紛紛感嘆“硬盤受不了”,“IBM,人類已經阻止不了你的腳步”;四大著名風投從自己的角度出發解讀大數據創業的方向;Moz公司CEO結合自身創業實踐,闡述了如何理智正確的使用AWS……
繼去年IBM收購了Aspera公司,可以使一個24G的文件傳輸從原來的26小時消減到30秒。最近藍色巨人IBM又展示了一項新的網絡傳輸技術,北京時間2月16日最新消息:可以在極低功率下將數據傳輸速度提升到400Gbps,在這個速度下160G的4K超高清電影或者4萬首歌曲將在幾秒內下載完。超高速模擬-數字轉換器(ADC)能夠使云和數據中心之間的大數據傳輸速度比現有技術還要快四倍。
ADC將模擬信號轉換為數字,這些0和1可以存儲在計算機然后可以用來分析以及預測結果。例如,科學家們將使用成千上萬的ADC轉換器將起源于130億年前宇宙大爆炸的模擬無線電信號轉換為數字信號。IBM研究所主任Martin
Schmatz說:“我們的ADC支持IEEE標準數據通信,使我們能夠解決大數據應用,有Semtech這樣的合作伙伴,我們將在12個月內將ADC推向市場。”
初創公司想要發展,離不開風險投資商的青睞。開發營銷軟件,貼上大數據標簽,這樣的方式已經很難再吸收到資金了,大公司早已占據了市場,初創公司需要創意,需要發現新的藍海。怎樣運用大數據,考驗著創業者的智慧。
企業使用 AWS,可以輕松購買計算、存儲、數據庫和其他基于互聯網的服務來支持其應用程序。由于開發人員只需按使用量付費,無需前期資本支出,AWS被認為是向最終用戶交付計算資源、數據存儲和其他應用程序的一種最經濟劃算的方式。但是AWS是不是真的完美無缺、放之四海而皆準,Moz公司CEO Sarah Bird 結合自己的創業實踐,分享了自己如何理智正確的使用AWS。
“在Moz我們產生了很多數據,這需要占用大量的計算能力,Moz首席執行官Sarah Bird在該公司的博客上寫道。多年來,我們已經在AWS上花了很多的錢,它不僅使我們的利潤減少了,而且使我們的產品不穩定。雪上加霜的是,我們建立的服務……不完整。”
自2012年開始一直到2013年,Moz在Washington、Virginia和Texas建立自己的數據中心。Moz并未完全放棄了AWS,而且也沒有計劃這么做,Moz首席技術官Anthony
Skinner在Hacker News寫道,他的公司仍將在AWS上每年投入100萬美元。
CDN的使用在Yahoo! Web性能規則上排第二,面臨著地域性的網絡差異,CDN已成為提高網站性能的首選利器;不幸的是,雖然CDN已經過多年發展,但是在國內中小網站上仍然很少被使用,國內開發者的CDN設計經驗更是少之又少。近日,我們有幸邀請到國內知名CDN服務提供商又拍云的聯合創始人兼運維總監為我們深度分析這個技術。
作者首先介紹了CDN作用包括:緩存代理、路由加速、安全防護、節省成本;緊接著從5個方面對比詳細說明CDN架構:存儲介質 vs IO的關系、隨機讀寫 vs 順序讀寫、大文件 vs 小文件、硬件紅利 vs 軟件設計、系統優化。
作者經驗筆記:
BIOS里務必開啟AHCI模式(能支持SATA熱插拔和NCQ尋址方式,提速→300%,當然內核也要支持AHCI模式)
SSD的主控芯片相當于大腦中樞,非常重要,建議用Intel、Samsung、Marvell等知名品牌
SSD更適合應用在隨機讀寫場景,因此需要認真思考什么場合應用
AOL.com的日訪問人次已超過800萬,月PV更達10億之巨。近日,Lead Squirrel創始人、AOL架構師兼工程團隊負責人、擁有10年架構經驗的Dave Hagler在HighScalability上撰文分享了AOL高可用性(99.999%)網站架構。文章從設計原則、物理基礎設施、流量、監視、內容管理系統、數據庫、緩存等方面詳細介紹AOL高可用性(99.999%)網站架構。
設計原則:關于架構的設計我們有著明確的思路,其中最重要的就是冗余一切,第二個原則就是AOL.com不能依賴任何共享基礎設施去交付頁面,即使某個系統或內容發生故障,AOL.com仍然需要維持著高可用。
監視:所有的應用程序都運行在AOL數據中心,包括AOL.com,都由一個自主研發的工具監控,類似于Amazon的CloudWatch,已投入使用多年。監視工具會實時的收集軟硬件信息,并通過一個客戶端應用程序提供報告、圖及儀盤表,提供了主機、CPU、接口、網絡設備、文件系統、網絡流量、響應代碼、響應時間、應用程序度量等眾多信息。服務器端點更是每分鐘都進行檢查,并在超過基于可用性及響應時間設置的閾值時進行報警。
數據庫:AOL.com上的內容是高度動態的,因此需要為每次頁面訪問都制定數據庫和應用程序連接規則。除了在頁面上提示,CMS同樣包含了許多規則和條件內容,如果你在舊瀏覽器上,你可能會在頂部看到一個瀏覽器升級提示。因此,CMS數據需要足夠的快,有能力處理流量的爆發,并且一直可用。我們當下使用的是MySQL 5,區別于前端的虛擬服務器,數據庫服務器擁有更多的容量――16 CPU的物理服務器。
6. “閱后即焚”挖谷歌墻角,GAE技術大牛跳槽Snapchat
Snapchat是由斯坦福大學兩位學生開發的一款“閱后即焚”照片分享應用,其最主要的功能是所有照片都有一個1到10秒的生命期,如果接收方在此期間試圖進行截圖的話,用戶也將得到通知。Snapchat被視為Facebook和Instagram最強勁的競爭對手之一,為此Facebook還專門還推出了功能類似的照片分享應用Poke。Snapchat一直是谷歌的主要客戶,此次它從谷歌挖走Magnusson除了減少了對谷歌的依賴之外,還有更大的計劃。
Peter Magnusson 2010-2013年任職于谷歌,是GAE的工程主管,在他的領導下GAE成長為谷歌最大的產品之一,擁有400萬注冊應用程序、30萬活躍開發者。
Peter Magnusson
所以Magnusson對此非常敏感,寫道:“《華爾街日報》使我在谷歌的老朋友們對我有些誤解。最新的聲明是我們會不斷評估替代品,而且隨著時間的推移我們需要發展更多自己的基礎設施,特別是在我們應用程序的專業領域。谷歌是一個偉大的伙伴,沒有谷歌的云Snapchat是不可能成功的,我們希望繼續和谷歌緊密合作。”
7. 15核芯片+數據平臺,Intel軟硬兼備的Hadoop戰略
2月19日,英特爾宣布,面向服務器系統推出新款15核高端芯片Xeon E7 v2,以幫助大型企業更好地應對“大數據”處理需求,比如向大型科技客戶提供實時分析等。其實英特爾不僅致力于制造更快的處理器,也越來越關注軟件平臺的作用。利用開源力量,導入創新技術,建立開放平臺,不僅具有較高的性價比,還考慮到企業對安全性和可擴展性的需求。從一系列動作可以看出英特爾誓要與微軟、谷歌、亞馬遜一爭高低。
該芯片強大的性能使英特爾占有“領先地位”,使其能夠與對手AMD的x86芯片,以及IBM的Power系列芯片競爭。相較于IBM的RISC處理器芯片,新型芯片的運作性能提升了80%,而總體擁有成本(Total Cost of Ownership,TCO)則下降了80%。相較于上一代Xeon產品,英特爾全新處理器芯片帶寬輸入和輸出性能是其四倍,內存容量是上一代的三倍,另外,該芯片還刷新了20項關鍵任務性能紀錄。
用戶選擇英特爾
Apache Hadoop發行版,事實上是考慮到這個平臺將會比其它平臺更有效率,因為它將被最新的Xeon處理器優化。英特爾提供軟件進行快速加密和解密數據(專為Hadoop平臺開發的),為了更好的安全性還使用了AES算法。
2013年愛德華?斯諾登爆料美國NSA秘密執行的“棱鏡計劃”,使得網絡信息隱私安全問題在一夜之間走到臺前,成為倍受大眾關注的焦點話題,2013中國互聯網安全大會上,安全專家王清曾現場演示程序僅通過QQ號在1分鐘內就可以查出你的真實姓名及社交圈,并不是靠黑客入侵電腦竊取信息,僅僅是收集你在各個網站上的個人資料進行匯總和分析就可以做到,大數據對個人隱私來說無疑是一劑“毒藥”。IDF實驗室團隊負責人裴偉偉,通過對比國內外互聯網企業隱私策略,進行了探討。
以下是為進行隱私策略對比而選取的14家國內外互聯網企業:國內企業:新浪、百度、奇虎、淘寶、騰訊、網易、搜狐;國外企業:Google、IBM、Microsoft、Facebook、YouTube、Twitter、Yahoo!。
文章從以下兩個方面對比國內和國外隱私政策的不同,首先是網站隱私策略內容包括:個人資料信息、Cookie、存儲個人信息說明、免責聲明、涉及用戶隱私行為是否征求用戶同意、用戶數據保護措施、提高隱私安全強度方法、詳細的聯系方式、信息收集方式;其次是隱私相關的法律法規:國外的法律法規、國內的法律法規、國內外隱私策略對比。