【編者按】Ely Kahn曾任職于NSA,在國家安全領域有十年以上的工作經歷,后在Boston創立Sqrrl,提供基于Apache Accumulo的產品,2013年Sqrrl被CRN評為“年度最cool供應商”。Accumulo作為一種可靠、可伸縮、高性能排序分布式的鍵值存儲解決方案,逐漸成為美國政府級應用,Hadoop供應商Cloudera和Hortonworks也加大了對Accumulo的支持,著名GigaOM分析師Derrick Harris為我們做了詳細分析。
以下為譯文:
Sqrrl聯合創始人兼業務發展副總裁Ely Kahn在Structure
Show詳細介紹了美國國防部的網絡安全狀態和數據分析的尖端技術。
Ely Kahn在國家安全領域已有十年以上的工作經歷,包括在交通安全管理、國土安全部和總統行政辦公室,那時他是網絡安全部門的負責人。2012年,他加入了一個由前國家安全局工程師組成的團隊,一起創建了Sqrrl(一個基于開源Accumulo技術的數據庫公司)。Kahn在Structure Show上談論了信息技術在國家安全領域的一些問題,包括信息技術的作用、信息技術的使用者,以及在國家安全領域用到了哪些數據和技術。
這次讓人印象深刻的采訪涵蓋了軟件實現到基礎設施各個方面,其中有一些亮點,包括強化Accumulo的安全性,以及此類基于Hadoop的技術、對關鍵基礎設施故障的應對、用先進分析技術改善網絡安全、用大數據打擊網絡犯罪等。
棱鏡?其實它只是個數據庫
Kahn說:“Accumulo是NSA企業架構的核心。NSA的大部分分析應用程序都運行在Accumulo上,我不可能對每一個應用都做詳細介紹,因為那樣可能三天三夜也說不完,但最重要的部分,也是人們都已經了解的那些部分都應用Accumulo作為后端。”
Accumulo作為NSA企業架構的核心部分,甚至可以說是國家安全戰略的關鍵。雖然檢測可疑行為并定位目標、檢查網絡中已知疑犯這些在技術上很容易實現,不過對Kahn所說的“生命分析模式”(patterns of life analysis),NSA還有更大膽的想法:
這些被歸結為異常檢測,也是我們關注的一個重點。如何去建立一種常規模式然后從正常狀態基線檢測異常數據?那確實需要大量的用例......
目前我們在做的很多事情都圍繞著圖分析,建立大量的數據圖使其看起來像特定的用例,然后尋找隨時間變化正常行為模式中的偏差。
更多關于Accumulo和NSA的圖分析功能,請參看以下鏈接:
整個國防部都在改革
Accumulo不僅應用于NSA,而且整個國防部都將使用它。NSA的使命是構建多用途云計算和數據基礎設施以整合整個機構的資源,Accumulo是該使命的一部分。國防部想要將大量的數據資源整合到一個單獨的數據分析系統,包括了從無人機視頻到醫療信息各個方面的數據。
Kahn解釋:“國防部正投入大量精力建設聯合信息環境(Joint Information Environment),在整個國防部為大量用例集發展多功能云和數據云基礎設施,這些用例包括從網絡安全到戰場情報領域各個方面,甚至還包括醫療用例。”
Sqrrl聯合創始人兼業務發展副總裁Ely Kahn
企業可能不喜歡NSA,但要尊重它的技術
Kahn在被問及NSA的背景對Sqrrl發展是否有幫助時回答:“無論人們對于NSA的政策有什么樣看法,我認為人們都應該認識到NSA在大數據技術應用和數據安全領域一直走在最前列,所以從這個意義上說,NSA對推動技術發展起到了很好的作用,當然,我還要和Pandora、Facebook的人或web應用的用戶見個面,底層群眾可能也會對我們過去的一些做法有疑問,但我認為決策者會把這當作一件好事。”
決策者關心的Sqrrl安全方面進展得怎么樣呢?Kahn說:“20強企業中已有三家安裝了我們的系統、50強企業中也有5家,其他大大小小的企業還有幾十家。”后來提到了Hadoop供應商Cloudera和Hortonworks對Accumulo加大了支持力度,Kahn又補充道:“我覺得一些大的Hadoop供應商如果想要在政府中有所作為,它們必須支持Accumulo。”
網絡安全的狀態:目前很糟糕,但未來會越來越好
首先,告訴大家一些好消息,也就是剛剛過去幾個星期取得的新成果:
通過行政命令......美國國土安全部和國家標準化和技術研究所合作努力創建一個網絡安全框架,可以用來提高網絡安全性,至少在開始階段建立在自愿的基礎上。所以,現在確實是第一次,對于這樣一份公文,人們可以說:“這是每一個利用這些關鍵基礎設施的人都應遵守的標準。”可能聽起來簡單,但對于復雜的網絡安全領域,確實是邁出了一大步。
然而,Kahn又補充說,“邁出的一大步”還不夠好,“僅僅堅持底線是遠遠不夠的”。
他還指出,“有一些關于別國探查我們電網的報告,紐約時報也報告過,目前是沒有發生什么災難性事件,但我認為這給我們國家埋下來一顆定時炸彈,我們還是祈禱不要發生吧。”
原文鏈接:The Defense Department’s data strategy: Huge, massive and distributed(編譯/毛夢琪 審校/魏偉)