Facebook人工智能實驗室主任的深度學習之路

【編者按】目前，各大科技巨頭包括谷歌、微軟等都在大力發展深度學習技術，通過各種方式挖掘深度學習人才，馬克?扎克伯格任命Yann LeCun擔任Facebook人工智能實驗室主任。這些高科技公司正在探索深度學習的一種特殊形態――卷積神經網絡，對于可視化卷積神經網絡， LeCun的付出遠甚于他人。

以下為原文：

馬克?扎克伯格精心挑選了深度學習專家Yann LeCun擔任Facebook人工智能實驗室的負責人。該實驗室于去年年底成立。作為紐約大學任教已久的教授，Yann LeCun對深度學習的研究成績斐然，在IEEE世界計算智能大會中榮獲神經網絡先鋒獎。深度學習，作為人工智能的一種形式，旨在更密切地模仿人類大腦。最初，大多數人工智能研究人員公開表態對深度學習嗤之以鼻，但短短幾年后，它卻突然在整個高科技領域蔓延開來，橫跨谷歌、 微軟、 百度再至Twitter。

這些高科技公司正在探索深度學習的一種特殊形態――卷積神經網絡，旨在打造可以自動理解自然語言以及識別圖像的Web服務。谷歌Android手機的語音識別系統就是基于神經網絡而開發的。百度利用神經網絡對一種新型的可視化搜索引擎進行研發。研究深度學習的學者不在少數，但它獲得成功， LeCun功不可沒。微軟的機器學習專家Leon Bottou早期曾與 LeCun合作，他說，“對于可視化卷積神經網絡， LeCun的付出遠甚于他人。”

Facebook人工智能實驗室主任  Yann LeCun

面臨巨大懷疑， LeCun仍然力挺神經網絡。要讓神經網絡正常運作需要功能強大的計算機和龐大的數據集，但上世紀80年代 LeCun剛剛接觸這一全新領域時，卻不具備這些支持條件。當時剛剛步入計算機時代，科學家們對人工智能報以熱切的期望，但神經網絡受限于那時的條件，無力滿足科學家的愿景，因而不被看好。要想在權威學術期刊發表與神經網絡相關的文章困難重重。時至90年代乃至21世紀初，這一狀況依舊沒有得到改善。

但 LeCun仍然堅持不懈。深度學習的核心學者Geoffrey Hinton說，“他就像在黑暗中舉著火炬。”終于，如今電腦技術大邁步向前，為深度學習提供了必要的技術支持，其潛力亦得以開發。

 LeCun的LeNets

在加入Facebook之前的二十多年， LeCun在貝爾實驗室中工作，這段時間內，他研發出了一個可以識別手寫數字的系統，并稱之為LeNet。貝爾實驗室作為世界上最著名的計算機研究實驗室，是晶體管、Unix操作系統和C語言的發源地。

LeNet能夠自動讀取銀行支票，它標志著卷積神經網絡首次被應用于實踐中。Bottou表示，“卷積網絡原本像是個小玩具， LeCun將之應用于規模更廣的實際問題中。”

上個世紀70以及80年代，認知機（cognitron）和神經認知機(Neocognitron)這些早期的神經網絡模型能夠自主學習從數據中識別圖形，并且無需人類的過多提示。但這類模型都相當復雜，研究人員無法完全弄清楚如何使它們運行無誤。 LeCun表示，“當時缺少一種監督學習算法，現在我們稱之為反向傳播算法（Back propagation）。”這種算法能有效地使錯誤率最小化。

卷積神經網絡

卷積網絡是由相互連通的卷積層組成，與大腦中處理視覺信息的視覺皮層十分類似。卷積網絡的不同之處在于，它們可以重復使用一張圖像中多個位置的相同過濾器。舉例而言，一旦卷積網絡學會了在某個位置識別人臉，那么它也可以自動在其他位置識別人臉。這種原理也適用于聲波和手寫文字。

百度研究院負責人吳恩達（Andrew Ng）認為，這使人工神經網絡能夠快速接受培訓，因為“內存占用空間小，不需要對圖像中每個位置的過濾器進行單獨存儲，從而使神經網絡非常適合于創建可擴展的深網（deep nets）”。這也令卷積神經網絡具有善于識別圖形的優點。

當卷積神經網絡接收到圖像（即輸入）時，它將其轉換為代表特征的數字陣列，并對每個卷積層中“神經元”進行調整以識別數字中某些圖形。低級神經元能夠識別基本形狀，而高級神經元則能夠識別狗或人等更復雜的形態。每個卷積層與相鄰的層互通，當信息在網絡中傳播時，就會得出平均值。最后，網絡通過猜測圖像中是什么圖形從而得出輸出結果。

如果網絡出錯，工程師可以對層與層之間的連接進行微調，以便得到正確答案。而神經網絡能夠自主進行微調，因而更勝一籌。這時反向傳播算法就開始發揮作用了。

反向傳播算法

反向傳播算法的原理是計算誤差，并根據誤差對卷積層所接收的強度進行更新。上個世界80年代中期，David Rumelhart、Geoffrey Hinton及Ronald Williams提出反向傳播算法，即同時為多重輸入計算誤差，并取平均值。然后通過網絡將平均誤差從輸出層到輸入層反向傳播。

 LeCun對反向傳輸算法的構想與上述不同，他并未采取平均值，而是為每個樣本計算出誤差。他的這種方法成效不錯，速度更快。

據Bottou透露， LeCun得出這一辦法，實際上是陰錯陽差的結果。“當時我們在法國使用的電腦不太給力。”他們不得不想辦法，希望用盡可能少的電腦配置，盡可能快速地計算出誤差。這在當時似乎是蒙混過關的做法，但如今卻成為人工智能工具箱的重要部分。它就是隨機梯度下降算法（stochastic gradient descent）。

 LeCun的LeNets已廣泛應用于世界各地的自動取款機和銀行，用以識別支票上的手寫字跡。但仍有人持懷疑態度。 LeCun表示，“目前我們所獲得的進展還不足以說服計算機視覺領域承認卷積神經網絡的價值。”部分原因在于，雖然卷積神經網絡功能強大，但沒有人知道它為什么這么強大。目前還未能揭開這項技術謎一般的內在原理。

深度學習的前景

批評聲此起彼伏。支持向量機（Support Vector Machine）的創建者兼數學家Vladimir Vapnik也持批評立場。支持向量機是目前使用最廣泛的人工智能模型之一。

1995年3月的一個下午，Vapnik和Larry Jackel兩人打了個賭。Jackel認為，到2000年，深度人工神經網絡（deep artificial neural nets）的內在原理將明朗化。Vapnik則堅持將時限推后至2005年。他們還較真地把賭注內容寫在紙上，并在幾位見證人面前簽了名。 LeCun和Bottou當時都在場。

打賭雙方最終難解勝負。2000年，神經網絡的核心原理仍然籠罩在神秘面紗下，哪怕是現在，研究人員也無法用數學方法參透個中奧妙。2005年，深度神經網絡在自動取款機和銀行中獲得廣泛應用，雖然人們仍未能掌握核心原理，但 LeCun在上個世紀80年代中期和90年代初的研究工作為深度神經網絡的解密奠定了重要根基。

 LeCun指出，“很少有某項技術能在問世20或25年后，雖然基本上未經改變，但在時間的考驗下被證實是最優異的。人們接受它的速度是驚人。我過去從未遇見過這樣的情況。”

目前使用最廣泛的卷積神經網絡幾乎完全依賴于監督學習（supervised learning）。這意味著，如果想讓神經網絡學會如何識別某一特定對象，就必須對幾個樣本進行標注。無監督學習（unsupervised learning）是指從未經標記的數據展開學習，這更接近人腦的學習方式。目前一些深度學習的研究者正在探索這一領域。

 LeCun表示，“我們對大腦如何學習幾近完全陌生。人們已經知道神經元突觸能夠自我調整，但我們對大腦皮層的機理尚不明確。我們知道最終答案是無監督學習，但卻無力解答。”

反向傳播算法不太可能體現出人類大腦的運作機理，所以研究者正在探索其他算法。此外，卷積網絡在收集數據或計算平均值時，效果并非十全十美，所以當前研究者也盡力做出改進。辛頓表示，“卷積網絡會丟失信息。”

以人臉為例。系統如果學會識別眼睛和嘴唇之類的面部特征，便能有效地識別出圖像中有人臉，但無力分辨出不同面孔之間的差異。它也無法很好地找出眼睛在臉上的準確位置。高科技公司和政府想要創建有關用戶或居民詳盡的數字檔案，以上所提及的缺陷將成為無法回避的短板。

 LeCun的研究也許不算完美，但當前卻是這一領域的尖端理論。

原文鏈接：深度學習在巨頭圈流行 Facebook大腦就靠它了 （責編/魏偉）

生活不易，碼農辛苦
如果您覺得本網站對您的學習有所幫助,可以手機掃描二維碼進行捐贈