行業新聞

人工智能的寒冬已經過去,DNN會是趨勢

  我們都知道人工智能就是并不是一炮而紅,經歷了多年的發展和沉淀我們才能看到人工智能如今否認爆發。從神經網絡到DNN,人工智能從寒冬到復興,終于迎來了復蘇。

  第一次AI寒冬是在1975年左右。1956年,在達特茅斯會議之后,包括很多國家政府,美國國家科學基金會、軍方,大家滿懷希望投了很多錢。但是到1975年以后發生了幾件事情,讓AI進入了寒冬。

  第一件事是,因為AI只能解決Toy domain(擺弄玩具一樣的簡單任務)。那個時候做語音,只有10個詞匯;下象棋,大概是20個詞匯;做視覺的人,都不能辨認出一個椅子。第二件事情,1956年美國打越戰,還有石油危機,所以經濟也不是那么好;還有一個很有名的英國學者Lighthill,說AI就是在浪費錢,AI的研究經費也因此遭到大幅削減(編者注:在1973年出版的“人工智能:一般性的考察”的報告,俗稱Lighthill報告中稱“迄今該領域沒有哪個部分做出的發現產生了像之前承諾的那樣的重要影響”。英國政府隨后停止了對三所大學Edinburgh, Sussex和Essex的AI研究資助)。

  到1980年開始,有些公司如IBM開始做一些專家系統,可以說也是有限的應用。盡管有一些缺點,但還是可以做一些事情,據說有十個億的產出。因此,AI也就開始回春。我也是這個時候開始進入AI,所以也蠻幸運的。

  我是80年代去美國CMU(卡內基梅隆大學)的。我記得當時日本很有錢,到處在美國買樓、建實驗室,所以當時日本提出了一個第五代電腦系統計劃(5th generaTIon computer Systems,FGCS)。當時還有公司專門做 Lisp Machines(通過硬件支持為了有效運行Lisp程序語言而設計的通用電腦)。就有點像今天DNA紅,大家都在做DNA芯片,那時候大家都在做Lisp Machines,Thinking( ConnecTIon )Machines,然后神經網絡也剛開始發芽。

  不過,到1990年中,AI又第二次遇冷,為什么會這樣?因為第五代計劃失敗,Lisp Machines和Thinking ( ConnecTIon ) Machines都做不出來;而神經網絡,雖然有意思,但并沒有比其他一些統計的方法做得好,反而用的資源還更多,所以大家覺得也沒什么希望了,于是AI又進入第二個冬天。

  1990年代統計路徑的顯現

  差不多在冬天這個時刻,統計的方法,使用數據的方法出現了。

  AI在1990年以前都是用所謂的研究人腦的方式來做;而我們有太多理由來相信人腦不是靠大數據的。比如,給一個小孩子看狗和貓,看幾只他就可以辨認了??捎媒裉斓姆椒?,要給計算機看幾十萬、幾百萬只狗跟貓的圖片,它才能辨認是狗還是貓。用大數據這種方法,就在第一次AI寒冬和第二次AI寒冬之間開始萌芽。雖然AI是一批計算機科學家搞出來的,但事實上有跟AI極其相關的一門叫模式識別。模式識別一直以來都有工程師在做,從1940年代統計學家就在做模式識別。

  我們這代人學計算機就知道兩個人,一個人叫傅京孫(K. S. Fu),另外一個人叫竇祖烈(Julius T. Tou)。如果AI選出60個人的名人堂,里面會有一個叫傅京孫,那是大牛。傅京孫嚴格上來講他不算AI,但是可以包括進來,因為他也做模式識別。模式識別里面也有兩派,一派叫統計模式識別(StaTIstical Pattern Recognition),一派叫做句法模式識別(Syntactic Pattern Recognition)。80年代的時候,句法是很紅的,統計人無人問津,后來1990年以后大家都用統計。

  我們做語音的人很清楚,后來引入了隱馬爾可夫模型(Hidden Markov Model),都是統計的方法,到今天還是很有用。尤其是在華爾街,做金融投資,做股票,很多都是做時間序列(time series data),而隱馬爾可夫模型這個東西是很強大的。甚至可以說,統計的方法是我們做語音的人(發展起來的)。而且早在1980年,我們做語音的人就講出這句話“There is no data like more data(沒有什么樣的數據比得上更多的數據)”。從現在的角度來看,這是非常前瞻性的,而且就是大數據的概念。我們那個時代的數據量無法和現在相比,但我們已經看出來了數據的重要。而且IBM在這方面是了不起的,他們一個做語音的經理有次說,每次我們加一倍的數據,準確率就往上升;我們每炒掉一個語言學家,準確率也上去。

  決策樹也是第一個被語音研究者所使用。然后就是貝葉斯網絡(Bayesian Network),幾年前紅得不得了,當然現在都是用深度學習網絡(deep neural network, DNN,在輸入和輸出之間有多個隱含層的人工神經網絡)了。我為什么要提這些東西?今天我覺得很多人上AI的課,可能75%、80%都會講DNN,其實AI還是有其它東西的。

  今天要教AI也是非常困難的。我還特別看了一下最近的AI教科書,像吳恩達等人的。他們學術界教AI,還會教這些東西,但是如果去一般或者大多數公司,全部都是在講DNN。我覺得現在找不到一本好的AI教科書,因為早期的書統計沒有講,或者沒有講DNN。我也看了下加州大學伯克利分校的Stuart J. Russell 跟Peter Norvig寫的教科書(Artificial Intelligence: A Modern Approach),里面DNN提了一點??赡墁F在也不好寫AI,因為AI提了這么多東西,人家說根本沒用,不像DNN的確很有用。

  我稍微解釋一下DNN和一般統計方法的差別。統計的方法一定要有一個模型,但是模型一定是要有假設。而你的假設多半都是錯的,只能逼近這個模型。數據不夠的時候,一定要有一定的分布。當數據夠了,DNN的好處是完全靠數據(就可以),當然也需要很大的計算量。所以DNN的確有它的優點。以前我們用統計的方法做,還要做特征提取,用很多方法相當于做了一個簡易的知識表示;現在用DNN連特征提取都不用做了,只用原初數據進去就解決了。所以現在講AI不好講的原因是,DNN講少了也不對,講多了的話,說實在的,全是DNN也有問題。

  神經網絡的起伏

  最早的神經網絡叫感知器(Perceptron),跟第一個寒冬有關。因為一開始的感知器沒有隱含層(hidden layer),也沒有激活函數(activation function),結果Marvin Minsky和Seymour Papert這兩位就寫了一本書《感知器》說,感知器連異或(XOR)都做不出來。那么,做感知器還有什么用?所以基本上就把整個神經網絡第一代的進展扼殺了。

欄目導航

聯系我們

CONTACT US

揭陽市中基科技電子有限公司

QQ:3034823338

電話:136-4229-9522

郵箱:3034823338@qq.com

地址:廣東省揭陽市榕城區鳳林工業區中基科技電子有限公司

彩票返点千分