褚達晨:深度學習青衫磊落險峰行,人工智慧漫談之一

ADVERTISEMENT

新智元日前宣佈,獲6家頂級機構總額達數千萬元的PreA輪融資,藍馳創投領投,紅杉資本中國基金、高瓴智成、藍湖資本 、藍象資本跟投。本輪融資將用於新智元團隊規模擴充並增加新產品服務線,目標打造 To B 的人工智慧全產業鏈服務平臺。

新智元啟動新一輪大招聘:COO、執行總編、主編、高階編譯、主筆、運營總監、客戶經理、諮詢總監、行政助理等 9 大崗位全面開放。

簡歷投遞:j[email protected]

13552313024

新智元為COO和執行總編提供最高超百萬的年薪激勵;為骨幹員工提供最完整的培訓體系、高於業界平均水平的工資和獎金。

加盟新智元,與人工智慧業界領袖攜手改變世界。

【新智元導讀】作者褚達晨認為,科技發展讓人類藉助計算機的能力,在一個超高維彎曲空間中,搜尋自然世界奧祕。而深度學習則是利用最近年發展起來的大算力,讓計算機代替人類在超高維的非線性空間中自行探索真理。進入喜聞樂見的武俠世界,且看作者如何讓(深度學習)“深度子”青衫磊落險峰行,(各類演算法)劍氣碧煙橫!

(文/褚達晨)公眾號久未更新,這兩天有空花了些時間把自己過去一段時間對人工智慧的學習和理解寫了幾篇通俗散文,自娛自樂,也請有同好的讀者賞閱指正。標題借了金庸先生《天龍八部》幾句章回目錄,略加篡改,權當脈絡。先發第一篇。

青衫磊落險峰行,劍氣碧煙橫

這一波人工智慧的熱潮是深度學習演算法推動的。那麼深度學習為啥這麼牛?我這麼理解:人類藉助計算機的能力,在一個超高維彎曲空間中,搜尋自然世界奧祕,這是前所未有的。先說說兩個關鍵詞:“超高維”和“彎曲”。

牛頓1687年發表《自然哲學的數學原理》是現代科學的開始。自此,科學家藉助數學公式來尋找和描述自然世界的規律,加以應用。20世紀的物理學在量子力學和相對論建築了兩座豐碑。原子彈、核能、半導體晶片、個人電腦,手機,乃至網際網路都是後面隨之而來的豐碩成果。

人類用數學方程描述和理解自然世界:從牛頓定律 F=ma,到電磁學麥克斯韋方程,再到量子力學和相對論,物理學家相信上帝是通過簡單的方程創造了世界。既然簡單,那麼這些方程的維度就不能太高,參數不能太多。一般人類可以理解的就是身邊3+1維的時空世界。超過4維的理論和數學規律在人類生活的低維空間裡能難理解,也不容易通過低維資料來驗證。舉個例子,如果說螞蟻生活在二維世界中,他就不能理解為什麼螞蚱能夠從它頭上跳過去,可能一生都會疑惑:這個螞蚱一直在我身後,這麼突然就出現在我前面了?

ADVERTISEMENT

類似,線性關係是最簡單的數學關係,比如說白菜2塊錢一斤,5斤白菜10塊錢,1噸白菜兩千塊,2年級的小學生就會算。計算機一開始發明出來的目的就是為了幫人類快速的做簡單計算,再集腋成裘,解決複雜的問題。在二十世紀後半頁裡,很多科技成果都是用線性低維的模型算出來的。打個比方,就像樂高積木(線性的三維立方體),可以搭出一個五光十色的美麗世界。

樂高世界的侷限很明顯,計算機隻做照貓畫虎的工作也沒什麼意思。計算機學家就說我想讓計算機變得聰明一點,能不能讓他們也學點從實驗資料中尋找規律的本領,做點逼格高的工作?機器學習就此誕生。對計算機而言,人類的學習能力千奇百怪。機器天生笨,學習人類的本領如同郭靖向江南七怪學武,分門別類各不相同。美國有位計算機系的教授Domingos寫了一本“終極演算法”的科普讀物,說機器學習分五大門派,各自不服,有華山論劍(比如ImageNet什麼的)比試高低。但是世上是否有“九陰真經”的武功,研習者得以一統江湖?

這些年“華山論劍”比下來,最有望成為九陰真經的武功就是“深度學習”了。什麼是深度學習?直觀的理解深度學習就是用一個多層網格來做計算(最權威的應該是Goodfellow和Bengio、Courville合著的那一本新書)。深度學習為什麼牛?我個人粗淺的看法,深度學習實際上是利用最近年發展起來的超級計算能力,讓計算機代替人類在超高維的非線性空間中自行探索真理。

計算機發明出來就是幫人類處理大資料的,你把成千上萬乃至上億的資料一排一排列出來,“超高維”不足為奇。用什麼方法來破解超高維資料蘊含的祕密?就看各家功夫了。線性方法最易於理解和計算(比如Andrew Ng老師講機器學習的經典課程就是從線性迴歸講起的),但是“直來直去”的缺陷也很明顯。各派武功中,計算機學家們喜歡用離散的資料結構,推出各種“樹”和“森林”等遍歷搜尋方法;統計學家們信奉“存在即合理”的貝葉斯理論,正過來P(A|B)不好算我就倒過來算P(B|A),效果相當不錯;古典數學流派祭出“核變換”的祕籍,把低維空間的一個橢球變成高維空間的一個線性平面(還記得高中解析幾何裡教的球座標吧?就是它!),然後還能把低維平面的邊界距離遠近都算的清清楚楚。這招叫SVM,也稱霸武林十幾年。

但這些武功有一個問題,就是隻用了單層複雜函數來模擬現實。現實世界是複雜的,用單層複雜模型難免會顧此失彼,別說在影象識別這種領域裡“鼻子眼睛眉毛”這些特徵都很難用一句話說清楚,計算機的表現差強人意就不奇怪了。

深度學習的前生叫“神經網路”,單層神經網路叫“感知機”,名字取得挺好聽,實際上啥也感知不了,武功弱爆了,基本被上面說的各派武功秒殺。好在“神經網路派”雖小,但是幾位長老不甘心,孤心苦詣研究出多層神經網路,終在幾次華山論劍中大勝,從此名動江湖,有了人工智慧的今天。

囉嗦了半天,到底多層神經網路(深度學習)為什麼牛?最重要的一點就是深度學習用非線性的擬合函數一層一層套下去,無限逼近任何函數資料模型!N層網路套下來,這個函數在紙上根本都寫不下。這相當於在高維非線性空間裡創造出一個可以任意彎曲的超級粒子“深度子”!(函數即粒子,恕我借用了量子力學中“波粒二象性”的觀點)。這個“深度子”能量超高,具備萬有逼近能力,前面說的“樹子”,“SVM子”等等處理相對簡單的“小資料”問題還行,在比拚模擬真實複雜世界的能力上,一下子就輸給“深度子”了(比如說影象識別大賽)。

駕馭“深度子”非常不易,神經網路派長老們用了王重陽的辦法,以多打一,用“天罡北鬥七星陣”,結陣禦敵。層數一多,陣中參數上億,變化玄妙,人類不能參透。長老們陸續想出了一些方法,比如說

1. 下山法(GD演算法):深度學習要做得事情其實就是找到給定高維空間中目標函數的最小值。這如同要求“深度子”在有無數崎嶇山峰的大山中尋找最低點,牛頓300多年前發明的“下山法”就幫上忙了,“深度子”每到一處就丈量四周坡度,找個最陡的角度往下俯衝;

2. 回溯法(BP演算法):“深度子”找最低點不可能一蹴而就,長老們就在終點檢查“深度子”交的作業,如果結果不理想,長老們就沿著“北鬥七星陣”逆流回溯,哪個節點做得最差就讓從哪裡改起,逐步優化(隻聽王重陽喝到:孫不二,你這劍力量弱了,讓敵人跑了,趕緊加力)。

3. 卷積法(CNN):比如說要從千萬張的二維影象中分辨中是貓、狗、猴子,“深度子”先化身為一個小範圍掃描器,掃遍全圖分析結果。這樣一遍一遍掃下來,“深度子”就逐步能認出毛髮,眉眼,再到面貌,最後給長老交作業:這是貓!那是狗!嗯,這個不太確定,像是個猴子。

4. 迴圈法(RNN):深度神經網路陣法一經催動,變幻如流水;流水川流不息,就算最後在入海口能通過CNN辨別永珍,但是逝者如斯夫,不會形成“記憶”;這樣處理時序問題就不太行。迴圈演算法大致就是讓陣中前後相連的神經元捉對迴圈演練(孫不二和郝大通互相推手N次再練下一招,這樣孫不二就對郝大通的武功有了記憶)。RNN有個變種叫LSTM,特別適合做語義理解和機器翻譯。

深度學習還有很多演算法和trick,太深的我也不懂,就點到為止了。神經網路派的武功外表看平淡無奇,但如要深入研習,需要極深的內功。在超高維空間中尋求非線性泛函的極值參數,早已超越人類直覺所及,現在的產出已經用到了很多古往今來許多科學大家的成就,牛頓,萊布尼茲,拉格朗日,高斯,黎曼,玻爾茲曼,盡在其列。Goodfellow和Bengio寫的深度學習寶典裡提到了變分法,微分幾何,拓撲流形,動量方程,統計力學等等,幾百年來數理大家們創出的武林絕學,都被計算機今賢們用來探索人工智慧的理論前沿了。

ADVERTISEMENT

綜上,超高維彎曲空間中,“深度子”青衫磊落險峰行,(各類演算法)劍氣碧煙橫!

先就此打住,下一篇講講我的最愛:從 AlphaGo 到 Master。

新智元招聘

職位:COO

職位年薪:50萬(工資+獎金)-100萬元(含期權)

工作地點:北京-海澱區

所屬部門:運營部

彙報物件:CEO

下屬人數:10人

年齡要求:25 歲至 40 歲

語言:英語六級以上或海外留學從業背景

職位背景:在IT領域有專業團隊管理經驗

學歷要求:碩士及以上

ADVERTISEMENT

職位描述:

1. 負責新智元總體市場運營,智庫與人工智慧百人會經營,政府關係統籌協調

2. 擅長開拓市場,並與客戶建立長期多贏關係,有建構產業生態系統能力

3. 深度瞭解人工智慧及機器人產業及相關市場狀況,善於捕捉商業機會

4. 統籌管理公司各運營部門,兼管公司HR及財務部門

5. 帶領運營團隊完成營業額目標,並監控協調運營部與編輯部、研究部運作

6. 負責公司平臺運營總體戰略計劃、合作計劃的製定與實施

崗位要求

1、碩士以上學歷,英語六級以上,較強的英語溝通能力或外企從業經驗

2、 3年以上商務拓展經驗,有團隊管理經驗,熟悉商務部門整體管理工作

3、 IT領域商務拓展經驗、強大的團隊統籌管理能力

4、 有廣泛的TMT領域人脈資源、 有甲方市場部工作經驗優先考慮

5、 知名IT媒體商務部門管理經驗,廣告、公關公司市場拓展部負責人優先

應聘郵箱:[email protected]

新智元歡迎有誌之士前來面試,更多招聘崗位請點選閱讀原文檢視。

» 新智元

ADVERTISEMENT