GAN 作者 Goodfellow:我為什麼離開 OpenAI 重回Google大腦

ADVERTISEMENT

新智元日前宣佈,獲6家頂級機構總額達數千萬元的PreA輪融資,藍馳創投領投,紅杉資本中國基金、高瓴智成、藍湖資本 、藍象資本跟投。本輪融資將用於新智元團隊規模擴充並增加新產品服務線,目標打造 To B 的人工智慧全產業鏈服務平臺。

新智元啟動新一輪大招聘:COO、執行總編、主編、高階編譯、主筆、運營總監、客戶經理、諮詢總監、行政助理等 9 大崗位全面開放。

簡歷投遞:j[email protected]

13552313024

新智元為COO和執行總編提供最高超百萬的年薪激勵;為骨幹員工提供最完整的培訓體系、高於業界平均水平的工資和獎金。

加盟新智元,與人工智慧業界領袖攜手改變世界。

【新智元導讀】昨天 GAN 作者 Ian Goodfellow 已經離開 OpenAI,重新回到Google大腦工作的訊息在業界引起議論。新智元第一時間報道了這一訊息,今天帶來跟進, Goodfellow 本人在 reddit 上回答了自己為何離開 OpenAI 並回到Google大腦。

根據新智元昨日得到的最新訊息,GAN 作者 Ian Goodfellow 已經離開 OpenAI,重新回到Google大腦工作。在 GAN 技術火熱的當下,Google大腦又迎來一員大將。

Ian Goodfellow 的個人主頁和 Google Scholar 的介紹都標明瞭是在“Google大腦”工作。

ADVERTISEMENT

根據 Goodfellow 在 Twitter 和 LinkedIn 的介紹,他應該是在今年3月初回到了Google大腦。

Goodfellow 於 2016 年 9 月加入 OpenAI,而此前他就在Google大腦工作。根據LinkedIn 頁面,Goodfellow 在加入一年多以後,離開OpenAI,重新回去Google。

LinkedIn 頁面顯示 Goodfellow 的職業軌跡:

訊息出來不久,就有人在 reddit 上針對這件事提問:“Ian Goodfellow 真的離開 OpenAI 了嗎?從他的 LinkedIn 上可以看出 Goodfellow 回到Google是非常近的事,有人知道為什麼嗎?這對 OpenAI、AI 這個領域的開放性、以及他在 AI 安全方面的工作有什麼影響?”

ADVERTISEMENT

對此,Goodfellow 很快作出如下回答:

是的,我在2月底離開 OpenAI,並回到Google大腦。

我很喜歡在 OpenAI 的日子,也為 OpenAI 的同事們與我合作完成的工作感到自豪。我重回Google大腦,是因為隨著時間的推移,我發現我的研究集中在對抗樣本,以及與差分隱私相關的技術,而這些研究我主要是與Google的同事合作進行的。

考慮到Google大腦和OpenAI以及相對較小的AI研究圈,Ian 應該一直都與Google大腦保持著聯絡。實際上,Ian 參與的一項獲得了ICLR 2017 最佳論文獎的研究,就是他在OpenAI時與Google大腦合作完成的。

深度學習大神Yoshua Bengio的學生,以第一作者的身份和Bengio、Allan Courville合著了“Deep Learning”這本書——是的,就是【那本】Deep Learning。

2014年,Ian Goodfellow 提出了生成對抗網路(GAN)的概念,此後GAN便成為了學術界的一個火熱的研究熱點,Yann LeCun更是稱之為“過去十年間機器學習領域最讓人激動的點子”。生成對抗網路的簡單介紹如下,訓練一個生成器(Generator,簡稱G),從隨機噪聲或者潛在變數(Latent Variable)中生成逼真的的樣本,同時訓練一個鑑別器(Discriminator,簡稱D)來鑑別真實資料和生成資料,兩者同時訓練,直到達到一個納什均衡,生成器生成的資料與真實樣本無差別,鑑別器也無法正確的區分生成資料和真實資料。GAN的結構如圖1所示。

Ian Goodfellow在生成對抗網路(GAN)論文最後總結的幾點:

ADVERTISEMENT

優點

模型隻用到了反向傳播,而不需要馬爾科夫鏈;

訓練時不需要對隱變數做推斷;

理論上,隻要是可微分函數都可以用於構建D和G,因為能夠與深度神經網路結合做深度生成式模型;

G的參數更新不是直接來自資料樣本,而是使用來自D的反向傳播(這也是與傳統方法相比差別最大的一條吧)。

缺點

可解釋性差,生成模型的分佈 Pg(G)沒有顯式的表達。

比較難訓練,D與G之間需要很好的同步,例如D更新k次而G更新一次。

» 新智元

ADVERTISEMENT