AI教父Hinton家譜曝出,全員科學巨匠!曾坦言:人生追求只是博士畢業,工作是唯一的放鬆
新智元報道
編輯:潤 好睏
【新智元導讀】最近,似乎隱退了許久的Hinton又站在了AI風口浪尖之上,而他的家族圖譜也再一次引發了網友的熱議。
最近,針對AI監管態度的巨大差異,讓「圖靈三巨頭」再一次來到了聚光燈之下。
其中,Geoffrey Hinton的家譜也引發了網友熱議——
毫不誇張地說,整個家族幾乎都是推動人類文明發展的科學巨匠。
一家子學霸
1947年,Geoffrey Hinton出生於英國溫布爾登。
還在童年時,Hinton的母親就告訴他:「要麼當學者,要麼就是失敗者」。
Hinton的家族世代都是成績優異的科學家,就像他本人一樣。
Hinton的曾曾祖父是布爾邏輯和代數學的創始人George Boole。布爾邏輯後來成爲現代計算機的數學基礎。
George Boole
他的妻子Mary Boole和George一樣,也是一位自學成才的數學家,還是代數和邏輯老師。
與George結婚後,Mary也開始爲他的工作出謀劃策,這在19世紀中期的女性中是聞所未聞的。
她甚至編輯了喬治的著作《思維法則》,該書提出了他的布爾邏輯理論。
Mary的叔叔Surveyor General是一位地理學家和印度測量局局長,Mount Everest就是以他的名字命名的。
George Everest
Geoffrey的曾叔父Sebastian Hinton是叢林健身器(jungle gym)的發明者。
Boole的兒子、Geoffrey的曾祖父Charles Howard Hinton是一位數學家和幻想小說家,他創造了四維空間的概念。Charles的宇宙魔方概念至今仍出現在漫畫書和漫威電影中。
Geoffrey的姑媽之一,Joan Hinton是一位核物理學家,她以物理學家費米的學生的身份加入了曼哈頓計劃,是爲數不多的參與曼哈頓計劃的女性之一。
而且年輕的Joan曾經獲得了美國奧林匹克代表隊的參賽資格,如果1940奧運會沒有被取消的話,她本可以參加 1940年的奧運會。
在1948年,由於對即將出現的冷戰感到震驚,她放棄了物理學,離開美國前往中國。
居住在北京的Joan Hinton和丈夫一起,翻譯了很多外國的著作,還爲國內農場設計製造了自動化的巴氏消毒牛奶流水線。
Geoffrey曾姑母Ethell Lilian Voynich是一位作家和音樂家,以創作《牛虻》而聞名。
Geoffrey的父親Howard Hinton是一名昆蟲學家,研究墨西哥甲蟲,曾當選爲英國皇家學會會員。
Geoffrey曾表示,由於感受到來自家庭的壓力,他最終被迫退出學術界。他的父親經常對他說:「努力工作,也許當你的年齡是我兩倍的時候,能有我一半優秀。」
成長的經歷
Hinton和三個兄弟姐妹在布裡斯托爾的一棟大房子里長大,房子裡到處都是動物。家裡養過一隻貓鼬,車庫的一個坑裡還養了一隻毒蛇。
Hinton回憶小時候自己經常用東西挑逗毒蛇,有一次毒蛇差一英寸就咬到了他的手,差點要了他的命。
在布裡斯托爾動物園,8歲的Hinton抱着一條蟒蛇(python)
Hinton回憶說,自己對世界的好奇心誕生那四歲時,和母親一起坐公共汽車去鄉下。車上有一個向後傾斜的座位。
他從口袋裡掏出一枚硬幣放在座位上,但硬幣並沒有向後滑,似乎在逆着重力向上移動。這枚難以理解的硬幣激發了Hinton的好奇心,這個問題一直困擾了他10年。
當他十幾歲的時候,他發現這枚硬幣不尋常的移動軌跡是因爲公交車的震動和與天鵝絨椅套上的纖維的共同作用——這個發現讓他非常有成就感。
「有些人看到自己不理解的事情,也能泰然處之。而我就完全受不了,必須要把事情搞清楚」Hinton說。
Hinton的母親很慈愛,但他的父親卻非常嚴厲。無論是身體上(他可以用一隻手做引體向上,這一壯舉讓Hinton這個瘦小的孩子感到非常敬畏)還是智力上對Hinton的要求都很高。
「他喜歡清晰地思考,如果你說了什麼沒有意義的話,他就會很不高興。他不是一個感性的思想家。雖然他沒虐待我,但他非常嚴厲。」Hinton這麼評價他的爸爸。
上世紀70年代,Hinton在獲得了實驗心理學學位後,一直在打零工和做木工。
1972年,他開始攻讀AI博士學位,但對自己的學業感到沮喪和矛盾。
一個週末,他參加了一個小組討論活動,一共有八個人,大家要敞開心扉,探索自己的願望和追求。
最後一天,每個參加者都必須宣佈他們在生活中真正的追求是什麼。
大家說了很多天馬行空的人生目標。但到了Hinton這裡,他愣住了,不知道該說什麼。
Hinton最後憋了半天,脫口而出了一個自己都感到驚訝的答案:「我真正想要的是博士學位!」他吼道。
這句話再次點燃了他對神經網絡研究的熱情。
當被問及在這一非凡家族歷史的陰影下成長的感受時,Hinton說:「壓力,感覺壓力很大。」
他說,他一生都在與抑鬱作鬥爭,工作是他解壓的方式。
當深度學習取得成功後,抑鬱才稍有緩解。「很長一段時間以來,」他說,「我都覺得自己不是——好吧,我終於做到了,這讓我能鬆了一口氣了。」
Hinton兩任妻子都死於癌症,他人生中很多時間都在醫院裡度過。
他親身體會到病人在等待結果和得到模糊信息時的沮喪。
但與大多數人不同的是,他還知道,很快就會有一種技術,可以把等待一週的檢查結果縮短到一天。
Hinton是個內斂的英國人,通常把人工智能的宣傳工作留給別人去做,但他對深度學習會徹底改變醫療保健行業的潛力會感到由衷的興奮。
「我看到了醫療專業人員在使用數據時的許多低效之處。病人病歷中的信息很多都沒有被用上。醫生對於CT的結果的理解也千差萬別。如果讓兩個放射科醫生看同一個掃描結果,很有可能會得到完全不一樣的結果。」
爲深度學習奉獻一生
2018年,Geoffrey Hinton與Yoshua Bengio和Yann LeCun一起獲得了圖靈獎,以表彰他們在深度學習領域做出的奠基性貢獻。
2012年,Hinton和他的學生髮表了一篇題爲「Deep Neural Networks for Acoustic Modelling in Speech Recognition」的開創性論文。團隊包括來自微軟、IBM、谷歌等科技巨頭以及多倫多大學的四個不同研究小組。
論文首次證明了神經網絡是當時最先進的技術——在識別語音模式方面優於隱馬爾可夫模型(HMM)和高斯混雜模型(GMM)等經典模型。
而這一年,正是人工智能的突破之年。
論文地址:https://research.google/pubs/pub38131/
實際上,Hinton與神經網絡的歷史遠比我們知道的要更加深遠。
當Frank Rosenblatt在上世紀50年代提出世界上第一臺神經網絡機器「感知機」(Perceptron)時,它只能解決線性可分的函數,面對NOR或NXOR函數則束手無策。
此外,感知機與當時Marvin Minsky正在使用的傳統符號方法之間,也存在着巨大的分歧。
1969年,Minsky撰寫了一篇題爲「Perceptrons: An Introduction to Computational Geometry」的論文,指出了感知機的侷限性。
而這篇論文,也導致了被稱爲第一個「人工智能寒冬」的到來。
1972年,Hinton在愛丁堡大學攻讀博士學位,神經網絡是他的研究重點。
然而在學術界,神經網絡普遍被視爲邊緣學科。雖然導師每週都會告訴他這是在浪費時間,但Hinton還是堅持了下來。
在Hinton眼中,神經網絡的想法並沒有錯,主要問題是功率。當時的計算機無法處理數以百萬計的圖像,也無法建立聯繫。
1986年,他與David Rumelhart和Ronald Williams共同發表了一篇題爲「Learning representations by back-propagating errors」的論文。
論文地址:http://www.cs.utoronto.ca/~hinton/absps/naturebp.pdf
論文證明,神經網絡中的多個隱藏層可以學習任何函數,從而解決了單層感知機的問題。
算法利用網絡的損失函數和反向傳播誤差來更新下層的參數。這就是著名的通用逼近定理。
1987年,Hinton接受了加拿大高等研究院(CIFAR)的邀請,在多倫多大學開設了一個名爲 「機器與大腦學習 」的項目。
CIFAR鼓勵圍繞那些在其他地方可能找不到支持者的非主流科學想法開展研究,併爲Hinton提供了學術自由和豐厚的薪水。
隨着時間的推移,一些深度學習的同道中人開始與Hinton展開合作。在這之中,就有後來成爲OpenAI聯合創始人的Ilya Sutskever。
回憶起2000年代初加入Hion實驗室的情景,Ilya表示,當時正值「人工智能寒冬」,人工智能研究領域的工作機會和資金都很稀缺,來自工業界的邀請就更少了。
Ilya Sutskever(左)、Alex Krizhevsky(中)、Geoffrey Hinton(右)
2009年前後,當計算機終於有能力挖掘巨大的數據池時,超級強大的神經網絡開始在語音和圖像識別方面超越基於邏輯的人工智能。
很快,業界就注意到了這一點。微軟、Facebook、谷歌等大型科技公司,紛紛下場開始投資。
2012年,谷歌公司的最高機密實驗室Google X(後更名爲X)宣佈,它已經建立了一個由16000個處理器組成的神經網絡,並將其投放到YouTube上。
負責深度學習和人工智能研究的谷歌大腦(Google Brain),在高級研究員Jeff Dean的領導下,將數百萬個來自YouTube的隨機、無標籤視頻幀輸入這臺新的超級計算機,並對其進行編程,使其能夠理解所看到的內容。
基於YouTube海量的貓咪視頻,這個神經網絡最終能識別貓咪等其他事物。對於人工智能領域,這是激動人心的一刻。當時,Dean興奮地表示:「我們在訓練過程中從未告訴過它『這是一隻貓』。可以說,是它自己發明了貓的概念。」
這一突破將Hinton和他的追隨者推上了人工智能的風口浪尖。
同在2012年,Hinton和另外兩名研究人員在ImageNet競賽中獲勝,他們基於神經網絡建立的計算機視覺系統能夠識別1000個物體。
論文地址:https://dl.acm.org/doi/10.1145/3065386
2013年,Hinton的公司DNNresearch被谷歌收購,而他本人也被Dean招募進谷歌兼職。
然而,就在10年之後的2023年,作爲深度學習泰斗、神經網絡之父Geoffrey Hinton突然宣佈離職。
隨着GPT-4等生成式AI突飛猛進的發展,Hinton憂心忡忡地表示「我們幾乎已經學會計算機如何自我改進了,這很危險,我們必須認真考慮,如何控制它。」
從人工智能的開創者到末日預言者,Hinton的轉變,也標誌着科技行業正處於幾十年來最重要的一個拐點。
在Hinton看來,如何防止壞人利用它做壞事,我們還未能找到方法。
選擇離職谷歌後,Hinton終於可以暢所欲言地談論AI的風險了。
參考資料:
https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/
https://analyticsindiamag.com/geoffrey-hinton-its-all-in-the-family-tree/