李飛飛團隊研發深度學習“遊樂場”機器人，有望應用於地震救援等極端場景

在生物進化的過程中，動物會隨着周圍環境的變化而變得越來越聰明。比如，蜘蛛憑藉自身獨有的優勢編織蜘蛛網、海狸通過甩動它們寬闊的尾巴發出預警、烏賊將自身氣囊裡儲存的“墨汁”釋放出來躲避危險。

受此啓發，斯坦福大學計算機科學系李飛飛教授團隊製備出一種深度學習“遊樂場”，並首次對“鮑德溫效應”進行了驗證。即在模擬進化實驗中，這種深度學 習系統可以快速地篩選出學習效率更高的形態，使生物在晚年學到的行爲，在後代生命的早期實現表達。

圖｜深度進化強化學習通用框架（來源：Nature Communications）

這些動物通過利用它們在進化中形成的優勢學習平時難以完成的任務，其智力表現也顯著提高。然而，環境的複雜性、進化形態和智能控制可學習性之間關係的原則仍然難以實現。

相比之下，人工智能主要專注於語言、視覺或遊戲等領域的虛擬認知。

該研究成果重點介紹了人工智能深度進化強化學習的“遊樂場”（Deep Evolutionary Reinforcement Learning，DERL）計算系統。該系統可以在複雜的環境下學習極具挑戰的運動和操作任務，以進化出不同的代理形態[1]。

10月6日，相關論文以《通過進化與學習實現智能》（Embodied intelligence via learning and evolution）爲題，發表在 Nature Communications 上。

圖｜相關論文（來源：Nature Communications）

該論文由美國斯坦福大學計算機科學系教授李飛飛、碩士研究生阿格里姆·古普塔（Agrim Gupta）擔任共同通訊作者。

圖｜李飛飛（來源：資料圖）

李飛飛稱：“我們平時所說的‘智力’是人腦和神經元的一種功能，將智力視爲物理上體現的東西是另一種範式。”

該團隊表示：“通過 DERL 計算框架闡明環境的複雜性、進化形態和智能控制可學習性之間的一些原則。”然而，實現該目標的先決條件之一是能夠同時在環境、形態和控制這三個複雜軸上做功能擴展。

圖｜DERL 概述（來源：Nature Communications）

爲了解決這一具有挑戰性的問題，該團隊通過模擬達爾文進化的交織過程來搜索形態，並且設置了一個可以將簡單模擬生物（Unimal）放在虛擬空間。然後，隨機選取幾個樣本讓 Unimal 在平坦和崎嶇的地形上行走，觀察從一端到另一端的運動軌跡。

當模擬實驗結束後，選擇一個 Unimal 讓其與別的同等條件下經歷過訓練的 Unimal 進行競爭，獲勝的一方與上一代 Unimal 執行類似動作之前，肢體或關節會產生一次突變。

該團隊在對 4000 個不同的模擬生物實驗模擬後發現，存活後的 Unimal 發生了多大改變。從生存到進化的過程中，“學與做”並非同步進行，而是在平坦和崎嶇的地形中邊學邊做。

圖｜多環境下的動力進化（來源：Nature Communications）

在爬行的過程中，這些“角鬥士”真正展示了他們前進的勇氣，學會在複雜多變地形上行走的 Unimals 比平坦道路的同類更容易學習新任務，並且具有更好的表現狀態。

圖｜進化後的 Unimal 形態（來源：Nature Communications）

在尋求複製和增強生物智能的人工智能領域中，人們更多地關注在非實體化的學習方法，相比之下，具有適應特定環境的形態可以較大程度地簡化學習智能行爲的流程。

在這項工作中，該團隊所製備的深度進化強化學習框架向創建智能體邁進了一步。該框架的優勢之一是可以找到不同形態解決方案，DERL 使人類能夠在擴展進化環境的複雜性方面取得突破性進展。

但是，該團隊並不滿足於此，他們後期工作的一個重要方向是在物理現實和多智能體的進化環境方面深入研究。

他們還發現一種代理適應度，數代 Unimal 可以通過“鮑德溫效應”在複雜環境中進化，從淺層學習能力迅速轉移到基因編碼形態。這種“鮑德溫式”的智力從表現型到基因型的轉移已經被驗證，包括語言的出現和人類的模仿。

最後，該團隊還展示了形態智力和“鮑德溫效應”的基礎機制，通過增加被動穩定性和更好的能源效率等有利性狀來實現更好的能源效率。

圖｜形態鮑德溫效應、能源效率和穩定性的關係（來源：Nature Communications）

未來，在科學技術獲得進一步突破時，更多“智慧式“人工智能機器人或將問世。該類機器人並不侷限於目前各大商場、園區和銀行等服務機構中簡單的問候、導航等功能，而是在覈反應等極端軍事場景、地震等緊急救援和納米遞送等臨牀應用中普遍應用。

-End-

參考：

[1] Agrim Gupta, Li Fei-Fei et al. Nature Communications 5721 (2021) https://doi.org/10.1038/s41467-021-25874-z

https://techcrunch.com/2021/10/06/simulated-ai-creatures-demonstrate-how-mind-and-body-evolve-and-succeed-together/