張鈸： 硅基機器是否能產生意識？目前只有哲學上的爭論

9月6日消息，在今日Baichuan2開源大模型發佈會上，中國科學院院士、清華大學人工智能研究院名譽院長張鈸表示，硅基的機器是否能具有意識，目前在科學上是沒有條件討論這個問題的，只存在哲學上的爭論。

張鈸表示，到現在爲止全世界對大模型的理論工作原理、所產生的現象都是一頭霧水，所有的結論都推導產生了“涌現現象”；而所謂涌現就是“給自己一個退路，解釋不清楚的情況下就說它是涌現”，實際上這反映了我們對它一點不清楚。

在他看來，大模型爲什麼能夠產生出來一個非常連貫的、多樣化的人類語言，主要靠三個措施；一個措施是文本的語義表示，也就是把文本里的詞包括句包括段落全變成向量，給構造一個連續的拓撲空間創造了條件；第二個措施是轉換器，注意機制，注意機制可以保證上下文的一致性；最後一個，是下一個詞的預測；在這三個條件訓練下，就是在連續的拓撲空間中構造了非常光滑的流形，這個流形是局部度量空間，這個流形是代表詞在它的條件概率分佈，所以在這個流形裡採樣的時候出來的就是human like takes。

張鈸認爲，ChatGPT跟人類自然語言生成原理不一樣的地方，最根本之處是ChatGPT生成的語言是外部驅動的，而人類是attention based推動的，是在自己意圖的情況下驅動的；所以GPT自己都不知道自己在幹什麼，內容的正確性和合理性是不能保證的；如果想讓GPT語言達到人類自然語言一樣的語言，必須使計算機具有意識，但“硅基的機器有沒有可能具有意識？目前來講科學上是沒有條件討論這個問題的，現在只存在哲學上的爭論。”

以下是張鈸演講實錄：

今天我來參加百川這個7B、13B開源模型的發佈會，首先表示祝賀，祝賀百川公司在成立短短几個月裡就能推出來高質量的開源大模型，3個月內能下載量接近500萬次，這是很大的成就。也爲我國大模型產業作出貢獻。

但是我今天要講的不是這個，我重點借這個機會表示公司把這個開源模型定位在助力學術研究這點上，我要做講解，表示對這樣的工作的支持。

大家知道，到現在爲止我們國家已經推出很多從幾十億到幾百億不同規模幾十種的大模型，這些大模型主要集中在垂直領域的應用上，很少，至少現在沒看到定位在助力學術研究上。我認爲這個學術研究非常重要，這個學術研究研究什麼，主要研究大模型本身。爲什麼有這個需要？這個工作非常迫切，非常重要。因爲到現在爲止全世界對大模型的理論工作原理、所產生的現象都是一頭霧水，所有的結論都推導產生了“涌現現象”，所謂涌現就是給自己一個退路，解釋不清楚的情況下就說它是涌現。實際上這反映了我們對它一點不清楚。所以我認爲這個問題必須要把它搞清楚，我們纔有可能發展出來中國特有的有中國特色的大模型。

在這個問題上我主要講幾個問題，一個問題，我們必須回答這樣一個大的模型爲什麼能夠產生出來一個非常連貫的、多樣化的人類語言，說的全是人話，OpenAI爲什麼能夠說出來Human like takes，說的全是人話，並不是我們知道它說的是什麼，這個實際上是非常surprise的，大家不要認爲一定是這樣。所以OpenAI在做這個事情的時候是冒着很大的風險，其實它不清楚這麼大規模的文本去訓練它，究竟能不能收斂，收斂完以後究竟收斂到哪兒去。所以後來就出現了，雖然有好多質量不高，但是它覺得能成爲Humnan like takes，這個是非常驚奇的事情。

我們怎麼解決它，認識它，我的看法是這樣，這裡主要靠三個措施。一個措施是文本的語義表示，也就是說我們把文本里的詞包括句包括段落全變成向量，不只是詞變成向量，它經過抽象以後，上面各個都變成向量，這就給構造一個連續的拓撲空間創造了條件。如果原來是離散的，這個空間絕對不會有。第二個轉換器，注意機制，注意機制可以保證上下文的一致性。最後一個下一個詞的預測。我們可以看一下，在這三個條件訓練下面它最後訓練出來的是什麼個什麼東西，是在個緊的連續的拓撲空間中間構造了一個流形，這個流形是局部度量空間，這個數學性質非常之好的，直觀地講，就是它形成了一個非常光滑的流形，而且這個流形是代表詞在它的條件概率分佈，而且它的條件前面是整個文章，所以你在這個流形裡頭採樣的時候它出來的一定是human like takes，不可能出來別的東西，因爲它附近的都是語義相近的，即使偏一點語義也是相近的。這個問題我們需要研究，如果掌握了這個問題我認爲我們今後不需要這麼多的數據。因爲大家後來也做了一些工作，當然它有一個門檻，你超過這個門檻以後這個流形才能形成，如果這個流形不形成的話，你這個數量沒有到那麼大的程度，但是這個數量究竟是多少，是不是我們現在需要的那樣，這個是需要我們研究的問題。

第二個問幻覺。它爲會產生幻覺？這個問題就涉及到ChatGPT跟人類自然語言生成原理不一樣的地方。不一樣的地方在什麼地方，最根本的是，ChatGPT生成的語言是外部驅動的，而人類是attention based推動的，是在自己意圖的情況下驅動的，所以它的生成是在意圖控制下生成的，我們是在外部驅動下生成的，它自己都不知道自己在幹嘛，所以它內容的正確性和合理性是不能保證的。所以因此在沒有對齊之前，它基本上能達到60%，大量的是不合理的，不正確的，因爲前面那種辦法，構成流形的辦法不能保證它內容是正確是合理的。所以只有經過ALignment才能解決這個問題，現在我覺得ALignment國內做的工作太少，不如國外的，大家想一下它之所以能從GPT3.5到GPT4，幾個月的時間有那麼多的變化，這主要就是ALignment的功勞，所以ALignment這方面我們是有點輕視的，我們覺得隨便找幾個人來標註就可以了，其實完全不對的，他們是世界上最優秀的團隊來做這個事情。大家知道OpenAI幹這個事的有80幾個人，10個人是大陸過去的，中間骨幹有3個人都在我們團隊裡面幹過，是非常優秀的。所以這點我們國家可能不夠重視。

這裡頭就涉及到治理和開放的問題，因爲實際上我們做ALignment是做治理，希望它不產生（問題），但是大家一定要知道治理以後它的質量、多樣性肯定下降，也就是說治理的越多，它的質量肯定受影響，所以這裡頭有一個非常重大的問題，我們如何去平衡這二者的關係，開放和治理。剛纔說了產生這樣的結果是必然的，如果要問ChatGPT最大的特點是什麼，生成結果的多樣化，這是它的靈魂，因爲有了多樣化以後纔有可能有創造性，你如果追求多樣化的話必然會產生錯誤，所以這兩個是一個問題的兩個方面，所以我們在治理的時候必須要跟質量一起做一個平衡。所以這個問題我覺得我們應該進一步研究。

我把這個語言暫時叫做GPT語言，我們在ChatGPT裡頭又生成一個我們從來沒有見過的語言叫GPT語言，跟人類的自然語言我認爲不一樣，所以這裡第五個問題，我們將來努力的方向是什麼，我們是不是想把GPT語言把它完全對齊到人類的自然語言？我們看看它的可能性和必要性，我認爲這個可能性不大，因爲你要把GPT語言完全跟人類的自然語言一樣，你必須解決一個問題--讓GPT有自我意識。剛纔我們說過GPT跟人類語言不一樣的地方，它是外部驅動的，人類的自然語言是內部驅動的，是自我意識驅動的，intention based，你如果想使GPT語言達到人類自然語言一樣的語言，你必須使計算機具有意識。一個硅基的機器有沒有可能具有意識，目前來講科學上是沒有條件討論這個問題的，現在只存在哲學上的爭論。從哲學的爭論來講，現在有兩條路按照唯物主義行爲主義的觀點來講我們只要追求行爲主義上的相似形，而不是追求內在機制的一致性，人工智能就有這一派，我們叫做唯物主義學派或者行爲主義學派，現在人工智能絕大多數走的是這條道路，是人工智能的主流。

人工智能還有一個少數派是唯芯主義，他認爲唯有內在系統達到跟人類一樣纔有可能達到真正的智能，這個我們認爲很難做到或者做不到，因爲硅基的機器是不是會做成跟人類碳基的智能一樣，這個在哲學上有點說不通，更不用說科學上，更說不通。

最後要講它的一個必要性。其實人工智能追求什麼，追求機器的智能，希望這個智能跟人類的智能不一樣，它某些方面比人類有優勢，某些方面比人類優缺點，這是我們追求的目標，因爲只有在這個目標情況下我們才能夠得到人類和機器的和平共處。其實人工智能絕對不是去追求做一個機器跟人類一樣，這個必要性絕對不需要。我們爲什麼要做出一個跟人類一樣的機器？如果需要的話，我們多生幾個人不就完了嗎，幹嘛非去造一個跟人類一樣的機器呢，所以從必要性來講沒有必要，所以我覺得大家在這個上面爭論，我認爲意義不大。所以我覺得目前來講最重要的，我們要研究、瞭解GPT語言，只有我們徹底瞭解了它，我們才能更好地發展它，使用它，或者說從產業的角度來講纔可以發展出更健康的人工智能產業。我希望百川智能公司能在這方面起引領作用，謝謝大家。