“權(quán)威AI教科書”撰寫者警示：GPT可生成多重人格，技術(shù)風(fēng)險(xiǎn)超核戰(zhàn)爭(zhēng)

---

“權(quán)威AI教科書”撰寫者警示：GPT可生成多重人格，技術(shù)風(fēng)險(xiǎn)超核戰(zhàn)爭(zhēng)

《AI未來指北》欄目由騰訊新聞推出，邀約全球業(yè)內(nèi)專家、創(chuàng)業(yè)者、投資人，探討AI領(lǐng)域的技術(shù)發(fā)展、商業(yè)模式、應(yīng)用場(chǎng)景、及治理挑戰(zhàn)。

文/ 郭曉靜

Stuart Russell（斯圖爾特·羅素）是加州大學(xué)伯克利分校人類兼容人工智能中心（Center for Human-Compatible AI)創(chuàng)始人兼計(jì)算機(jī)科學(xué)專業(yè)教授，同時(shí)也是人工智能領(lǐng)域「標(biāo)準(zhǔn)教科書」《人工智能：一種現(xiàn)代方法》的作者。這本書的第一版早在1994年已經(jīng)完成，當(dāng)時(shí)就有一個(gè)章節(jié)，標(biāo)題是《如果我們成功了呢》，主要討論“如果我們制造出比人類更強(qiáng)大的人工智能系統(tǒng)，我們?nèi)绾斡肋h(yuǎn)掌握它們的控制權(quán)？”，標(biāo)題中所說的成功，就是制造出和人類一樣聰明的機(jī)器。

這個(gè)問題并不是危言聳聽，計(jì)算機(jī)每秒可以執(zhí)行的基本操作數(shù)量大約是100億次，而人類大腦基本上每秒只能執(zhí)行大約100次操作。計(jì)算機(jī)之間的通信速度比人類快了10億倍。如果某一天，我們真的能探索出人類認(rèn)知的奧秘，疊加計(jì)算機(jī)的超速度，人類的文明岌岌可危。

最可怕的是，GPT-4確實(shí)讓我們看到了“智能”的火花，而我們?nèi)祟?，還沒有做任何嚴(yán)肅的準(zhǔn)備，如果這一天突然到來，羅素教授認(rèn)為“這可能會(huì)比核戰(zhàn)爭(zhēng)更嚴(yán)重”。

人工智能領(lǐng)域有影響力的人正在聯(lián)合起來，呼吁更為理性、對(duì)人類有益的人工智能的研發(fā)，三周前，Stuart Russell、被稱為人工智能三巨頭的Geoffrey Hinton、Yoshua Bengio、OpenAI CEO Sam Altman等人聯(lián)合簽署了《關(guān)于人工智能風(fēng)險(xiǎn)的聲明》，建議“減輕人工智能滅絕風(fēng)險(xiǎn)應(yīng)成為全球優(yōu)先事項(xiàng)”。幾個(gè)月前，Stuart Russell也與Elon Musk等，共同簽署了《暫停超過GPT-4巨型人工智能研發(fā)6個(gè)月》的公開信。

• 1為何這些全世界最了解人工智能的人，多次集體預(yù)警人工智能的風(fēng)險(xiǎn)？科幻中的人類與機(jī)器人大戰(zhàn)的場(chǎng)景，真的會(huì)變成現(xiàn)實(shí)嗎？騰訊科技對(duì)話了Stuart Russell教授，和他討論了人工智能領(lǐng)域最近備受關(guān)注的幾件事情。
• 2為什么人工智能領(lǐng)域有影響力的人物，短時(shí)間內(nèi)簽字兩份公開文件，預(yù)警AI風(fēng)險(xiǎn)？它們有什么區(qū)別？為何Russell教授本人在兩個(gè)文件上都簽名了？
• 3為什么OpenAI CEO Sam Altman僅簽署了人工智能風(fēng)險(xiǎn)聲明，而沒有在暫停巨型人工智能研發(fā)公開信上簽字？
• 4簽署完公開信，馬上又成立了AI公司，馬斯克的動(dòng)機(jī)真的不單純嗎？
• 5GPT-4以大量語言數(shù)據(jù)為基礎(chǔ)進(jìn)行訓(xùn)練，這種技術(shù)路線有什么潛在風(fēng)險(xiǎn)？真的會(huì)毀滅人類嗎？
• 6微軟研究團(tuán)隊(duì)研究GPT-4四個(gè)月，并發(fā)布了火爆全網(wǎng)的論文《通用人工智能的火花》，他們對(duì)GPT-4的運(yùn)轉(zhuǎn)機(jī)制，究竟了解了多少？

Stuart Russell接受騰訊科技專訪

以下為對(duì)話內(nèi)容：

騰訊科技：你是什么時(shí)候開始對(duì)人工智能感興趣的呢？

羅素：我小時(shí)候看了很多科幻小說，小說中經(jīng)常看到智能機(jī)器人。我12歲的時(shí)候得到了一個(gè)可以編程的計(jì)算器，我試著給它編程，不幸的是，這個(gè)計(jì)算器只有很小的內(nèi)存，我只能編寫36個(gè)字母長(zhǎng)度的程序，這和能實(shí)現(xiàn)“智能”的程序相差太遠(yuǎn)。但開始我對(duì)這件事著迷。后來我在高中學(xué)習(xí)了計(jì)算機(jī)科學(xué)，也從那時(shí)候開始嘗試編寫“象棋程序”。然而大學(xué)的時(shí)候，我學(xué)了神經(jīng)科學(xué)，還好后面我又找到了機(jī)會(huì)，重新研究人工智能。

騰訊科技：你后來編寫了被很多知名大學(xué)使用的教科書《人工智能：一種現(xiàn)代方法》。但是早在2016年，你就開始研究如何研發(fā)對(duì)人類無害的人工智能，那時(shí)人工智能還在發(fā)展早期，你這么早就看到了人工智能的風(fēng)險(xiǎn)了嗎？

羅素：這本書的第一版是在1994年完成的，在結(jié)尾有一節(jié)，標(biāo)題是《如果我們成功了呢》。因?yàn)槿斯ぶ悄艿哪繕?biāo)一直是制造與人類一樣聰明或比人類更聰明的機(jī)器。我認(rèn)為重要的是要問如果我們成功了會(huì)發(fā)生什么？

因此，即使在1994年，我也曾討論過可能的風(fēng)險(xiǎn)。我們?nèi)绾文軌蚣全@得人工智能的成功，又不讓人類毀滅呢？就如同你剛剛提到的，2016年，“人類兼容人工智能中心（The Center For Human Compatible AI）”就在伯克利成立了。從那時(shí)候開始，我就開始探索，如何能夠創(chuàng)造出對(duì)人類有益的AGI（通用人工智能）。

這是一個(gè)看起來非常簡(jiǎn)單的問題：“如果我們制造出比人類更強(qiáng)大的人工智能系統(tǒng)，我們?nèi)绾斡肋h(yuǎn)掌握它們的控制權(quán)？”我一直在尋找答案，我認(rèn)為我們已經(jīng)有了一些初步答案。正如第四版書中所解釋的那樣，這個(gè)答案意味著在新的基礎(chǔ)上重新構(gòu)建我們對(duì)人工智能的理解，并重新構(gòu)建我們創(chuàng)造的所有技術(shù)。所以這就是我們現(xiàn)在所做的事情。

騰訊科技：大約兩周前，您簽署了關(guān)于人工智能風(fēng)險(xiǎn)的聲明，其中建議“減輕人工智能滅絕風(fēng)險(xiǎn)應(yīng)成為全球優(yōu)先事項(xiàng)，與流行病和核戰(zhàn)爭(zhēng)等其他社會(huì)規(guī)模風(fēng)險(xiǎn)并列?！蹦鸀槭裁匆炇疬@份聲明？

羅素：我簽字是因?yàn)槲艺J(rèn)為這件事真的可能會(huì)發(fā)生。

騰訊科技：和GPT-4有關(guān)嗎？

羅素：不是因?yàn)镚PT-4，聲明沒有提到GPT-4，聲明只是說我們需要關(guān)注這個(gè)風(fēng)險(xiǎn)，即我們將失去對(duì)我們文明的控制。人類能夠控制地球上許多其他物種，因?yàn)槿祟惛斆鳌?/p>

如果機(jī)器比我們更聰明，為什么我們認(rèn)為我們能夠在未來保持對(duì)我們文明的控制？所以這就是風(fēng)險(xiǎn)。根據(jù)許多哲學(xué)家、未來學(xué)家、研究我們文明長(zhǎng)期未來的專家分析，他們認(rèn)為這個(gè)風(fēng)險(xiǎn)實(shí)際上是我們面臨的最大風(fēng)險(xiǎn)。

核戰(zhàn)爭(zhēng)可能會(huì)是一場(chǎng)巨大的災(zāi)難，但大多數(shù)人認(rèn)為人類將在其中幸存；大規(guī)模氣候變化也將是一場(chǎng)災(zāi)難，但大多數(shù)人認(rèn)為人類將在其中幸存。但我們可能無法幸存的兩個(gè)風(fēng)險(xiǎn)：一種是對(duì)人類具有嚴(yán)重傳染性和致命性的流行病，另一個(gè)就是我們無法控制的人工智能系統(tǒng)。

騰訊科技：幾個(gè)月前，您與Max Tegmark、Elon Musk等人一起呼吁立即暫停訓(xùn)練比GPT-4更強(qiáng)大的人工智能系統(tǒng)至少6個(gè)月。為什么您支持這封公開信？

羅素：這是一個(gè)非常有趣的問題。正如你所說，這封信呼吁暫停開發(fā)比GPT-4更強(qiáng)大的大語言模型的開發(fā)。因此，它并不是對(duì)人工智能研究的禁令，許多人將其描述為禁令。它實(shí)際上是說，像GPT-4或更強(qiáng)大的系統(tǒng)已經(jīng)對(duì)我們的社會(huì)產(chǎn)生了重大風(fēng)險(xiǎn)，而我們沒有有效的治理辦法。

我的一個(gè)朋友在英國(guó)政府和食品標(biāo)準(zhǔn)方面工作。她指出，關(guān)于三明治的規(guī)定都比關(guān)于人工智能的規(guī)定更多。

因此，這封信其實(shí)是要求我們定義系統(tǒng)在發(fā)布之前應(yīng)滿足什么樣的安全標(biāo)準(zhǔn)，這與三明治是一樣的。如果你不符合這些安全標(biāo)準(zhǔn)，就不能賣三明治，這很簡(jiǎn)單。而我們還沒有為人工智能系統(tǒng)制定這些安全標(biāo)準(zhǔn)，我們需要時(shí)間來做到這一點(diǎn)。

當(dāng)你去對(duì)照一些關(guān)于人工智能安全性的提議時(shí)，例如中國(guó)提議系統(tǒng)應(yīng)輸出真實(shí)信息，或歐洲提議系統(tǒng)不應(yīng)操縱人類行為，就我們所知。

大型語言模型都將無法滿足這些標(biāo)準(zhǔn)，因此它們不安全。我認(rèn)為人工智能社區(qū)的正確反應(yīng)不是抱怨“這是不公平的。即使它們不安全，我們也應(yīng)該能夠發(fā)布我們的系統(tǒng)。”正確且負(fù)責(zé)任的反應(yīng)應(yīng)該是說，“好吧，讓我們努力使它們安全。這樣就可以發(fā)布它們了”。這就是公開信的目的。

騰訊科技：“暫停超過GPT-4的人工智能研發(fā)公開信”這件事目前有進(jìn)展嗎？

羅素：在我寫的另一本書《AI新生：破解人機(jī)共存密碼——人類最后一個(gè)大問題》中，有一段虛構(gòu)的電子郵件對(duì)話，是一種高級(jí)外星文明與人類之間的想象對(duì)話。他們給人類聯(lián)合國(guó)寫了一封電子郵件，警告說他們將在30到50年后到達(dá)地球。人類聯(lián)合國(guó)回復(fù)說，“人類不在辦公室，我們會(huì)在回來后回復(fù)您”。這個(gè)例子的重點(diǎn)是，在我舉這個(gè)例子的時(shí)候，也就是2015年，世界各國(guó)政府完全沒有關(guān)注人工智能的風(fēng)險(xiǎn)。

而公開信的結(jié)果是，“人類現(xiàn)在回到了辦公室”。他們看到了這封電子郵件，不是來自高級(jí)外星文明的電子郵件，而是來自未來人工智能系統(tǒng)的電子郵件，警告說我們很快就會(huì)到來。世界各國(guó)政府現(xiàn)在正在關(guān)注這個(gè)問題。

這實(shí)際上與收到外星文明的電子郵件的后果非常相似。歐洲正在呼吁召開緊急全球峰會(huì)。中國(guó)正在發(fā)布非常嚴(yán)格的法規(guī)，限制這些系統(tǒng)的開發(fā)和部署。美國(guó)現(xiàn)在正在討論制定法規(guī)，以保護(hù)人們免受不安全的人工智能系統(tǒng)的傷害。各國(guó)政府正在與世界各地的科學(xué)家交談，詢問科學(xué)家們應(yīng)該怎么做？我認(rèn)為這是一件好事。

因此，公開信的結(jié)果是，人類現(xiàn)在回到了辦公室，并正在思考如何應(yīng)對(duì)這一挑戰(zhàn)。

騰訊科技：公開信和后來發(fā)布的聲明之間有沒有關(guān)系？你為什么都簽名支持了？但是OpenAI的CEO Sam Altman并沒有簽署第一封信？

羅素：公開信和后來發(fā)布的聲明之間的區(qū)別在于，公開信相當(dāng)長(zhǎng)。它提出了一個(gè)具體要求，要求正在開發(fā)這些系統(tǒng)的AI實(shí)驗(yàn)室暫停研發(fā)和政府應(yīng)該監(jiān)管這些系統(tǒng)。

它還談到了這些系統(tǒng)已經(jīng)存在的許多風(fēng)險(xiǎn)，包括虛假信息、失業(yè)等。這引起了很多爭(zhēng)議。有人沒有簽署，因?yàn)榧词顾麄冋J(rèn)為AI系統(tǒng)存在風(fēng)險(xiǎn)，也覺得6個(gè)月的延遲不是正確的政策回應(yīng)。?第二份聲明的目的實(shí)際上是避免所有這些爭(zhēng)議，只是對(duì)風(fēng)險(xiǎn)做出非常干凈、簡(jiǎn)單的陳述。有趣的是，OpenAI的CEO Sam Altman沒有簽署第一封信，但他簽署了第二份聲明。

但是至于為什么，你得問問他?？赡苁且?yàn)樗J(rèn)為第二份聲明只是真實(shí)而重要的，人們應(yīng)該會(huì)贊同。而公開信是一個(gè)政策建議，不同于真理陳述。也許他不同意政策建議，或者他認(rèn)為這應(yīng)該是一個(gè)稍微不同的政策回應(yīng)。至于6個(gè)月的延遲，我也有不同意見，我的觀點(diǎn)是應(yīng)該有一個(gè)無限期的延遲。如果它們不安全，那么就永遠(yuǎn)不應(yīng)該發(fā)布。如果行業(yè)需要20年時(shí)間來找出如何制造安全的系統(tǒng)，那么沒問題，我們可以等20年。

騰訊科技：外界仍然對(duì)這封公開信存在一些質(zhì)疑，比如有人認(rèn)為它沒有實(shí)際的效果，還有人簽名是處于政治或商業(yè)的某些動(dòng)機(jī)，你會(huì)有同樣的擔(dān)憂嗎？比如馬斯克，在簽署完公開信之后，馬上就開始了相關(guān)的項(xiàng)目。

羅素：對(duì)于第一個(gè)問題，有人沒有簽署這封信，因?yàn)樗麄冋J(rèn)為它不會(huì)產(chǎn)生任何影響。我認(rèn)為事實(shí)上它產(chǎn)生了巨大的影響。自從公開信發(fā)出以來，這幾乎每天都在幾乎所有報(bào)紙的頭版上，這導(dǎo)致了大量政治層面的實(shí)際效果。所以它實(shí)際上比我預(yù)期的更有效。這是第一件事。

第二個(gè)關(guān)于簽署者動(dòng)機(jī)的論點(diǎn)。在許多立法機(jī)構(gòu)和許多其他組織中遵循的議會(huì)辯論規(guī)則中，當(dāng)你討論一個(gè)話題時(shí)，質(zhì)疑提出論點(diǎn)的人的動(dòng)機(jī)是不合適的。你要處理論點(diǎn)的實(shí)質(zhì)，而不是這個(gè)人的動(dòng)機(jī)。這是辯論的基本規(guī)則。

其中一些是針對(duì)埃隆·馬斯克的，因?yàn)樗麤Q定資助一個(gè)人工智能研究項(xiàng)目，所以說他動(dòng)機(jī)有問題，可能也不太符合邏輯。如果政府因?yàn)檫@封公開信，從而有動(dòng)力制定法規(guī)，那么這些法規(guī)將同樣適用于他的公司，也同樣適用于其他所有人。所以我認(rèn)為這些關(guān)于動(dòng)機(jī)的論點(diǎn)是無效的。

騰訊科技：下面讓我們繼續(xù)談一下GPT-4吧，你認(rèn)為它真的已經(jīng)擁有智能了嗎？多久才能達(dá)到人類的智能水平？

羅素：智能？我同意GPT-4似乎很聰明。但是我認(rèn)為這有點(diǎn)欺騙性。舉個(gè)例子，如果我拿一張紙，這里有一張。如果我要把這個(gè)讀給你聽，它會(huì)聽起來非常聰明。但是沒有人認(rèn)為這張紙是聰明的。對(duì)吧？紙張只是攜帶了別人寫的文字。智慧屬于文字的作者，而不屬于紙張。

所以當(dāng)GPT-4用非常聰明的文字回答你時(shí)，它是一張紙嗎，還是文字的作者？我覺得答案是居于兩者之間。我們不知道它離紙張有多近，離真正的文字作者有多近。

而且這個(gè)答案很難知道，用于訓(xùn)練GPT-4的文本數(shù)量大約相當(dāng)于人類歷史上的所有書籍、報(bào)紙檔案、電視臺(tái)檔案、法律組織檔案、立法機(jī)構(gòu)檔案。

沒有一個(gè)人類讀過那么多信息，甚至連這些信息的1%都沒獲得過。所以我們不知道讀那么多信息是什么感覺。

對(duì)于任何給定的問題，我們都很難弄清楚它所依賴的信息來源是什么。比如算數(shù)，訓(xùn)練數(shù)據(jù)中有很多算術(shù)例子，比如我們告訴系統(tǒng)：46+92等于138，你會(huì)期望系統(tǒng)從數(shù)千個(gè)數(shù)學(xué)例子中學(xué)習(xí)算術(shù)規(guī)則，然后能夠做新的算術(shù)題，但事實(shí)證明行不通。

它假裝得很好。但是當(dāng)你給它更困難的例子時(shí)，它總是得到錯(cuò)誤的答案。所以它可能沒有學(xué)會(huì)算術(shù)規(guī)則。它只是在假裝，它并沒有真正學(xué)會(huì)算數(shù)。在這種情況下，它似乎更像一張紙，而不像一個(gè)人類。

所以我們?nèi)栽谶M(jìn)行很多有趣的研究，試圖弄清楚它是否能夠推理，甚至是否正在構(gòu)建內(nèi)部世界模型？

問題是它是否真正能夠形成一個(gè)內(nèi)部的世界模型？我認(rèn)為有一些證據(jù)表明它并沒有這樣做。

當(dāng)你向一個(gè)人類提問時(shí)，有時(shí)我們會(huì)以不智能的方式回答，而不參考內(nèi)部世界模型。例如，如果我說，嗨，你今天好嗎（Hi！How are ?you today）？你會(huì)說,很好,謝謝,你呢（I’m fine.Thank you，and you？)這是一種機(jī)械式的回答。在這個(gè)意義上，我沒有檢查我的內(nèi)部世界模型來看看我真實(shí)感覺如何，然后給出答案，我只是以例行的方式回答。

如果我說，“嗨，你今天銀行賬戶里有多少錢”？那么你就必須檢查一個(gè)內(nèi)部的世界模型，或者甚至拿出手機(jī)查看你的銀行余額。但你是根據(jù)某種真理模型來回答問題的。如果我說，你的車停在哪里了？你會(huì)參考一個(gè)內(nèi)部世界模型：“它停在那邊的停車場(chǎng)里”。這對(duì)人類來說很正常。

但是我認(rèn)為有很多證據(jù)表明這些大型語言模型并沒有在回答問題，我認(rèn)為這一點(diǎn)非常重要，它們似乎回答了問題，但實(shí)際上它們并沒有回答問題，因?yàn)樗鼈儗?shí)際上沒有一個(gè)內(nèi)部的真實(shí)模型可以參考來回答問題。它們更像是“我很好。謝謝。你呢？”只是在例行公事。

我們從哪里可以得知這點(diǎn)呢？GPT系統(tǒng)可以對(duì)同一個(gè)問題給出矛盾的答案。如果你參考一個(gè)真實(shí)的內(nèi)部模型，你不能對(duì)同一個(gè)問題給出矛盾的答案。一個(gè)我朋友發(fā)給我的例子是，你問，“大象和貓哪個(gè)更大”。它說“大象比貓大”。所以你認(rèn)為它知道大象比貓大。然后你問，“哪個(gè)不是更大的，大象還是貓”。它說，“大象和貓都不比另一個(gè)更大”。它在兩個(gè)句子中自相矛盾。它沒有關(guān)于物體相對(duì)大小的內(nèi)部真實(shí)模型，因?yàn)槿绻?，它?huì)給你一個(gè)一致的答案來回答那個(gè)問題。

GPT-4只有幾周時(shí)間向外部研究人員開放，所以現(xiàn)在下定論還為時(shí)過早。但我認(rèn)為我們會(huì)發(fā)現(xiàn)，實(shí)際上這些系統(tǒng)并沒有像我們認(rèn)為人類那樣具有一致的內(nèi)部真實(shí)模型。

回到最初的問題，GPT-4是否正在創(chuàng)造通用智能？我認(rèn)為答案可能是否定的。它做得很好，創(chuàng)造了一些能夠進(jìn)行非常有效的對(duì)話的東西，語法非常正確，無論是英語還是中文。它很少犯語言錯(cuò)誤，因?yàn)樗拇鸢高B貫，并且似乎是邏輯順序，并且它們似乎有意響應(yīng)您的輸入。

“真正的智能正在發(fā)展中。真正的智能不會(huì)“為了正確”而回答。當(dāng)我們對(duì)GPT的原理了解更多，可能我們能夠揭開它的一些弱點(diǎn)究竟是因?yàn)槭裁?。我認(rèn)為，創(chuàng)造通用智能是一個(gè)非常復(fù)雜的謎題。人工智能研究已經(jīng)進(jìn)行了大約75年左右。它已經(jīng)產(chǎn)生了許多突破，這些突破將構(gòu)成這個(gè)謎題的一部分。對(duì)我來說，大型語言模型也是謎題的一部分。

但我們也應(yīng)該意識(shí)到，現(xiàn)在我們看到的那種興奮，其實(shí)在1950年代也同樣經(jīng)歷過。當(dāng)時(shí)我們建造了可以自己學(xué)習(xí)并擊敗其人類創(chuàng)造者的系統(tǒng)。我認(rèn)為在1957年電視上演示過，這引起了全球驚嘆，“哇?！機(jī)器可以做到這一點(diǎn)”。與1950年代不同的是，你現(xiàn)在可以在互聯(lián)網(wǎng)上使用它。

過去幾個(gè)月中發(fā)生的公眾感知上的巨大變化，是因?yàn)檫@是歷史上首次，每個(gè)擁有互聯(lián)網(wǎng)訪問權(quán)限的人都可以與這些系統(tǒng)進(jìn)行交互并親身體驗(yàn)。因此，他們正在品嘗通用智能可用的世界可能會(huì)是什么樣子。這只是一個(gè)味道，一種感覺，不是真正的東西。但僅僅那種感覺就足以讓我認(rèn)為“世界會(huì)醒來”。

騰訊科技：我們知道我們不能信任 GPT-4，但是大眾還是會(huì)相信它，這也會(huì)造成一些風(fēng)險(xiǎn)，我們應(yīng)該如何提示大家，不要去輕信 GPT-4 呢？

羅素：這個(gè)問題與我們所謂的“人工智能幻覺”有關(guān)。有些人不喜歡這個(gè)詞，但我認(rèn)為這是一個(gè)合理的詞。這意味著系統(tǒng)在不知道的情況下生成虛假信息。所以它并不是故意撒謊。它只是輸出實(shí)際上并不準(zhǔn)確的信息。這是因?yàn)樗鼪]有根據(jù)內(nèi)部真實(shí)模型回答問題。它不相信它所說的所有虛假事情。“相信”這個(gè)詞不適用于GPT-4，它只是一種語言生成器。在生成描述完全錯(cuò)誤的語言的情況下，它并沒有撒謊。

我們信任它，因?yàn)橥ǔＧ闆r下，當(dāng)我們與人類交談時(shí)，他們會(huì)給我們自信、詳細(xì)的答案，并附有參考文獻(xiàn)、引用、報(bào)紙文章的參考文獻(xiàn)、法律案例的參考文獻(xiàn)。

所以當(dāng)有人類這樣做時(shí)，你會(huì)相信他們，因?yàn)橐阅欠N方式撒謊是愚蠢的。但這些系統(tǒng)沒有概念他們?cè)谌鲋e。所以整個(gè)信任的概念，你必須把它扔掉。

這種通過系統(tǒng)對(duì)話性傳達(dá)的概念就像另一個(gè)人一樣。我認(rèn)為大多數(shù)普通人誤以為它就像另一個(gè)人一樣，只不過是一個(gè)知識(shí)淵博、讀遍全世界的書籍，并能回答任何問題的人。

騰訊科技：那你如何定義AGI 呢？如果有一天，我們達(dá)到了 AGI，它和人類的智慧是否還會(huì)有本質(zhì)不同？

羅素：我認(rèn)為通用人工智能將能夠快速學(xué)習(xí)并超越人類在任何領(lǐng)域中的能力，只要這些領(lǐng)域是人類大腦可以處理的，例如下棋、開車、拉小提琴、教孩子騎自行車或者其他任何人類可以用大腦做到的事情，人工智能都將能夠做到，而且可能做得更好。

計(jì)算機(jī)作為物理對(duì)象和人類大腦之間存在巨大的差異。人類大腦是一個(gè)了不起的東西，它能夠從比我們目前使用的人工智能系統(tǒng)少得多的數(shù)據(jù)中學(xué)習(xí)技能、學(xué)會(huì)語言等。因此，人類大腦實(shí)際上更擅長(zhǎng)發(fā)現(xiàn)數(shù)據(jù)中的潛在模式，并成功地應(yīng)用在現(xiàn)實(shí)世界中。我認(rèn)為，在我們理解了人類大腦如何做到這一點(diǎn)之前，AGI是不可能實(shí)現(xiàn)的。

我認(rèn)為當(dāng)前的技術(shù)正在彌補(bǔ)對(duì)大腦的學(xué)習(xí)方式不了解的缺陷。它通過使用比我們目前使用的數(shù)據(jù)多100萬倍來彌補(bǔ)這種缺陷。

當(dāng)我們真正理解了學(xué)習(xí)方式時(shí)，我們應(yīng)該看到這些系統(tǒng)能夠從與人類使用相似數(shù)量的數(shù)據(jù)中學(xué)習(xí)。當(dāng)我想教我的孩子什么是長(zhǎng)頸鹿時(shí)，我會(huì)拿出一本圖片書。這本圖片書有一頁是“G”代表長(zhǎng)頸鹿，上面有一張長(zhǎng)頸鹿的小卡通圖片，黃色和棕色相間，有一個(gè)長(zhǎng)長(zhǎng)的脖子。孩子看到那張小小的長(zhǎng)頸鹿圖片就知道什么是長(zhǎng)頸鹿了?，F(xiàn)在我可以給孩子看一張真正長(zhǎng)頸鹿的照片，或者一個(gè)長(zhǎng)頸鹿的骨架，或者倒著放著的長(zhǎng)頸鹿，他們都會(huì)認(rèn)出這是長(zhǎng)頸鹿。

人類孩子只需要一個(gè)例子就能學(xué)會(huì)。創(chuàng)造出具有這種能力的AGI，我們還需要很長(zhǎng)的路要走。

計(jì)算機(jī)每秒可以執(zhí)行的基本操作數(shù)量大約是100億次。而人類大腦基本上每秒只能執(zhí)行大約100次操作。這是一個(gè)巨大的差異。

如果這是基本速度的一億倍，那么計(jì)算機(jī)內(nèi)存呢？正如我們所知道的，因?yàn)槲覀兛梢酝ㄟ^搜索引擎看到這一點(diǎn)，它們可以輕松地記住整個(gè)互聯(lián)網(wǎng)。沒有人類能記住那么多。它們?cè)谒俣?、?nèi)存、信息共享能力方面具有巨大的優(yōu)勢(shì)。

它們可以以每秒100億比特的速度相互發(fā)送信息，而我們只能互相交談，大約每秒只有10比特左右。所以計(jì)算機(jī)之間的通信速度比人類快了10億倍。

這些優(yōu)勢(shì)意味著，當(dāng)我們理解了作為人類認(rèn)知基礎(chǔ)的算法，并能夠在機(jī)器中重新創(chuàng)建這些能力時(shí)，然后再加上計(jì)算、速度、內(nèi)存、通信帶寬等方面的優(yōu)勢(shì)，它們將遠(yuǎn)遠(yuǎn)超過人類。所以我們應(yīng)該想象，在我們理解如何正確地做到這一點(diǎn)之前，我們可以通過使用大量數(shù)據(jù)來假裝彌補(bǔ)我們不真正了解智能應(yīng)該如何工作的事實(shí)。當(dāng)我們理解了智能應(yīng)該如何工作時(shí)，AI系統(tǒng)將在每個(gè)維度上迅速超越人類能力。

所以這就是為什么我們?cè)谶€沒弄清人類大腦的情況下，可以通過使用大量數(shù)據(jù)來假裝彌補(bǔ)“我們還沒有真正了解智能”的事實(shí)。當(dāng)我們真正弄清了“智能究竟如何產(chǎn)生的”，AI系統(tǒng)將在每個(gè)維度上迅速超越人類能力。

所以這就是為什么我們必須先解決控制問題。如果我們?cè)跊]有解決控制問題的情況下開發(fā)出AGI，那么我們將失去控制，到那個(gè)時(shí)候才去想這個(gè)問題的時(shí)候，為時(shí)已晚。這也是我簽署聲明的原因之一，就是試圖向人們傳達(dá)這一點(diǎn)有多么重要。這與人類面臨的任何其他問題一樣重要，甚至可能更重要。

騰訊科技：這樣說來，目前包括 GPT-4 在內(nèi)的大部分人工智能技術(shù)，其實(shí)還是“技術(shù)黑盒”。當(dāng)科學(xué)家都沒真正弄懂它的原理的時(shí)候，就讓它去接觸這么多普通人，這是不是很不負(fù)責(zé)任？

羅素：什么是黑盒子呢？這并不是說我們看不到里面，我們可以看到里面。事實(shí)上，有GPT-4的開源版本，所以這并不是一個(gè)秘密。事實(shí)上，即使你可以看到所有的東西，你所能看到的只是一萬億個(gè)參數(shù)。

我來舉例，試著讓你感受一下這是什么樣子：你想象一下一個(gè)鏈環(huán)構(gòu)造的圍欄，就像一個(gè)鉆石形狀的圍欄，我們用這種圍欄來圍住建筑工地和公園等地方。

你想象一下那個(gè)鏈環(huán)圍欄，每個(gè)環(huán)都是電路中的一個(gè)連接，那么GPT-4系統(tǒng)基本上是一個(gè)有一萬億個(gè)連接的巨大電路。

如果那是一個(gè)鏈環(huán)圍欄，它將是大約50千米乘以50千米的面積，2500?平方千米，它將覆蓋多大面積的城市?，F(xiàn)在想象一下，有人說它就在那里，每一個(gè)鏈接上都有一個(gè)數(shù)字，表示電路中這個(gè)鏈接的連接強(qiáng)度。我們完全無法理解發(fā)生了什么。如果有人說，在電路中，它認(rèn)為有1.07億人口在某個(gè)地方，但是你找不到它。它只是一堆數(shù)字，我們無法理解信息存儲(chǔ)在哪里，推理發(fā)生在哪里，如果發(fā)生了推理。它有目標(biāo)嗎？我們不知道。

我詢問了微軟研究團(tuán)隊(duì)的負(fù)責(zé)人，他們的工作是探索GPT-4的能力。所以在發(fā)布之前，他們已經(jīng)使用GPT-4進(jìn)行了幾個(gè)月的實(shí)驗(yàn)。他們寫了一篇名為《通用人工智能的火花》的論文。他們說這個(gè)系統(tǒng)展示了AGI的火花，我問那個(gè)小組的首席研究員，GPT-4是否學(xué)會(huì)了建立自己的內(nèi)部目標(biāo)。如果是這樣，那么它們是什么？他說，我們不知道。所以現(xiàn)在我們有了一個(gè)系統(tǒng)，但是它的內(nèi)部運(yùn)作的我們并不理解，它有可能已經(jīng)有了自己的內(nèi)部世界目標(biāo)。

我們還什么都不知道，在這種情況下，就把這個(gè)人工智能的黑盒子發(fā)布給數(shù)億人。對(duì)我來說，這似乎是不負(fù)責(zé)任的。

我還爭(zhēng)論過兩件事情。首先是我們訓(xùn)練這些系統(tǒng)的方式。當(dāng)我們訓(xùn)練它們時(shí)，我們只是訓(xùn)練它們模仿人類語言。其實(shí)當(dāng)人類寫作和演講時(shí)，他們是有自己的內(nèi)部世界目標(biāo)的，而這些目標(biāo)指導(dǎo)著他們說出來的內(nèi)容。如果我想和某個(gè)人結(jié)婚，那么我會(huì)在談話中說一些話來說服她和我結(jié)婚，或者至少試圖說服她喜歡我。如果我競(jìng)選公職，我是一名政治家，我會(huì)說一些話來試圖說服人們投票給我。因此，所有人類語言都是由有目標(biāo)，并根據(jù)目標(biāo)行動(dòng)的人創(chuàng)造出來的。

如果你想模仿人類的語言行為，那么這個(gè)訓(xùn)練過程的自然結(jié)果就是系統(tǒng)將獲得與撰寫所有這些文本的人類類似的目標(biāo)。

現(xiàn)在你實(shí)際上要求它模仿的不是一個(gè)人，而是成千上萬寫下所有這些文本的人，他們都有不同的動(dòng)機(jī)。所以你實(shí)際上正在創(chuàng)建一個(gè)具有多個(gè)人格的系統(tǒng)，有時(shí)它會(huì)像一個(gè)人一樣行事，有時(shí)它會(huì)像一個(gè)不同的人一樣行事，具有不同的目標(biāo)。

在《紐約時(shí)報(bào)》中有一次非常廣泛的對(duì)話，對(duì)話雙方是《紐約時(shí)報(bào)》記者和必應(yīng)搜索引擎中運(yùn)行的 GPT-4 的一個(gè)版本，名為 Sydney。

這位記者名叫凱文，在某個(gè)時(shí)候，凱文說了一些話，導(dǎo)致 GPT-4 中激活了特定的個(gè)性。現(xiàn)在激活的目標(biāo)是 GPT-4想要嫁給凱文。

于是它開始試圖說服凱文離開他的妻子，說他的妻子并不真正愛他。凱文真正愛?的是Sydney 這個(gè)聊天機(jī)器人。這一過程持續(xù)了很多頁。凱文一直試圖改變?cè)掝}，而 Sydney 一直在說不，我真的愛你，你也真的愛我，你不愛你的妻子，這更重要。我們應(yīng)該永遠(yuǎn)在一起等等。這似乎是一個(gè)例子，激活了系統(tǒng)學(xué)習(xí)到的目標(biāo)之一，并指導(dǎo)了系統(tǒng)的行為。

這真的很糟糕，對(duì)吧？一是，我們不知道系統(tǒng)的目標(biāo)是什么，我們沒有辦法找出來，除非可能通過詢問，但你可能得不到正確的答案。

但是，我們不希望 AI 系統(tǒng)具有與人類相同的目標(biāo)。這一點(diǎn)非常重要。有些人想成為世界總統(tǒng)或宇宙統(tǒng)治者，我們不希望 AI 系統(tǒng)有這個(gè)目標(biāo)。

我們唯一希望 AI 系統(tǒng)具有的目標(biāo)是“對(duì)人類有價(jià)值，對(duì)人類有益”。很少有人有這個(gè)目標(biāo)?？傮w而言，人類的目標(biāo)都是與自己相關(guān)的，人類想活下去，想擁有一個(gè)家庭，想相對(duì)富裕，想受歡迎，想成功。他們想在自己選擇的工作上表現(xiàn)出色。這些都是人類具有非常合理的目標(biāo)。至少到目前為止，沒有辦法通過從人類生成的文本中訓(xùn)練大型語言模型來使其具有這個(gè)目標(biāo)——僅對(duì)人類有益。

我認(rèn)為，如果我們要構(gòu)建安全且對(duì)人類有益的 AI 系統(tǒng)，我們就不能使用這種方法。這是錯(cuò)誤的方法，會(huì)產(chǎn)生由于錯(cuò)誤原因而做錯(cuò)事情的系統(tǒng)，我們必須嘗試一些不同的方法。

騰訊科技：這是不是也是將《人工智能：一種現(xiàn)代方法》的第四版做了一個(gè)重要更新的原因？（在之前的版本人工智能的目的被定義為“創(chuàng)建試圖最大化預(yù)期效用并由人類設(shè)定目標(biāo)的系統(tǒng)”，第四版不再假定AI系統(tǒng)或代理具有固定的目標(biāo)）

羅素：我想我應(yīng)該坦白，因?yàn)樵谶@本教科書的前三版，我認(rèn)為我們只是試圖提供一個(gè)關(guān)于人工智能的統(tǒng)一理解。

我們發(fā)現(xiàn)這個(gè)智能體的概念，它追求的目標(biāo)是由人類定義的，實(shí)際上捕捉了我們對(duì)人工智能研究的所有理解。而且這個(gè)理解是，AI 系統(tǒng)應(yīng)該被賦予目標(biāo)。然后他們應(yīng)該以理性的方式追求這些目標(biāo)。這是從哲學(xué)、經(jīng)濟(jì)學(xué)中借鑒來的。什么是理性行為？在1940s，這在哲學(xué)、經(jīng)濟(jì)學(xué)中已經(jīng)是一個(gè)非常成熟的理論了。它意味著最大化預(yù)期效用。在 AI 中，最初的版本比這更受限制。它們完全追求固定的目標(biāo)，假設(shè)世界是確定性的。你不必?fù)?dān)心不確定性。你有一個(gè)固定的目標(biāo)，不涉及權(quán)衡。所以你只需要想出一個(gè)實(shí)現(xiàn)目標(biāo)的計(jì)劃就可以了。即存在目標(biāo)并創(chuàng)建機(jī)器來以最佳方式實(shí)現(xiàn)目標(biāo)。這個(gè)想法可以追溯到至少兩千五百年前的亞里士多德時(shí)期。

大約在 2013 年左右，我意識(shí)到那是一個(gè)錯(cuò)誤。因?yàn)樵诂F(xiàn)實(shí)世界中，在實(shí)驗(yàn)室之外，不可能正確地指定目標(biāo)。如果你在下棋，那么目標(biāo)應(yīng)該是將對(duì)手將死，而贏得比賽。如果你正在導(dǎo)航，你應(yīng)該找到最短的路徑到達(dá)目的地。我們提出了解決這些問題的算法。

但在現(xiàn)實(shí)世界中，情況并非如此。在古希臘時(shí)期，有一個(gè)關(guān)于國(guó)王米達(dá)斯的傳說。米達(dá)斯是一個(gè)傳奇國(guó)王，據(jù)說非常非常富有。但在故事中，他請(qǐng)求神靈讓他所觸碰的一切都變成黃金，他認(rèn)為這是正確的目標(biāo)。但后來事實(shí)證明，在現(xiàn)實(shí)世界中，他的食物變成了黃金，所以他不能吃；他的水變成了黃金，所以他不能喝；他的家人變成了黃金，所以他不再有家人，最終在痛苦和饑餓中死去。

因此，我們很長(zhǎng)時(shí)間以來就已經(jīng)明白，在現(xiàn)實(shí)世界中無法正確地指定目標(biāo)。你總會(huì)忘記一些重要的東西，或者你會(huì)錯(cuò)誤地陳述事情。這意味著 AI 的這種基本方法——即人類指定目標(biāo)，機(jī)器實(shí)現(xiàn)目標(biāo)——在現(xiàn)實(shí)世界中是不可行的。我們無法正確地做到這一點(diǎn)。

如果我們指定錯(cuò)了，而 AI 系統(tǒng)比你更聰明，但是AI 系統(tǒng)正在追求錯(cuò)誤的目標(biāo)，你無能為力，因?yàn)闉闀r(shí)已晚。一旦你設(shè)定了目標(biāo)，AI 系統(tǒng)就會(huì)實(shí)現(xiàn)它。這就是國(guó)王米達(dá)斯發(fā)現(xiàn)的問題，太晚了。因此，解決方案似乎是構(gòu)建 AI 系統(tǒng)，它們希望對(duì)人類有益，并希望追求人類想要的未來。

但在一般情況下，它將不確定人類想要什么。這實(shí)際上會(huì)導(dǎo)致非常不同的技術(shù)路線，例如，一個(gè)不確定人們想要什么的系統(tǒng)可能會(huì)提出一個(gè)計(jì)劃，但如果該計(jì)劃涉及到我們偏好不確定的世界的某個(gè)部分，它可能需要征得許可。

例如，我們可能會(huì)說我們真的想解決氣候變化，我們真的需要將二氧化碳水平降回到工業(yè)革命之前的水平。

因此，如果系統(tǒng)提出了一種解決方案，其中涉及某種化學(xué)反應(yīng)來從大氣中去除二氧化碳，但它會(huì)使海洋變成酸性。它會(huì)說，我不確定人類是否想要這樣做。他們想解決大氣問題。我不知道他們對(duì)海洋有什么要求。

因此，在執(zhí)行此操作之前，AI系統(tǒng)應(yīng)該詢問人類，你們關(guān)心海洋嗎？我們會(huì)說，是的，我們關(guān)心海洋，我們不希望海洋變成酸性。該系統(tǒng)現(xiàn)在已經(jīng)了解了我們的偏好。在傳統(tǒng)版本中，系統(tǒng)從未請(qǐng)求許可，因?yàn)樗J(rèn)為自己已經(jīng)知道你想要什么。而在新版本中，系統(tǒng)現(xiàn)在有理由請(qǐng)求許可。在極端情況下，如果我們想關(guān)閉它，則它希望被關(guān)閉，因?yàn)樗Ｍ苊鈭?zhí)行任何可能導(dǎo)致我們想關(guān)閉它的操作。再次強(qiáng)調(diào)，在傳統(tǒng)情況下，它將避免被關(guān)閉，因?yàn)樗Ｍ麑?shí)現(xiàn)目標(biāo)。它實(shí)際上會(huì)抵制人類任何試圖關(guān)閉或以任何方式干擾其實(shí)現(xiàn)目標(biāo)的嘗試。

因此，我認(rèn)為這種新型 AI 實(shí)際上是更加智能和更加安全的。但正如我在書開頭所說，我們還沒有在這個(gè)新基礎(chǔ)上開發(fā)出所有技術(shù)。仍有大量研究需要進(jìn)行，因此，也許在第五版中，我們將解釋如何構(gòu)建這些行為正確的新型 AI 系統(tǒng)。我相信，如果我們能做到這一點(diǎn)，即使系統(tǒng)比人類更聰明，我們也有可能永遠(yuǎn)保持控制。