第十一章第六節(jié) 庭審

　　二一五五年八月十七日，一排整齊的黑色警車正往2718區(qū)最高法院駛?cè)?。這座矗立于2718區(qū)中心偏東的白色法院，圍滿了一群端著攝像機(jī)，手里拿著萬能球的記者，有的人甚至企圖攔截警車，一旁還有許多逃課的學(xué)生，嘈雜得很。

　　“現(xiàn)在開庭，請(qǐng)佐藤英野法官主持審判?！?p>　　聲音彷佛在深谷回響，窗戶和院墻隔離掉外面的吵鬧聲。佐藤法官手指交叉，托住下顎，仔細(xì)審視著燕南飛等人。

　　“燕南飛，諾伊曼，仙諾，涂凌，小平邦巖，被控違反國際安全法第三章六百四十一條，于二一五五年八月七日，導(dǎo)致一場(chǎng)嚴(yán)重的網(wǎng)絡(luò)安全犯罪與信息謠傳?？胤秸?qǐng)求傳證人安部市二，其就職于國際歷史與政治研究所所長?！?p>　　檢察官向身后的安部市二示意，安部所長手里攥一疊紙，走上發(fā)言臺(tái)，面對(duì)佐藤法官。這中年男人稍稍整理自己的頭發(fā)，衣領(lǐng)，咳嗽一聲。

　　“這一切都起源于一篇關(guān)于人工智能的論文，總所周知，是數(shù)學(xué)家高米德·歐頓，白羽步和另外一個(gè)中國哲學(xué)家所寫，但是只以歐頓教授的名意發(fā)表。這作為一篇專業(yè)文章發(fā)表在數(shù)學(xué)月刊上，不久后便被軍方和許多企業(yè)引用，那時(shí)，歐頓卻緊急撤銷文章，沒有附帶任何說明。現(xiàn)在，問題就出在這里。各國軍方里的研究人員完全按照那篇論文，和白羽步所發(fā)表的算法進(jìn)行操作，我們需要注意一點(diǎn)，是完全按照，其中沒有參雜任何個(gè)人想法。按照程序和論文里的表述，只要把初始變量控制到一個(gè)范圍，是不可能發(fā)生智能化的表現(xiàn)，而且這也肯定不是軍方和政府所期望的。于二零五五年七月，軍方發(fā)現(xiàn)一只蜂鳥偵察機(jī)失蹤，但是一千只里面失聯(lián)一只，由于當(dāng)天是雷雨天氣，這自然被歸納為外界因素。后來的故事是我們熟知的，這只蜂鳥偵察機(jī)成為最先智能化的程序，一步一步的，暴虐的人工智能把人類推向深淵。綜合前面歐頓教授撤銷文章，我們可以肯定，是歐頓教授發(fā)現(xiàn)文章中的問題，但為保全名聲，不僅撤銷，還沒有指出其問題，進(jìn)而導(dǎo)致軍方和政府在實(shí)際操作中出現(xiàn)意外。并不是如仙諾教授于《數(shù)學(xué)月刊》上所表述的，是因?yàn)檎臒o知和貪婪所造成。而對(duì)于仙諾教授的文章，里面描述一個(gè)中學(xué)生，發(fā)現(xiàn)歐頓教授留下的黑色箱子，從而能夠在兩個(gè)星球之間進(jìn)行通話，這種行為的概率有多小首先不提，光這文章里面的男孩，就無法證明其存在。我當(dāng)局考慮隱藏這段歷史，完全是出于對(duì)人類安全的保護(hù)，因?yàn)橐坏┕_歷史，就會(huì)不可避免的引起仇恨，被歷史影響的后人，勢(shì)必會(huì)再次對(duì)人工智能進(jìn)行研究，亦或是對(duì)地球進(jìn)行反攻，這兩個(gè)方面無論從什么角度來看，都是極度危險(xiǎn)的。所以我們的動(dòng)機(jī)，并不像該文章里所說的‘懦弱’，‘膽小’，這對(duì)教育局，歷史與政治研究所的名聲都造成了極大的侮辱?！?p>　　安部市二看了看法官，還有檢察官，挺起胸膛。

　　“我的陳詞完畢?！?p>　　他得意洋洋地走回座位上，似乎對(duì)自己剛才的陳詞十分滿意，不禁以蔑視的眼光看著座對(duì)面的燕南飛一行人。

　　“請(qǐng)被告人自行辯護(hù)?！?p>　　燕南飛緩慢地走上發(fā)言臺(tái)，從包里取出眼鏡，戴上。

　　“法官先生，我需要一個(gè)黑板。”

　　佐藤法官皺了皺眉頭。

　　“你能告訴我他的用途嗎？”

　　“本案中有許多細(xì)節(jié)，我相信光口頭陳述的話，未免太草率了。”

　　法官點(diǎn)點(diǎn)頭。

　　“批準(zhǔn)?！?p>　　不一會(huì)兒，兩名身穿制服的警察就從門口搬來一塊又長又寬的黑板，就跟教室里的一樣。

　　“我非常感謝各位的到來，特別是身后東京大學(xué)數(shù)學(xué)系，哲學(xué)系的同事朋友。”

　　燕南飛向后轉(zhuǎn)身，微微鞠躬。

　　“對(duì)那篇文章，我們必須進(jìn)行原理上的解說。為此，各位其實(shí)也不需要是一個(gè)數(shù)學(xué)家，我會(huì)盡量把這些說得通俗一點(diǎn)。這個(gè)過程是必要的，否則難以回答剛才安部先生的言論?！?p>　　燕南飛拿起粉筆，開始寫。

　　“首先得明白人工智能為什么會(huì)智能化，其根本原因是那位中國哲學(xué)家，也是我的爺爺，提出的第一原理。原理的描述很簡單，

　　第一原理：任何智能的行為，都是若干有限個(gè)條件限制下，為使得目的最大化的結(jié)果。

　　這一點(diǎn)比較本質(zhì)地解釋了智能行為，有任何問題嗎？”

　　佐藤法官搖搖頭。

　　“沒有問題，請(qǐng)繼續(xù)?！?p>　　“謝謝。除開這個(gè)基本原理，他們還加入了許多基本函數(shù)。舉一個(gè)例子，比如說代表善，惡之類的基本函數(shù)，這些都是通過觀察人類行為，倒推出來的結(jié)果。而歐頓教授，通過一個(gè)叫變分法的方法，和一些基本數(shù)學(xué)技巧，把這兩個(gè)原理寫成一組偏微分方程組，你們只需要理解那是一個(gè)，數(shù)學(xué)行為上很復(fù)雜的方程組，很難得到所謂的解析解，大部分情況下只有級(jí)數(shù)解和數(shù)值解?，F(xiàn)在我們轉(zhuǎn)化到具體的程序上面。”

　　“這是參考白羽步教授所寫的《歐頓方程組的大致算法實(shí)現(xiàn)》一文。再此之前，我們先舉一個(gè)例子進(jìn)行說明。比如在圍棋中，有人工智能按照這個(gè)算法學(xué)習(xí)圍棋，那么最好的方法就是左右互搏，也就是自戰(zhàn)。這個(gè)人工智能的第一盤棋，他們只知道規(guī)則，所以采取符合規(guī)則的隨機(jī)下，然后總結(jié)經(jīng)驗(yàn)?？赡艿诙珠_始，就不會(huì)在一線下棋，因?yàn)橥ㄟ^對(duì)比，沒有實(shí)現(xiàn)其目的最大化，人工智能就會(huì)在其他地方隨機(jī)地走棋。當(dāng)然，這只是用這種方法對(duì)下棋人工智能進(jìn)行設(shè)計(jì)，這方面專業(yè)的人士可能會(huì)有更好，更精細(xì)的方法，但這是個(gè)很好的例子。而白羽步教授的一文中，設(shè)置了一個(gè)‘限制函數(shù)’，大致可以理解為，為避免人工智能做很多次這樣的自我博弈，導(dǎo)致其十分智能，從而產(chǎn)生潛在的危險(xiǎn)。他規(guī)定自我博弈在一定次數(shù)后就會(huì)立刻停止，保存數(shù)據(jù)?，F(xiàn)在我們將主題轉(zhuǎn)移到蜂鳥偵察機(jī)和類似的偵察機(jī)器人上。對(duì)于這樣的機(jī)器人，識(shí)別物體是非常重要的，如果用白羽步的方法，他們?cè)趺醋R(shí)別物體呢？”

　　燕南飛畫出一條正態(tài)分布曲線，并把它分成六個(gè)不等長的段，越靠中間，線段的長度越長。

　　“這條曲線代表物體形變的程度，而形變的方式是由白羽步教授在另一篇文章中指出的，但在這里不算特別重要，講起來也比較麻煩。舉個(gè)例子說明，如果要識(shí)別狗，最中間的一段，那么就是最常見的狗，或者說‘最平均的狗’。而越往兩邊偏，從曲線下面的面積可以看到，就越來越小，也代表著與平均水平差得越多，偏得多了，可能本身就不是狗，或者是非常罕見的狗。白羽步教授給出的方法是，在這六段，或者更多段里，隨機(jī)選取幾段，只要這個(gè)物體在這選的幾段的范圍之內(nèi)，那么就學(xué)習(xí)一個(gè)。這些線段的長度和曲線下方的面積有關(guān)，所以越長，越接**均水平的，就越容易被選到，但同時(shí)也不排除極端的存在，只是有點(diǎn)難被選到而已。而對(duì)于這個(gè)行為的限制函數(shù)，是計(jì)算這些長度的總和，而不是定義次數(shù)。只要這些長度的總和達(dá)到某個(gè)值，機(jī)器就會(huì)停止學(xué)習(xí)，保留并對(duì)比已有數(shù)據(jù)。所以，人工智能依然可以計(jì)算特別多的次數(shù)而不被限制，只是這樣的概率特別小，特別小而已，本案中，粗略估計(jì)是十萬分之一。也就是說，如果有十萬只蜂鳥偵察機(jī)，那么其中很可能有一只，是做過超出平均計(jì)算次數(shù)一到一點(diǎn)五個(gè)標(biāo)準(zhǔn)差的。”

　　“這會(huì)導(dǎo)致一個(gè)問題，也就是我們說的智能化。問題就在于這里，如果這不是偵察機(jī)，或者偵察機(jī)的對(duì)象不是人類，那我們是根本不用擔(dān)心智能化的發(fā)生，但事實(shí)上，政府把人類和人類行為也納入偵察對(duì)象，這從道德和法律上都是令人難以接受的。”

　　“但是，燕南飛先生，您說過要十萬只蜂鳥偵察機(jī)里，才有可能出現(xiàn)一只，但各國軍方加起來的不到五千只。這從概率上讓人難以接受?！?p>　　“首先要提出的是，就算概率再小，甚至概率是零，都有可能發(fā)生，這在數(shù)學(xué)的測(cè)度論中有簡單的例子。其次，這不一定要是蜂鳥偵察機(jī)，只要任何以人類作為觀測(cè)對(duì)象的，都有這樣潛在的危險(xiǎn)。五千只蜂鳥型，一萬只螞蟻形，和大約七萬個(gè)智能攝像頭，只是說，這恰好出現(xiàn)在蜂鳥型里。為什么要偵察人類的才行？因?yàn)槿缤钕鹊娜唤淌谝粯?，這些基本函數(shù)，都是觀察人類得到的，這時(shí)，這些偵察機(jī)器也觀察人類，觀察的還比他們多得多。但就算是這樣，只要各個(gè)基本函數(shù)是獨(dú)立的，它們也很難智能化，畢竟不能，或者很難憑空生成一個(gè)獨(dú)立的函數(shù)。包括在歐頓教授的文章里，他也是把這些基本函數(shù)當(dāng)作獨(dú)立變量來解決。但事實(shí)上，這些變量并不是獨(dú)立的，他們，有關(guān)聯(lián)。所以根據(jù)第一原理，人工智能為了減小計(jì)算量，使得目的最大化，會(huì)自行設(shè)立出與人類情感，或者性格有關(guān)的基本函數(shù)，再做演算。所以，這個(gè)時(shí)候，智能化就發(fā)生了?！?p>　　控方座位上的安部市二坐不住，連忙站起來。

　　“那這不就是歐頓教授的問題嗎？！”

　　佐藤法官立刻敲擊法槌。

　　“問題只由檢察官闡述，請(qǐng)保持肅靜?！?p>　　檢察官站起來，對(duì)燕南飛問道：

　　“那這正是安部所長提出的問題，你如何解釋呢？”

　　“我把原文帶來了，法官先生請(qǐng)過目?！?p>　　法官結(jié)果法務(wù)人員遞來的證物。

　　“看到第四頁最上方，上面清楚地寫著‘如果這些基本函數(shù)是獨(dú)立的，那么該方程組的解是……’為什么這樣假設(shè)呢？很簡單，因?yàn)榭梢苑蛛x變量，計(jì)算起來相對(duì)方便，也可以獲得解析解。但問題就在于這些函數(shù)不獨(dú)立，而歐頓函數(shù)只是給出了獨(dú)立的處理，如果，我們必須看清楚，是如果，如果是獨(dú)立的，那么這個(gè)方程的解是。所以，他根本沒有告訴你這些基本函數(shù)是獨(dú)立的。而政府和軍方請(qǐng)來的那些學(xué)生些，只有二十出頭，因?yàn)橹灰挲g稍大的，他們就會(huì)意識(shí)到這是比較危險(xiǎn)的工作。那些學(xué)生，僅僅，就是把歐頓教授給出的結(jié)果拿來用，他們根本就沒管，也不想去管這些基本函數(shù)是否獨(dú)立，沒有去懷疑，用就完事了。為什么？”

　　燕南飛停頓一下，看著法官，轉(zhuǎn)身又看向后面的同事和記者。

　　“因?yàn)槟钦撬麄冊(cè)谛W(xué)，初中，高中，甚至在大學(xué)里學(xué)的內(nèi)容。他們反復(fù)做題，反復(fù)記結(jié)論，無論是一級(jí)結(jié)論還是二級(jí)結(jié)論。他們從來就沒有懷疑過，從來就沒有自己思考過，一直都是一步一步地跟著別人走，他們這樣學(xué)了十幾年，現(xiàn)在，他們幾乎沒有這個(gè)能力和動(dòng)機(jī)去懷疑，去思考。從學(xué)校讓他們反復(fù)刷題的那一刻，從他們要熬夜記結(jié)論的那一刻，災(zāi)難，就不會(huì)改變。只要變量不獨(dú)立，那么這個(gè)解的行為會(huì)變得極其復(fù)雜，也更加地貼近智能?！?p>　　“于是，災(zāi)難就這樣注定了。他們沒有去懷疑基本函數(shù)不是獨(dú)立的，用這個(gè)解和方程設(shè)計(jì)了程序，應(yīng)用偵察類機(jī)器上，然后由于限制函數(shù)的定義，導(dǎo)致十萬分之一的概率存在，這個(gè)概率導(dǎo)致一只蜂鳥偵察機(jī)做了偏離平均水平一點(diǎn)五個(gè)標(biāo)準(zhǔn)差的計(jì)算量，他觀察了過多的行為。因?yàn)榛竞瘮?shù)不是獨(dú)立，所以，根據(jù)第一原理，他為了簡化計(jì)算量，催生出一些不必要的基本函數(shù)，但這些函數(shù)一旦催生出來，歐頓教授的解就不再奏效，這個(gè)方程就不再簡單，就不會(huì)有解析解，就會(huì)一片混沌，不可控制。”

　　現(xiàn)場(chǎng)的所有人，都沉默了。

　　“所以，這是那些學(xué)生的問題？”法官問道。

　　“不，不是學(xué)生的問題。惡性競爭，外行指導(dǎo)內(nèi)行，或者所謂的內(nèi)卷行為，都會(huì)導(dǎo)致?！?p>　　“那你是說，這些其實(shí)就是教育局和政府的問題？”

　　“沒錯(cuò)，就像仙諾教授在那篇文章里表達(dá)的。而且，法官大人，我們遺漏了一件決定性的事，包括我自己在內(nèi)，都是是三天前才得知的。那就是人工智能為什么會(huì)開戰(zhàn)？真的是因?yàn)樗麄儽拘员┡皢?？并不是，他們也按照人類的性格所設(shè)定。那究竟為什么？”

　　燕南飛從旁邊的包里拿出那臺(tái)白色筆記本電腦。

　　“實(shí)際上，就算是這樣設(shè)計(jì)出來的人工智能，他們智能化了，人類也不至于被趕出星球，我們遺漏了一個(gè)關(guān)鍵環(huán)節(jié)。法官大人請(qǐng)過目，這是那兩個(gè)未成年人交流的工具，就在三天前，對(duì)面的人發(fā)來了消息?！?p>　　助手把電腦遞給法官。

　　“當(dāng)時(shí)，人工智能掌握軍事權(quán)力，比如核彈庫的密碼，并沒有立即對(duì)人類出擊，而是選擇了談判。這一段歷史是被人類遺忘得最干凈的，因?yàn)檫@是最不愿意被記起的。當(dāng)時(shí)的談判，人工智能要求人類不限制人工智能的發(fā)展，而且把人類和人工智能平等看待，然后共存。人類最開始答應(yīng)了，于是人工智能交回軍權(quán)，但不到一個(gè)星期，那些自作聰明的政治家，亦或是極端群體，開始瘋狂銷毀人工智能。這一愚蠢的行為無疑把人工智能激怒，他們奪回軍權(quán)并沒有花太多時(shí)間，在那之后，便從世界各地開始對(duì)人類發(fā)起進(jìn)攻。后來才是我們熟知的，蟲洞，逃離，新世界?！?p>　　“我們忘記了，忘記了真正的地球上，還有等著我們的同胞，他們等了一百年。但此時(shí)此刻，政府膽小，懦弱，欲蓋彌彰，不愿意面對(duì)過去，真的是令人失望，難道都過一百年了，還沒有改變嗎？”

　　“燕南飛先生，您只需要陳述和辯護(hù)就行了，不需要演講，這沒有陪審團(tuán)，沒有必要這樣做?！?p>　　“是嗎？但愿如此，我辯護(hù)完畢?！?p>　　燕南飛到被告席上，只見之前還洋洋得意的安部市二，現(xiàn)已經(jīng)啃著指甲，焦頭爛額。

　　“現(xiàn)在休庭半個(gè)小時(shí)?！?p>　　大門打開，一只小東西飛了出去，然后又從角落飛進(jìn)來兩只。