為一個從事計算機近工作二十年的我，看到“并行”二字就能馬上想到“串行”，“串行”兩字是當自己進入計算機這行時一開始被深深打上烙印的兩個字。回顧著在二十世紀九十年代末，一接觸到計算機就是“馮·諾依曼”思想，指令都是串行執行，即指令是按順序執行，先執行完第一條指令后再執行第二條，依次執行完所有的指令。后來“并行”也慢慢走入我們的視野，從字面就可以看出來，并行是指同時可以執行多條指令。可能有人會問了，有沒有這種可能同時執行所有的指令呢?希望某一天能實現，我們期待著。先聽聽凱文先生怎么說“并行”。

從外表看很難判斷約翰·霍蘭德的真實年齡。他曾經擺弄過世界上最早的計算機，現在則任教于密歇根大學。他首次提出了一種數學方法，用以描述進化所具備的優化能力，并且該方法可以輕松地在計算機上編程實現。因其數學形式在某種程度上類似于遺傳信息，霍蘭德把它們稱為遺傳算法[注釋]。

和湯姆·雷不同，霍蘭德從性開始入手。霍蘭德的遺傳算法選取兩組類似于DNA的計算機代碼，這兩組代碼在問題求解上都有不錯的效果，然后以交配互換的方式將它們隨機重組，看看新的代碼會不會表現得更好一些。在設計系統時，和雷一樣，霍蘭德必須克服一個懸而未決的問題：對于任何隨機生成的計算機程序來說，往往都談不上什么好壞，而是根本就不靠譜。從統計學的意義上說，對可用代碼做隨機變異，結局注定是屢戰屢敗。

早在二十世紀六十年代初，理論生物學家就發現，與突變相比，交配所產生的實用個體比例更高，因而以其為基礎的計算機進化也更穩定和更有生命力。但是，單靠有性交配，其結果很受局限。二十世紀六十年代中期，霍蘭德發明了遺傳算法；遺傳算法中起主要作用的是交配，但突變也是幕后策劃者之一。通過將交配與突變結合在一起，系統變得靈活且寬泛。

在霍蘭德的算法中，那些“處在最高處”的代碼們彼此交配。換句話說，“地勢高”的區域，交配率就高。這便將系統的注意力集中到最有前途的區域，同時，對那些沒有希望的地區，系統則剝奪了它們所占用的計算周期。這樣，并行主義既做到了“天網恢恢，疏而不漏”，又減少了尋找頂峰所需要的代碼數量。

并行是繞過隨機變異所固有的愚蠢和盲目的途徑之一。這是生命的極大諷喻：一遍接一遍地重復盲目行為只能導致更深層的荒謬，而由一群個體并行執行的盲目行為，在條件適合時，卻能導出所有我們覺得有趣的東西。

在二十世紀七十年代，生物學和計算科學對此并不關注，生物學界對此缺乏興趣尚情有可原（但也不是什么光彩的事情）；生物學家認為自然界太復雜，難以用當時的計算機來展現其真實全貌。而計算機科學對此興趣寥寥，就莫名其妙了。我在為本書做調研時經常感到困惑，像計算進化這樣重要的方法為什么竟無人理睬呢？現在我相信，這種視而不見的根源，在于進化所固有的看上去雜亂無章的并行性，以及它與當時盛行的計算機信條——馮·諾依曼串行程序?——在根本上的抵觸。

人類的第一臺電子計算機叫做電子數值積分計算器[注釋]，是1945年為解決美軍的彈道計算問題而研發的。電子數值積分計算器是一個由一萬八千支電子管、七萬個電阻和一萬個電容構成的龐然大物。它需要六千個手動開關來設置指令，然后運行程序；各個數值的計算實際上是以并行方式同時進行的。這對編程來說是個負擔。

天才的馮·諾依曼從根本上改變了這種笨拙的編程系統。電子數值積分計算器的接替者——離散變量自動電子計算機[注釋]——是第一臺可運行存儲程序的通用計算機。馮·諾依曼二十四歲那年（1927年）發表了他的第一篇關于數學邏輯系統和博弈論的學術論文，自那時起，他就一直在考慮系統邏輯問題。在與離散變量自動電子計算機小組共事時，為了應付計算機編程在求解多問題時所需的復雜運算，他發明了一種方法來控制這些運算。他建議將問題分成離散的邏輯步驟，類似于長除法的求解步驟，并把求解過程的中間值臨時儲存在計算機中。這樣一來，那些中間值就可以被看成是下一部分問題的輸入值。通過這樣一個共同演化的循環（現在稱為子程序）來進行計算，并將程序邏輯儲存在計算機中以使它能與答案交互，馮·諾依曼能將任何一個問題轉化成人腦所能理解的一系列步驟。他還發明了描述這種分步線路的標記法：即現在大家所熟悉的流程圖。馮·諾依曼的串行計算架構——一次執行一條指令，其普適性令人驚嘆，并且非常適合人類編程。1946年馮·諾依曼發表了這個架構的概要，隨后所有的商用計算機都采用了這個架構，無一例外。

到了五十年代中期，霍蘭德加入了一個帶有傳奇性的圈子，里面都是些思想深邃之人，他們開始討論人工智能的可能性。

當赫伯特·西蒙和艾倫·紐厄爾[注釋]這樣的學界泰斗把學習看做高貴和高等的成就時，霍蘭德卻把它看做光鮮外表下的低端適應。霍蘭德認為，如果我們能理解適應性，尤其是進化的適應性，就可能理解甚至模仿有意識的學習。盡管其他人有可能意識到進化與學習之間的相似之處，然而在一個快速發展的領域里，進化并不太為人所關注。

霍蘭德在密歇根大學數學圖書館漫無目的地瀏覽時，偶然發現了一卷由R.?A.?費希爾[注釋]寫于1929年的《自然選擇的遺傳理論》[注釋]，頓時大受啟發。達爾文引領了從對生物的個體研究到種群研究的轉向，而把種群思維轉變為定量科學的則是費希爾。費希爾以一個隨時間推移而進化的蝴蝶族群為對象，將其看做是一個將差別信息并行傳遍整個族群的整體系統。他提出了控制信息擴散的方程。通過駕馭自然界最強大的力量——進化，以及人類最強有力的工具——數學，費希爾單槍匹馬開創了一個人類知識的新世界。“我第一次意識到能對進化進行有意義的數學運算。”霍蘭德回憶起那次奇妙邂逅時說。“那個想法對我非常有吸引力。”霍蘭德如此醉心于將進化作為一種數學來處理，以至于（在復印機還沒有問世的當時）拼命想搞到絕版的全文。他懇求圖書館把書賣給他，但沒有成功。霍蘭德吸取了費希爾的見解，又將其升華為自己的構想：一群協處理器，在計算機內存的原野上，如蝴蝶一般翩翩起舞。

霍蘭德認為，人工學習在本質上是適應性的一個特例。他相當確定能在計算機上實現適應性。在領悟了費希爾關于進化是一種概率的洞見后，霍蘭德著手嘗試把進化編為代碼輸入機器。

在嘗試之初，他面臨著一個兩難處境：進化是并行的處理器，而所有可用的電子計算機卻都是馮·諾依曼式的串行處理器。

在把計算機變為進化平臺的迫切愿望下，霍蘭德做了唯一合理的決定：設計一臺大規模并行計算機來運行他的實驗。在并行運算中，許多指令同時得到執行，而不是一次只執行一個指令。1959年，他提交了一篇論文，其內容正如其標題所概括，介紹了“能同時執行任意數量子程序的通用計算機”[注釋]，這個機巧裝置后來被稱為“霍蘭德機”。而等了差不多三十年，一臺這樣的計算機才終于問世。

在此期間，霍蘭德和其他計算進化論者不得不依賴串行計算機來培育進化。他們使出渾身解數在快速串行處理器上編程模擬一個緩慢的并行過程。模擬工作卓有成效，足以揭示出真正并行過程的威力。

【這不得不佩服美國，人家在半個世紀前就開始對人工智能很比較深入的研究，雖然當前人工智能在中國大地搞得熱火朝天，但是早在半個世紀前，我們甚至連計算機都沒有啊。當前的中國可以說就是一個組裝大國，一個制造大國，沒有基礎工業，希望經過這一系列的事件(我最有感觸的就是中興事件)之后，國家，人民能意識到基礎工業的重要，不然，我們還是只能看別人的臉色行事，你的七寸永遠都被別人掐著！！】

[注釋]

遺傳算法(Gentic Algorithms, GA)：人工智能領域的一個重要算法，最早由約翰·霍蘭德于二十世紀七十年代提出。

艾倫·紐厄爾：計算機科學和認知心理學領域的科學家，曾任職于蘭德公司以及卡內基-梅隆大學的計算機學院、商學院和心理學系。1975年他和赫伯特·西蒙一起因人工智能方面的基礎貢獻而被授予圖靈獎。