Hello，這里是行上行下，
我是隔壁壹腦云準時不拖更的裊裊~
“學習任何領域，了解總是第一步，而認識該領域的發展歷程是了解一個領域十分有效的方法?！边@一期跟大家分享人工智能和機器學習的發展歷程。
一、人工智能的發展歷程
人工智能從誕生至今，經歷了一次又一次的繁榮與低谷，其發展歷程大體上可以分為推理期、知識期和學習期。
人工智能的發展經歷了很長時間的歷史積淀，早在1950年，阿蘭·圖靈就提出了圖靈測試機，大意是將人和機器放在一個小黑屋里與屋外的人對話，如果屋外的人分不清對話者是人類還是機器，那么這臺機器就擁有像人一樣的智能。
1、推理期
1956年達特茅斯會議之后的十幾年里人工智能迎來了第一次高峰，大部分早期研究員都通過人類的經驗，基于邏輯或事實歸納出來一些規則，然后通過編寫程序來讓計算機完成一個任務。
在這段長達十余年的時間里，計算機被廣泛應用于數學和自然語言領域，用來解決代數、幾何和英語問題。這讓很多研究者看到了機器向人類智能發展的希望，比如1959年，第一臺工業機器人誕生；1964年，首臺聊天機器人也誕生了。甚至在當時，有很多學者認為：“二十年內，機器將能完成人能做到的一切。”
但隨著研究的深入，研究者意識到這些推理規則過于簡單，對項目難度評估不夠，人工智能的研究開始陷入低谷還讓大家對人工智能的前景蒙上了一層陰影。與此同時，社會輿論的壓力也開始慢慢壓向人工智能這把，導致很多研究經費被轉移到了其他項目上。
在當時，人工智能面臨的技術瓶頸主要是三個方面。第一，計算機性能不足，導致早期很多程序無法在人工智能領域得到應用；第二，問題的復雜性，早期人工智能程序主要是解決特定的問題，因為特定的問題對象少，復雜性低，可一旦問題上升維度，程序立馬就不堪重負了；第三，數據量嚴重缺水，在當時不可能找到足夠大的數據庫來支撐程序進行深度的學習，這很容易導致機器無法獲取足夠量的數據進行智能化。
2、知識期
到了70年代，研究者意識到知識對于人工智能系統的重要性。特別是對于一些復雜的任務，需要專家來構建知識庫。在這一時期，出現了各種各樣的專家系統，并在特定的專業領域取得了很多成果。
專家系統可以簡單理解為“知識庫＋推理機”，是一類具有專門知識和經驗的計算機智能程序系統。專家系統一般采用知識表示和知識推理等技術來完成通常由相關領域專家才能解決的復雜問題，因此專家系統也被稱為基于知識的系統。
1980年，卡內基梅隆大學設計出了第一套專家系統—XCON。從這時起，機器學習開始興趣c語言實現神經網絡算法，各種專家系統開始被人們廣泛使用。不幸的是，隨著專家系統的應用領域越來越廣，問題也逐漸暴露了出來。專家系統應用有限，且經常在常識性問題上出錯，因此人工智能迎來了第二個寒冬。
3、學習期
對于人類的很多智能行為比如語言理解、圖像理解等，我們很難知道其中的原理，也無法描述這些智能行為背后的“知識”。也就導致了很難通過知識和推理的方式來實現這些行為的智能系統。為了解決這類問題，研究者開始重點轉向讓計算機從數據中自己學習。事實上，“學習”本身也是一種智能行為，從人工智能的萌芽時期開始，就有一些研究者嘗試讓機器來自動學習，即機器學習（ ）。
1997年，IBM公司的“深藍”計算機戰勝了國際象棋世界冠軍卡斯帕羅夫，這成為了人工智能史上一個重要里程碑。之后，人工智能開始平穩向上的發展。
2006年，李飛飛教授意識到專家學者在研究算法的過程中忽視了“數據”的重要性，于是開始帶頭構建大型圖像數據集—，圖像識別大賽由此拉開帷幕。同年，由于人工神經網絡的不斷發展，“深度學習”的概念被提出，之后，深度神經網絡和卷積神經網絡開始不斷映入人們的眼簾。深度學習的發展又一次掀起人工智能的研究狂潮，這一狂潮至今仍在持續。
二、機器學習的發展歷程
機器學習實際上已經存在了幾十年或者也可以認為存在了幾個世紀。追溯到17世紀，貝葉斯、拉普拉斯關于最小二乘法的推導和馬爾科夫鏈，這些構成了機器學習廣泛使用的工具和基礎。
自1950年阿蘭·圖靈提出圖靈測試機，到21世紀有深度學習的實際應用，機器學習有了很大的進展。從上世紀50年代研究機器學習以來，不同時期的研究途徑和目標并不相同，可以劃分為四個階段。
1、知識推理期
知識推理期起始于20世紀50年代中期，這時候人們以為只要能賦予機器邏輯推理能力，機器就能具有智能。這一階段的代表性工作有赫伯特·西蒙和艾倫·紐厄爾實現的自動定理證明系統Logic 證明了著名數學家羅素和懷特海的名著—《數學原理》中的全部52條定理，并且其中一條定理甚至比羅素和懷特海證明得更巧妙。
然而隨著研究向前發展，人們逐漸認識到，僅具有邏輯推理能力是遠遠實現不了人工智能的，要使機器具有智能，就必須設法使機器具有知識。
2、知識工程期
從20世紀70年代中期開始，人工智能進入知識工程期。這一時期大量專家系統問世，在很多應用領域取得了大量成果，費根鮑姆作為知識工程之父在1994年獲得了圖靈獎。由于人工無法將所有知識都總結出來教給計算機系統，所以這一階段的人工智能面臨知識獲取的瓶頸。
這個時期主要研究將各個領域的知識植入到系統里，在本階段的目的是通過機器模擬人類學習的過程。同時還采用了圖結構及其邏輯結構方面的知識進行系統描述，在這一研究階段，主要是用各種符號來表示機器語言。在此期間，人們從學習單個概念擴展到學習多個概念，探索不同的學習策略和學習方法，且在本階段已開始把學習系統與各種應用結合起來，并取得了很大的成功。同時，專家系統在知識獲取方面的需求也極大地刺激了機器學習的研究和發展。
3、歸納學習期
1980年夏，在美國卡耐基梅隆大學舉行了第一屆機器學習研討會（IWML)；1983年Tioga出版社出版了R.S.、J.G.和T.主編的《機器學習：一種人工智能途徑》，對當時的機器學習研究工作進行了總結；1986年，第一本機器學習專業?？?創刊；1989年，人工智能領域的權威期刊 出版機器學習專輯，刊發了當時一些比較活躍的研究工作?？偟膩砜?，20世紀80年代是機器學習成為一個獨立的學科領域、各種機器學習技術百花初綻的時期。
20世紀80年代以來，被研究最多、應用最廣的是“從樣例中學習”，即從訓練樣例中歸納出學習結果，也就是廣義的歸納學習，它涵蓋了監督學習和無監督學習等。
在20世紀80年代，“從樣例中學習”的一大主流是符號主義學習，其代表包括決策樹和基于邏輯的學習。典型的決策樹學習以信息論為基礎，以信息熵的最小化為目標，直接模擬了人類對概念進行判定的樹形流程；基于邏輯的學習的著名代表是歸納邏輯程序設計，可以看做機器學習與邏輯程序設計的交叉，它使用一階邏輯（即謂詞邏輯）來進行知識表示，通過修改和擴充邏輯表達式（例如表達式）來完成對數據的歸納。符號主義學習占據主流地位與整個人工智能領域的發展歷程是分不開的。
20世紀90年代中期之前，“從樣例中學習”的另一主流技術是基于神經網絡的連接主義學習。連接主義學習在20世紀50年代取得了大發展，但因為早期的很多人工智能研究者對符號表示有特別偏愛，所以當時連接主義的研究未被納入人工智能主流研究范疇。1983年,霍普菲爾德利用神經網絡求解“流動推銷員問題”這個著名的NP難題取得重大進展，使得連接主義重新受到人們關注。1986年，著名的BP算法誕生，產生了深遠的影響。
20世紀90年代中期，統計學習出現并迅速占據主流舞臺，代表性技術是支持向量機（SVM）以及更一般的“核方法”。這方面的研究早在20世紀60年代就已經開始，統計學習理論在那個時期也已打下了基礎，但直到90年代中期統計學習才開始成為機器學習的主流。一方面是由于有效的支持向量機算法在90年代初才被提出，其優越性能到90年代中期在文本分類應用中才得以顯現；另一方面，正是在連接主義學習技術的局限性凸顯之后，人們才把目光轉向了以統計學習理論為直接支撐的統計學習技術。在支持向量機被普遍接受后，核技巧被人們用到了機器學習的幾乎每一個角落，核方法也逐漸成為機器學習的基本內容之一。
4、深度學習
21世紀初，連接主義學習又卷土重來，掀起了以“深度學習”為名的熱潮。2006年，深度學習概念被提出。2007年，希爾頓發表了深度信念網絡論文，本吉奧等人發表了逐層訓練方法的論文—《 Lay-Wise of Deep 》，揚·勒丘恩團隊發表了《 of with an -Based Model》論文，這些時間標志著人工智能正式進入了深層神經網絡的實踐階段。同時，云計算和GPU并行計算為深度學習的發展提供了基礎保障，特別是最近幾年c語言實現神經網絡算法，機器學習在各個領域都取得了突飛猛進的發展。
新的機器學習算法面臨的主要問題更加復雜，機器學習的應用領域從廣度向深度發展，這對模型訓練和應用都提出了更高的要求。隨著人工智能的發展，馮·諾依曼式的有限狀態機和理論基礎越來越難以應對目前神經網絡中層數的要求，這些都對機器學習提出了挑戰。
感謝大家的觀看，歡迎大家在留言區互相交流，喜歡的話記得三連哦，期待下一期更精彩的內容~
參考資料：
1、周志華，《機器學習》
2、李航，《統計學習方法》
3、百度百科，人工智能（計算機科學的一個分支）
閱讀鏈接：人工智能/9180
4、百度百科，機器學習（多領域交叉學科）
閱讀鏈接：機器學習/
5、簡書，《人工智能的發展歷程》
閱讀鏈接：
6、騰訊云，《機器學習發展歷史回顧》
閱讀鏈接：
7、博客園，《人工智能、機器學習及深度學習的起源和發展》
閱讀鏈接：
8、知乎，《機器學習·總覽篇 II 機器學習的發展歷程》
閱讀鏈接：
9、知乎，《人工智能發展史：四張圖看盡AI重大里程碑》
閱讀鏈接：
10、C語言中文網， 《機器學習的發展歷史以及算法演進》
閱讀鏈接：