发展历程

机器学习是人工智能( artificial intelligence)研究发展到一定阶段的必然产物.二十世纪五十年代到七十年代初,人工智能研究处于“推理期”,那时人们以为只要能赋予机器逻辑推理能力,机器就能具有智能这一阶段的代表性工作主要有A. Newell和H. Simon的“逻辑理论家”( Logic Theorist)程序以及此后的“通用问题求解”( General Problem Solving)程序等,这些工作在当时取得了令人振奋的结果.例如,“逻辑理论家”程序在1952年证明了著名数学家罗素和怀特海的名著《数学原理》中的38条定理,在1963年证明了全部52 条定理,特别值得一提的是,定理2.85甚至比罗素和怀特海证明得更巧妙.A Newel和H. Simon因为这方面的工作获得了1975年图灵奖然而,随着研究向前发展,人们逐渐认识到,仅具有逻辑推理能力是远远实现不了人工智能的E.A. Feigenbaum等人认为,要使机器具有智能,就必须设法使机器拥有知识在他们的倡导下,从二十世纪七十年代中期开始,人工智能研究进入了“知识期”在这一时期,大量专家系统问世,在很多应用领域取得了大量成果.E.A.
Feigenbaum作为“知识工程”之父在1994年获得图灵奖但是,人们逐渐认识到,专家系统面临“知识工程瓶颈”,简单地说,就是由人来把知识总结出来再教给计算机是相当困难的于是,一些学者想到如果机器自己能够学习知识该多好! 事实上,图灵在1950年关于图灵测试的文章中,就曾提到了机器学习的可能;二十世纪五十年代初己有机器学习的相关研究,例如A. Samuel著名的跳棋程序.五十年代中后期,基于神经网络的“连接主义”( connectionism)学习开始出现,代表性工作有F. Rosenblatt的感知机( Perceptron)、B. Widrow的 Adaline等在六七十年代,基于逻辑表示的“符号主义”( symbolism)学习技术蓬勃发展,代表性工作有P. Winston的“结构学习系统”、R.S. Michalski 等人的“基于逻辑的归纳学习系统”、E.B.Hunt等人的“概念学习系统”等;以决策理论为基础的学习技术以及强化学习技术等也得到发展,代表性工作有N.J. Nilson的“学习机器”等;二十多年后红极一时的统计学习理论的一些奠基性结果也是在这个时期取得的