近日,著名计算机科学家 Danny Cohen 病逝,享年 81 岁。

编者按:

本书相当于一本人物传记,介绍了15
位当代最伟大的计算机科学家,描述了他们的生活历程以及工作成果。在书中,他们解释了自己对科学产生兴趣的缘由,回顾了其成长环境和其他科学家对他们的影响,阐述了各自进行基础探索和发现的途径,同时也分享了对未来的看法和主张。

全书189页,图灵社区已公布了样章。文中,可能最受瞩目的当属已逝的Lisp之父麦卡锡和现代计算机科学的鼻祖、《计算机程序设计的艺术》作者高德纳。现在就带您从图灵奖开始,去了解本书的脉博。

图片 1

图片 2

图灵奖介绍

图灵奖(Turing
Award,另译’杜林奖’),是计算机协会(ACM)于1966年设立的,又叫“A.M.
图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自世界计算机科学的先驱、英国科学家,英国曼彻斯特大学教授艾伦·图灵
(Professor Alan
Turing),这个奖设立目的之一是纪念这位现代电脑、计算机奠基者。获奖者必须是在计算机领域具有持久而重大的先进性的技术贡献。大多数获奖者是计算
机科学家。

图灵奖是计算机界最负盛名的奖项,有“计算机界诺贝尔奖”之称。图灵奖对获奖者的要求极高,评奖程序也极严,一般每年只奖励一名计算机科学家,只有极少数年度有两名以上在同一方向上做出贡献的科学家同时获奖。

补充说明:2012年图灵教育会推出《图灵的秘密》一书

3月27日,ACM 宣布,2018年图灵奖获得者是号称深度学习三巨头的 Yoshua
Bengio, Yann LeCun 和 Geoffrey
Hinton,得奖理由是:他们在概念和工程上取得的巨大突破,使得深度神经网络成为计算的关键元素。今天,深度学习已经成为了人工智能技术领域最重要的技术之一。在最近数年中,计算机视觉、语音识别、自然语言处理和机器人取得的爆炸性进展都离不开深度学习。无疑,今天将是人工智能史上具有划时代意义的一天!

Danny Cohen,计算机科学家,1937 年 12 月 9 日—2019 年 8 月 12 日。

《奇思妙想》中图灵奖得主介绍


图片 3

我们不知道自己想要什么,也不知道该怎样去做。一切都是顺其自然地发生。我们面临的第一个挑战就是不知道这种语言看上去应该是什么样子。然后就是怎样解析表达式——这是个大问题,而且在今天来看,我们当时的做法非常笨拙……

                        ——约翰•巴科斯谈及Fortran的发明过程

约翰·巴克斯(John Warner
Backus)(1924年12月3日-2007年3月17日),美国计算机科学家,是全世界第一套高阶语言(High-level
Language)FORTRAN的发明小组组长。他提出了BNF(用来定义形式语言语法的记号法),发明Function-level
programming这个概念及实践该概念的FP语言。

1977年10月17日在西雅图举行的ACM年会上获得计算机界最高奖图灵奖,会中他发表了“程序设计能从冯·伊曼形式中解脱出来吗?函数式风格及
其程序的代数”(Can Programming be Literated from the von Neumann Style?
A Functional Style and Its Algebra of
Programs)演说。1991年退休。1994年美国工程院授予他Charles Stark
Draper奖。2007年3月17日在美国俄勒冈州的家中去世,享年82岁。


图片 4

如果希望计算机具有一般的智能,那么其外在结构就必须基于一般的常识和推理。
 
                                 ——约翰·麦卡锡

约翰·麦卡锡(John
McCarthy,1927年9月4日-2011年10月23日1),生于美国马萨诸塞州波士顿,计算机科学家。他因在人工智能领域的贡献而在1971年获得图灵奖。实际上,正是他在1955年的达特矛斯会议上提出了“人工智能”这个概念。

麦卡锡发明了LISP并于1960年将其设计发表在《美国计算机学会通讯》(Communications
of the ACM)上。他帮助推动了麻省理工学院的MAC项目(Project
MAC)。然而,他在1962年了离开麻省理工学院,前往斯坦福大学并在那里协助建立了斯坦福人工智能实验室(Stanford
Artificial Intelligence
Laboratory),成为MAC项目多年来的一个友好的竞争对手。

补充:Lisp读者可参见图灵教育出版的《实用Common
Lisp编程》一书


图片 5

我们应当放弃寻找绝对正确的结果和答案。
——迈克尔·O.拉宾

迈克尔·O·拉宾(Michael Oser Rabin希伯来语:מִיכָאֵל אֹשֶׁר
רַבִּין‎,1931年9月1日- )是一名以色列计算机科学家,1976年图灵奖得主。


图片 6

计算机编程是一种艺术形式,就如同人们谱写诗歌和音乐。

                                 ——高德纳

高德纳(Donald Ervin
Knuth,1938年1月10日-),出生于密尔沃基,美国著名计算机科学家,斯坦福大学计算机系荣誉退休教授。高德纳教授被誉为现代计算机科学的鼻祖,在计算机科学及数学领域发表了多部具广泛影响的论文和著作。

高德纳最为人知的事迹是,他是《计算机程序设计艺术》(The Art of Computer
Programming)的作者。此书是计算机科学界最受高度敬重的参考书籍之一本书一共四卷,目前,卷一、卷二、卷三影印版都已在图灵教育出版,卷四将至少出成4A、4B、4C三本,其中4A目前影印版在印制中(见下图)。他创造了算法分析的领域,在数个理论计算机科学的分支做出初步贡献,此外还是排版软件TeX和字体设计系统Metafont的发明人。

图片 7


图片 8

史提芬·A·古克(Stephen A.
Cook,1939年-),计算机科学家,计算复杂性理论的重要研究者。

1971年,在他的论文《The Complexity of Theorem Proving
Procedures》,他整理了NP完备性的目标,亦产生了古克定理——布尔可满足性问题是NP完备的证明。

1982年,古克得到图灵奖。因为其论文开启了NP完备性的研究,令这个领域于之后的十年成为计算机科学中最活跃和重要的研究。

古克现为多伦多大学的计算机科学和数学系教授。


图片 9

最好是研究与他人提出的问题相关的问题,因为它们会让你脚踏实地。

                             ——弗雷德里克·P.布鲁克斯

弗雷德里克·P.布鲁克斯弗雷德里克·布鲁克斯(Frederick P. Brooks,
Jr.,1931—)年仅29岁就主导了被称为人类从原子能时代进入信息时代标志的IBM
360系列计算机的开发工作,取得辉煌成功。著有经典文集《人月神话》(The
Mythical Man-Month: Essays on Software
Engineering)。1985年获得美国国家技术勋章,1999年获得图灵奖。


图片 10

要构建一个基于知识库的系统,有三件事非常重要:知识,知识,知识。要衡量一个系统的能力,主要得看它知道多少,而不是它的推理能力如何。
                               ——爱德华·A.费根鲍姆

爱德华·A.费根鲍姆(Edward Albert
Feigenbaum,1936—)是大规模人工智能系统的设计和实现的先驱,被称为“专家系统之父”。他和拉吉•瑞迪(Raj
Reddy)共同获得1994年图灵奖。


图片 11

有多少人一生中能有2%到10%的机会对这个世界产生重大的影响?如果真有这样的机会,你应该抓住它。
——道格拉斯·B.莱纳特

道格拉斯·恩格尔巴特(Dr. Douglas C.
Engelbart,1925年1月30日-),美国发明家,瑞典人和挪威人后裔。最广为人知的是他发明了鼠标,另外他的小组是人机交互的先锋,开发了超
文本系统、网络计算机,以及图形用户界面的先驱;并致力于倡导运用计算机和网络,来协同解决世界上日益增长的紧急而又复杂的问题。1997年获得图灵奖。


相关阅读

  • Lisp之父约翰•麦卡锡——不走寻常路的常识逻辑学家

  • 好书短评之《奇思妙想:15位计算机天才及其重大发现》

三位科学家发明了深度学习的基本概念,在实验中发现了惊人的结果,也在工程领域做出了重要突破,帮助深度神经网络获得实际应用。

Danny Cohen 为计算机科学做出了巨大的贡献,他参与了 ARPAnet
项目,并帮助开发了互联网的各种基础应用程序;他率先提出字节序(endianness)的概念;其开创性工作为现代
VOIP 服务开辟了一条道路;Danny
还开发出首批的集群计算部署系统,为现代云技术铺平了道路;此外他还开发出了第一个可视化飞行模拟器。

在ACM的公告中,Hinton最重要的贡献来自他1986年发明反向传播的论文“Learning
Internal Representations by Error
Propagation”,1983年发明的玻尔兹曼机,以及2012年对卷积神经网络的改进。Hinton和他的学生Alex
Krizhevsky以及Ilya Sutskever 通过Rectified Linear Neurons和 Dropout
Regularization改进了卷积神经网络,并在著名的ImageNet评测中取得了很好的成绩,在计算机视觉领域掀起一场革命。

Danny 最为人所知的事迹是在 1980
年通过其具有重大影响的论文《论圣战以及对和平的祈祷》(On holy wars and a
plea for peace),为计算机科学界引入了字节序的概念,IETF
保存了该论文。Danny
将字节序归结为一个异常简单的问题:消息中正确的字节顺序是什么?并用外行人听得懂的浅显语言解释了这个问题,逐层解读,这一具有深远意义的贡献使他在现代计算历史长河中拥有一席之地。

三位获奖者在业内被称为“当代人工智能教父”,开创了深度神经网络,而这项技术已经成为计算科学的关键部分,为深度学习算法的发展和应用奠定了基础。去年,”深度学习寒冬论“频起,三位大神也在多个场合对”寒冬“做出了回应。不仅如此,Geoffrey
Hinton还提出新的神经网络模型Capsule
Network,试图找到解决深度学习缺陷的新方法。

Danny 在 1978
年对他所谓的“数字语音电话会议”开展了一番早期工作,数字语音电话会议是现代
VoIP 技术的基本理念,从 Skype
到基于无线数字应用软件和套件的语音呼叫都依赖于该技术提供支持。

AI三巨头简介

2012 年,互联网名人堂将 Danny Cohen 列入名录,以表彰这位先驱。

Yoshua Bengio

关于 Danny Cohen 的更多信息,查看:

Yoshua Bengio,蒙特利尔大学教授。Bengio 教授凭《Learning Deep
Architectures for AI》、《A neural probabilistic language
model》两篇经典之作在内的 300
多篇论文,对深度学习的发展起到了巨大的推动作用,他与 Geoff Hinton、Yann
LeCun 两位一起造就了 2006 年始的深度学习复兴,并称深度学习三巨头。Yoshua
Bengio 教授于 2017 年获得加拿大总督功勋奖。

Bengio
教授研究人工智能的动力就是发掘它的潜能,而不是对它的恐惧。他的研究成果不仅是如今
AI
热浪的基石,也是加拿大在人工智能时代占据一席领导者位置的重要原因。「要让电脑能像人类那样思考,或者起码能像人类那样理解世界,我们现在离那一步还太远」,Bengio
教授说,「但是人工智能现在的发展已经足以对经济和人类的福祉产生巨大的影响。」

(文/开源中国)    

Bengio的贡献主要在1990年代发明的Probabilistic models of
sequences。他把神经网络和概率模型结合在一起,并和ATT公司合作,用新技术识别手写的支票。现代深度学习技术中的语音识别也是这些概念的扩展。此外Bengio还于2000年还发表了划时代的论文“A
Neural Probabilistic Language
Model”,使用高维词向量来表征自然语言。他的团队还引入了注意力机制,让机器翻译获得突破,也成为了让深度学习处理序列的重要技术。

Yann LeCun

Yann LeCun 出生在法国,曾在多伦多大学跟随深度学习鼻祖 Geoffrey Hinton
进行博士后研究。早在 20 世纪 80 年代末,Yann LeCun
就作为贝尔实验室的研究员提出了卷积网络技术,并展示如何使用它来大幅度提高手写识别能力。上世纪末本世纪初,当神经网络失宠时,Yann
LeCun 是少数几名一直坚持的科学家之一。他于 2003
年成为纽约大学教授,并从此引领了深度学习的发展,目前是 Facebook
首席人工智能科学家,并创立了 Facebook 人工智能研究院。

在去年 11
月接受专访时,被问到退休之前最想做出来的成果,他表示,「我的兴趣实际上还是在学习上,比如我喜欢寻找不同的方式让机器通过观察来学习这个世界是怎么运作的。这就意味着在包含有不确定性的环境中学习。如果你让机器看一段视频,然后让它预测接下来会发生什么,可能的发展其实会有很多。但另一方面,所有这些可能的发展里,真正发生在接下来的视频里只会有一种,但其他的状况也还是有可能发生的。当你训练一个机器预测视频的时候,如果你不小心的话,它就会输出一个模糊的预测结果,差不多是所有可能发生的情境的平均值。那这就是一个糟糕的预测了。」

Yann
LeCun的代表贡献之一是卷积神经网络。1980年代,LeCun发明了卷积神经网络,现在已经成为了机器学习领域的基础技术之一,也让深度学习效率更高。1980年代末期,Yan
LeCun在多伦多大学和贝尔实验室工作期间,首次将卷积神经网络用于手写数字识别。今天,卷积神经网络已经成为了业界标准技术,广泛用于计算机视觉、语音识别、语音合成、图片合成,以及自然语言处理等学术方向,以及自动驾驶、医学图片识别、语音助手、信息过滤等工业应用方向。LeCun的第二个重要贡献是改进了反向传播算法。他提出了一个早期的反向传播算法backprop,也根据变分原理给出了一个简洁的推导。他的工作让反向传播算法更快,比如描述了两个简单的方法可以减少学习时间。LeCun第三个贡献是拓展了神经网络的应用范围。他把神经网络变成了一个可以完成大量不同任务的计算模型。他早期引进的一些工作现在已经成为了人工智能的基础概念。例如,在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据的深度学习架构。

Geoffrey Hinton

Geoffrey E. Hinton,「神经网络之父」,「深度学习鼻祖」。Geoffrey E.
Hinton
是加拿大认知心理学家和计算机科学家,爱丁堡大学人工智能博士,以他的人工神经网络
(artificial neural networks)
而出名,被称为「神经网络之父」、「深度学习鼻祖」。

他目前是多伦多大学特聘教授,并于 2013 年加入加入谷歌 AI
团队,将神经网络带入应用一线,比如将他的成名作 Back
Propagation算法应用到神经网络与深度学习,同时他也是第一个证明了广义反向传播算法训练多层神经网络的人。他获得的重要奖项包括:2001
年「Rumelhart 奖」;2005 年 IJCAI「卓越研究奖」;2011
年「加拿大自然科学与工程研究委员会吉勒斯•布拉萨德博士奖」;2012
年,Hinton 获得加拿大「基廉奖」;2016 年欧胜、RSE 和 IEEE
联合颁发「James Clerk Maxwell 奖」等。

图灵奖由ACM于1966年设置,设立目的之一是纪念著名的计算机科学先驱艾伦·图灵。图灵奖是计算机科学领域的最高奖。获奖者必须在计算机领域具有持久重大的先进性技术贡献。人工智能领域的先驱马文·明斯基、约翰·麦卡锡、艾伦·纽厄尔和司马贺等人都曾经获奖。华人科学家姚期智2000年因为伪随机数生成等计算领域的重要贡献获奖。

挺过寒冬,取得成就

近年来,深度学习方法在计算机视觉、语音识别、自然语言处理和机器人等应用领域取得了惊人的突破,这一切得益于神经网络。

在传统计算中,计算机程序使用明确的分步指令指导计算机。在AI研究的一个子领域——
深度学习中,计算机并没有被明确告知如何解决特定的任务,如对象分类。相反,它使用一种学习算法来提取数据中的模式,这些模式将输入数据
(如图像的像素) 与期望的输出 (如标签 “cat”)
关联起来。研究人员面临的挑战是开发有效的学习算法,这些算法可以修改人工神经网络连接的权重,以使这些权重捕捉数据中的相关模式。

Geoffrey Hinton 自上世纪 80
年代初以来一直倡导用机器学习方法研究人工智能。受人类大脑的启发,他和其他人提出了“人工神经网络”,作为他们的机器学习研究的基石。

虽然在 20 世纪 80
年代人工神经网络就已作为一种帮助计算机识别模式和模拟人类智能的工具被提出,但直21世纪初,只有LeCun、Hinton和Bengio等一小群人仍然坚持使用这种方法。

同时,他们对神经网络的兴趣最初遭到了怀疑,此后,他们的想法带来了重大的技术进步,现在已经成为该领域的主导范式。

在计算机科学中,“神经网络” 这个术语指的是由计算机中模拟的、称为“神经元”
的相对简单的计算元件的层组成的系统。这些 “神经元”
知识与人脑中的神经元大致相似,它们通过加权连接相互影响。通过改变连接的权重,可以改变神经网络执行的计算。Hinton、LeCun和Bengio认识到使用多层构建深度网络的重要性
—— 因此有了“深度学习”这个术语。

Hinton、LeCun 和 Bengio
三人的独立工作及合作工作,为该领域开发了概念基础,通过实验发现了令人惊讶的现象,并为证明深度神经网络的实际优势的工程进展做出了贡献。

深度神经网络改变每一个领域

由于强大的图形处理器 (GPU)
计算机的普及,以及大型数据集变得可用,LeCun、Bengio 和 Hinton 在过去 30
年里奠定的概念基础和工程进展得到了显著的推进。近年来,这些因素以及其他因素带来了计算机视觉、语音识别和机器翻译等技术的跨越式发展。

Hinton、 LeCun 和Bengio既有合作研究,也有独立工作。

例如,LeCun 在Hinton
的指导下进行博士后研究工作,LeCun和Bengio在20世纪90年代初曾共同在贝尔实验室工作。即使没有在一起工作,他们的工作中也有协同合作和相互联系,他们彼此之间的影响很大。

Bengio、Hinton 和LeCun
继续探索机器学习与神经科学和认知科学的交叉领域,最显著的是,他们共同参与了加拿大高级研究所的
Learning in Machines and Brains 倡议。

图灵奖通常被视为
“计算机领域的诺贝尔奖”,由谷歌公司提供资金支持,奖金为100
万美元。Bengio,、Hinton 和 LeCun 将于 2019 年 6 月 15
日星期六在加利福尼亚州旧金山举行的 ACM 年度颁奖晚宴上正式接受 2018 ACM
AM 图灵奖。

ACM主席Cherri M. Pancake
说,“人工智能现在是所有科学领域中增长最快的领域之一,也是社会上谈论最多的话题之一。人工智能的发展以及人们对它的兴趣,在很大程度上要归功于
Bengio、Bengio 和 LeCun
为之奠定基础的深度学习的最新进展。这些技术被数十亿人使用。任何口袋里有智能手机的人都能实实在在地体验到自然语言处理和计算机视觉方面的进步,这在10
年前是不可能的。除了我们每天使用的产品,深度学习的新进展也为医学、天文学、材料科学等领域的科学家们提供了强大的新工具”。

“深度神经网络对现代计算机科学的一些重大进步做出了贡献,帮助在计算机视觉、语音识别和自然语言理解等领域长期存在的问题上取得了实质性进展。”Google
高级研究员、谷歌AI高级副总裁Jeff
Dean表示:“这一进步的核心是今年的图灵奖获得者Yoshua Bengio,Geoffrey
Hinton 和 Yann LeCun 在 30
多年前开发的基础技术。通过大幅提高计算机理解世界的能力,深度神经网络不仅改变了计算领域,而且几乎改变了科学和人类努力的每一个领域。”

三位大神的成就

下面是本次获图灵奖的三位大神的主要技术成就,这些成就对其后的深度学习研究产生了巨大的影响。

Geoffrey Hinton

反向传播:1986年,Hinton与David Rumelhart和Ronald
Williams共同撰写了“Learning Internal Representations by Error
Propagation”论文,Hinton等人在文中证明了反向传播算法可以让神经网络发现自身的数据内部表示,这一发现让神经网络有可能解决以前被认为不可解决的问题。反向传播算法已经成为如今大多数神经网络的标准。

玻尔兹曼机:1983年,Hinton与Terrence
Sejnowski一起共同发明了玻尔兹曼机,这是第一个能够学习不属于输入或输出的神经元内部表示的神经网络之一。

对卷积神经网络的改进:2012年,Hinton与他的学生Alex Krizhevsky和Ilya
Sutskever一起使用整流线性神经元和退出正则化改进了卷积神经网络。在著名的ImageNet图像识别大赛中,Hinton和他的学生几乎将对象识别的错误率降低了一半,可以说重塑了计算机视觉领域。

Yoshua Bengio

序列的概率模型:20世纪90年代,Bengio将神经网络与序列的概率模型结合起来。这些思想被纳入AT&T
/
NCR用于读取手写支票的系统中,成为20世纪90年代神经网络研究的巅峰之作,目前的深度学习语音识别系统正是这些概念的扩展。

高维词汇嵌入和注意力机制:2000年,Bengio撰写了具有里程碑意义的论文“A
Neural Probabilistic Language
Model”,此文引入了高维词嵌入作为词义表示。Bengio的这个思想对日后的自然语言处理任务产生了巨大而深远的影响,其中包括语言翻译、问答和视觉问答系统开发等。Bengio的团队还引入了“注意力机制”,导致了机器翻译研究的突破,并成为深度学习的顺序处理的关键组成部分。

生成对抗网络:自2010年以来,Bengio与Ian
Goodfellow共同开发的生成对抗网络引发了一场计算机视觉和计算机图形学的革命。GAN的一个引人注目应用是,计算机实际上能够生成原始图像,这种创造力往往被认为是机器具备人类智能的标志。

Yann LeCun

卷积神经网络:20世纪80年代,LeCun开发了卷积神经网络,成为神经网络领域的基本模型。在20世纪80年代后期,LeCun在多伦多大学和贝尔实验室工作期间,首次在手写数字图像上成功了训练卷积神经网络系统。如今,卷积神经网络是计算机视觉、语音识别,语音合成、图像合成和自然语言处理领域的行业标准。已被用于自动驾驶、医学成像分析、语音助手和信息过滤等多个领域。

对反向传播算法的改进:LeCun提出了反向传播算法的早期版本,并根据变分原理对其进行了简洁的推导。他表述了缩短学习时间的两种简单方法,从而加快了反向传播算法的速度。

拓宽神经网络的研究领域:LeCun还拓宽了神经网络的研究领域,将神经网络作为一种计算模型应用于更广泛的任务上。他在早期研究中引入的许多思想和理念,现在已成为AI领域的基础概念。例如,在图片识别领域,他研究了如何让神经网络学习层次特征,这一方法现在已经用于很多日常的识别任务。他们还提出了可以操作结构数据的深度学习架构。

文章来源:雷锋网