引言： 神经网络和深度学习的发展历程离不开几位奠基人物的开创性贡献。他们在不同阶段推动了技术的突破和应用，从20世纪80年代的理论算法到21世纪的产业实践。本文按时间顺序梳理Geoffrey Hinton、Yann LeCun、李飞飞、Alex Krizhevsky、Ilya Sutskever 和 Andrej Karpathy 六位先驱的主要贡献、历史意义与行业影响，并辅以代表性图片和英文资料佐证。

杰弗里·辛顿（Geoffrey Hinton）：反向传播之父与深度学习奠基人

称号：反向传播之父｜AI教父｜图灵奖得主｜诺贝尔物理学奖得主

杰弗里·辛顿被誉为“神经网络之父”之一，他在1980年代率先推动多层神经网络的研究。1986年，辛顿与Rumelhart、Williams合作发表了里程碑式论文，提出并推广了误差反向传播算法（Backpropagation）用于训练多层神经网络。这一算法解决了深层网络权重调整的难题，为神经网络开拓了新的学习能力，被视为深度学习的核心基础。虽然反向传播的概念最初在70年代已有人提及，但辛顿团队1986年的工作使其广为人知并应用于实践。这一贡献直接奠定了此后数十年深度学习研究的基石。

辛顿在之后几十年持续引领该领域的发展。他在2000年代中期提出深度信念网络（Deep Belief Networks）等深层模型，破解了训练深层神经网络的技术瓶颈，引发新一轮研究热潮。2012年，辛顿指导其学生设计了划时代的AlexNet卷积神经网络，在ImageNet视觉识别大赛上一举夺冠。AlexNet在1000类图像分类中取得15.3%的Top-5错误率，远胜于当时第二名的26.2%，性能飞跃引发业界震动。这标志着深度学习在计算机视觉领域的重大突破。与此同时，辛顿也积极将研究成果推向产业：2013年他与学生创办的DNNresearch公司被谷歌收购，辛顿本人开始在谷歌担任研究员，将神经网络应用于语音、图像等产品。2017年他参与创立了多伦多的向量研究所（Vector Institute）以培养AI研究。

辛顿的贡献获得了极高荣誉。他与Yoshua Bengio、Yann LeCun因在深度学习方面的开创性工作共同获得2018年度图灵奖（被誉为“计算机界的诺贝尔奖”）。此后三位学者并称为“深度学习三巨头”或“AI教父”。值得一提的是，辛顿在2024年与物理学家John Hopfield共同获得诺贝尔物理学奖，以表彰他们在人工神经网络领域奠定的基础。这是AI领域开拓者首次获得诺贝尔奖级别的认可，体现了学界对神经网络技术意义的高度肯定。

时间线

  • 1986: 反向传播算法
  • 2000s: 深度信念网络
  • 2012: AlexNet
  • 2013: DNNresearch被谷歌收购
  • 2017: 创立向量研究所
  • 2018: 图灵奖
  • 2024: 诺贝尔物理学奖

杨立昆（Yann LeCun）：卷积神经网络开拓者与产业推动者

称号：CNN开拓者｜Meta首席AI科学家｜图灵奖得主

杨立昆是辛顿的学生之一，也是深度学习领域的另一位奠基人。在20世纪80年代末期，LeCun开创了卷积神经网络（CNN）的研究，将生物视觉启发的卷积结构引入人工神经网络。他于1989年发表了著名的LeNet-5模型，用于手写数字识别。这项工作在1990年代取得了划时代的成果：LeCun在美国贝尔实验室带领团队开发出银行支票自动识别系统，大规模部署于金融业，到90年代末期全美超过10%的支票经由他的CNN系统读取识别。这一成功案例展示了神经网络在计算机视觉和光学字符识别（OCR）上的巨大潜力。同时，他提出的“Optimal Brain Damage”方法开创了网络剪枝正则化的思路，为降低模型复杂度提供了途径。

进入21世纪后，LeCun在学术和工业界持续推动深度学习的发展。2003年起他担任纽约大学教授，研究能源基模型和特征学习等方向。2013年，LeCun受邀出任Facebook（现Meta）首席AI科学家，创建了Facebook人工智能研究院（FAIR），致力于将深度学习技术应用到社交媒体和更广泛的领域。他还与Bengio共同创办了国际会议ICLR，倡导开放审稿和交流，进一步促进了深度学习社区的发展。LeCun对于AI教育也非常热心，多年来组织“雪鸟学习研讨会”等活动，培养了大批青年才俊。

作为对其贡献的肯定，杨立昆与辛顿、Bengio共享了2018年的图灵奖。如今他作为Meta的首席AI科学家，仍活跃在研究一线，引领AI前沿方向的发展。LeCun的发展历程体现了从早期理论突破到大规模工业应用的演进。他所开发的卷积网络已成为计算机视觉的基石，支撑了人脸识别、自动驾驶等众多应用。他在产业界的角色也证明了科研与实业结合的重要性——正是这些先驱的努力，使得深度学习从实验室走向全球亿万用户的日常生活。

时间线

  • 1989（LeNet）
  • 1998（支票系统）
  • 2013（FAIR）
  • 2018（图灵奖）

李飞飞：ImageNet数据革命的发起者

称号：AI数据革命先驱｜斯坦福AI实验室主任｜谷歌云前首席科学家

李飞飞教授以推动大规模视觉数据集ImageNet而闻名，被誉为“人工智能数据革命的引领者”。2007年，在担任普林斯顿大学助理教授期间，李飞飞意识到数据规模对机器学习的重要性，启动了雄心勃勃的ImageNet项目。她带领团队历时数年，利用众包标注（Amazon Mechanical Turk）对全球超过1400万张图像进行了精细标注，构建了当时最大、最具多样性的视觉数据库。这一数据库覆盖了2万多个类别，为训练深度神经网络提供了前所未有的丰富样本。ImageNet项目在2010年推出了年度大规模视觉识别挑战赛（ILSVRC），成为计算机视觉领域的标杆赛事。2010年至2017年的比赛吸引了全球顶尖研究团队争相开发算法进行比拼，在此过程中推动了图像识别技术的飞速提升。

ImageNet对深度学习的腾飞具有里程碑意义。正是有了李飞飞提供的海量标注数据，深度卷积神经网络才能充分发挥威力，在2012年的比赛中取得突破性胜利（AlexNet即基于ImageNet训练）。ImageNet被普遍认为是深度学习革命的催化剂之一，是“奠定2010年代计算机视觉飞跃的基石”。除了ImageNet，李飞飞后来在斯坦福大学担任AI实验室主任，倡导“以人为本”的AI研究，并联合创立非营利组织AI4ALL，鼓励多元化人才投身AI。她还曾担任谷歌云的首席科学家，将AI技术与产业相结合。李飞飞的工作凸显了数据在人工智能发展中的关键作用：如果没有充足且多样的数据，再优秀的算法也难以施展拳脚。通过ImageNet，她为深度学习提供了施展拳脚的舞台，其历史意义在于开启了“大数据+深度学习”的新时代，使人工智能在视觉、医疗、自动驾驶等领域取得突破成为可能。

时间线

  • 2007：启动ImageNet项目，提出”大数据驱动AI”理念
  • 2009：发布ImageNet数据集（1400万+图像/2万+类别）
  • 2010：创办ILSVRC挑战赛（计算机视觉”世界杯”）
  • 2012：ImageNet助力AlexNet突破，引爆深度学习革命
  • 2015：任斯坦福AI实验室主任，倡导”以人为本AI”
  • 2017：联合创立AI4ALL（推动AI教育多元化）
  • 2017：出任谷歌云首席科学家（AI产业落地）
  • 2020：共同领导斯坦福”以人为本AI研究院”

亚历克斯·克里泽夫斯基（Alex Krizhevsky）：AlexNet引爆深度学习热潮

称号： 深度学习引爆者｜ImageNet冠军｜DNNresearch联合创始人

2012年，被认为是“深度学习元年”。这一年的转折点来自于亚历克斯·克里泽夫斯基在ImageNet竞赛上的横空出世。他是辛顿在多伦多大学的研究生，和导师及同门一道开发了后来享誉盛名的AlexNet模型。在2012年ImageNet大型视觉识别挑战赛上，克里泽夫斯基的团队（取名“SuperVision”）以16.4%的惊人低错误率摘得桂冠，远远领先于当年其它参赛方法。AlexNet的优异表现震动了整个计算机视觉领域：相较前两年传统方法约25%-28%的错误率，深度卷积神经网络将错误率一下降低了将近10个百分点。这一结果向业界证明了深度学习在大规模视觉任务上的巨大潜力，打破了此前对神经网络“不切实际”的成见。“AlexNet的成功标志着深度学习第一次获得了主流认可”。

AlexNet的创新之处在于其8层深度卷积架构、采用ReLU激活函数以及使用GPU进行大规模并行训练。克里泽夫斯基及其合作者（包括Ilya Sutskever）充分利用两块当时高端的GPU，加速了对超过120万张图像的数据训练。此外，他们引入了“丢弃法（Dropout）”正则化来缓解过拟合，这些技术细节在论文发表后为后来者广泛借鉴。AlexNet的论文*《利用深度卷积神经网络进行ImageNet分类》*发表在NeurIPS 2012会议上，已成为计算机科学史上引用次数最多的论文之一。亚历克斯·克里泽夫斯基也因此一举成名，年仅26岁便站上了AI历史的舞台。

AlexNet胜利后，克里泽夫斯基与辛顿、苏茨克维一起成立了DNNresearch公司，将深度学习技术商业化。谷歌在2013年收购了这家公司，将这支团队收入麾下以增强其语音和图像搜索能力。克里泽夫斯基本人后来离开谷歌，从事其他AI应用研究，但他在2012年的壮举已足以载入史册。可以说，亚历克斯·克里泽夫斯基用区区一篇论文和一次竞赛，引爆了全球范围的深度学习热潮：学术界争相深化神经网络研究，工业界巨头竞相投资布局AI。正是从AlexNet开始，“深度学习”不再只是理论构想，而成为推动人工智能飞跃发展的核心力量。

时间线

  • 2012：开发AlexNet，以15.3%错误率赢得ImageNet竞赛（超越第二名10+百分点）
  • 2012：发表里程碑论文《ImageNet Classification with Deep Convolutional Neural Networks》（NeurIPS）
  • 2013：与Hinton、Sutskever创立DNNresearch公司
  • 2013：DNNresearch被谷歌收购，加入Google Brain团队
  • 2015后：转向其他AI领域研究（具体方向未公开）

伊尔亚·苏茨克维（Ilya Sutskever）：从学术新星到OpenAI首席科学家

称号： OpenAI联合创始人｜序列学习先驱｜AGI安全倡导者

伊尔亚·苏茨克维与克里泽夫斯基同为辛顿的高足，二人合作在2012年共同缔造了AlexNet的传奇。苏茨克维1986年出生于前苏联，童年移居以色列和加拿大，求学过程中与辛顿相遇并师从其攻读博士。作为辛顿的博士生，他在2012年参与构建了AlexNet模型，主要负责算法实现和训练工作。当时苏茨克维想方设法购买了大量GTX 580 GPU，用于满足深度网络训练的计算需求。AlexNet的成功也奠定了他在学术界的声誉。

2013年谷歌收购DNNresearch后，苏茨克维加入Google Brain研究院，成为谷歌大脑计划的一员。在谷歌期间，他将深度学习的触角拓展到序列模型和强化学习等新领域：与同事Oriol Vinyals、Quoc Le合作开创了**序列到序列学习（Sequence-to-Sequence）**算法，用于机器翻译等任务。该算法后来发展成神经机器翻译的核心技术，对自然语言处理产生深远影响。同时，苏茨克维也是AlphaGo论文的主要作者之一，为AI下围棋的突破作出了贡献。

苏茨克维职业生涯的重要转折点出现在2015年底。当时他离开谷歌，与硅谷企业家伊隆·马斯克、Sam Altman等人联合创立了OpenAI研究机构，出任联合创始人兼首席科学家。在OpenAI，他领导研究团队致力于通用人工智能的探索，参与指导了如GPT系列大型语言模型等划时代项目的发展。例如，苏茨克维被认为在ChatGPT的研发中发挥了关键作用。作为技术领袖，他倡导安全和负责任的AI研发，2023年曾共同领导OpenAI的“超级对齐（Superalignment）”计划，试图解决超级智能AI的安全控制问题。2023年底，围绕OpenAI管理层的风波中，苏茨克维作为董事参与了对Altman的罢免决策，尽管事后又撤回决定。不久他也离开OpenAI，转而在2024年创立新的AI研究公司「Safe Superintelligence」，继续追求他对安全强人工智能的愿景。

从学术新星到工业领袖，苏茨克维的经历代表了新一代AI研究者的成长轨迹。他既是2010年代深度学习革命的亲历者（AlexNet奠基人之一），也是2020年代引领大模型和人工通用智能探索的开拓者。他在技术上的卓越贡献以及创办OpenAI所产生的行业影响，使其多次入选《时代》杂志年度AI风云人物等榜单。可以说，苏茨克维见证并塑造了当代AI从学术走向工业、从实验室走向社会的关键进程。

时间线

  • 2012：作为Hinton博士生，参与开发AlexNet（ImageNet竞赛冠军）
  • 2013：加入Google Brain，主导序列到序列学习（Seq2Seq）突破
  • 2015：联合创立OpenAI，任首席科学家
  • 2017-2023：领导GPT系列、ChatGPT等大模型研发
  • 2023：推动”超级对齐”计划（Superalignment），聚焦AGI安全
  • 2024：创立Safe Superintelligence Inc.，专注安全强AI

安德烈·卡帕西（Andrej Karpathy）：深度学习布道者与工业应用先锋

称号：AI教育先锋｜特斯拉Autopilot缔造者｜OpenAI老兵

安德烈·卡帕西是深度学习时代成长起来的青年领军人物，他将学术前沿思想带入了工业实践。卡帕西生于1986年，博士就读于斯坦福大学，师从李飞飞专攻计算机视觉与深度学习。在攻读博士期间，他于2015年春面向研究生开设斯坦福CS231n《卷积神经网络视觉识别》课程，这门课迅速爆红，成为当时规模最大的课程之一：2015年首期开课仅150名学生，短短两年后扩充到750人。卡帕西风趣深入的教学风格、开放共享的课件视频，让全球无数学子入门深度学习。他由此获得“深度学习布道者”的美誉，许多从业者都是看着他的课程走进AI领域的。

2015年，卡帕西作为创始成员加入了新成立的OpenAI研究院，从学术进入工业研究。在OpenAI，他专注于生成模型和强化学习等方向的研究，参与了如OpenAI Gym等开源项目，为业界提供了宝贵的工具和培训资源。2017年6月，特斯拉CEO埃隆·马斯克亲自延揽卡帕西加盟，出任特斯拉人工智能与Autopilot自动驾驶视觉部门的总监。在特斯拉，他负责领导大规模数据标注、深度神经网络训练和部署，打造自动驾驶感知系统。卡帕西将深度学习成功应用于自动驾驶汽车，使特斯拉在计算机视觉驾驶辅助方面处于行业领先。他的团队通过不断优化神经网络算法，提高了车辆对车道、行人、交通标志的识别能力，为实现完全自动驾驶奠定了技术基础。

卡帕西在2022年离开特斯拉后短暂休息，随后于2023年回归OpenAI参与GPT-4等项目的优化工作。2024年，他宣布创办面向AI+教育的新创业公司Eureka Labs，探索将人工智能用于个性化教育培训。卡帕西的职业轨迹贯穿了学术-开源-工业-创业的循环，每一步都体现了深度学习影响力的扩大：从课堂到社区，再到产品和企业。他曾入选《麻省理工科技评论》“35岁以下创新者”，被认为成功地将学术研究与工业应用衔接起来的人才代表。总而言之，安德烈·卡帕西以卓越的实践展示了深度学习如何改变行业：无论是线上课程培养新人，还是自动驾驶改变交通，他的贡献让AI真正走向大众生活，也激励着新一代工程师投身这一领域。

时间线

  • 2015：在斯坦福开设爆款课程CS231n（全球首个CNN系统课程）
  • 2015：作为创始成员加入OpenAI，推动生成模型研究
  • 2017：被马斯克亲自招募，执掌特斯拉Autopilot视觉团队
  • 2022：离开特斯拉，短暂”AI修行期”（活跃于技术博客与社区）
  • 2023：回归OpenAI参与GPT-4优化
  • 2024：创立Eureka Labs（AI+教育创业）

结语

以上六位先驱者以其独特的贡献共同谱写了神经网络和深度学习发展的壮丽篇章。从辛顿和勒昆奠定基础理论与算法，到李飞飞提供海量数据引燃深度学习引擎，再到克里泽夫斯基和苏茨克维攻克竞赛展示威力，以及卡帕西将AI落地于工业应用——他们所处的不同时代前后接力，推动了人工智能从小众走向主流。正因为有了他们的开拓与坚持，神经网络算法才从早年的沉寂走向今日的蓬勃，深度学习成为引领技术变革的中坚力量。展望未来，这些奠基者的影响仍将长存：他们培养的学生、创建的机构、倡导的理念将继续引领AI领域的创新与自省，为我们迈向更智能的世界指引方向。

参考资料：

  • Hinton, G. 等. Learning representations by back-propagating errors. Nature, 1986
  • LeCun, Y. 等. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 1998
  • Krizhevsky, A. 等. ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS, 2012
  • University of Toronto News. Google acquires DNNresearch Inc. (2013)
  • Nobel Prize in Physics 2024 Press Release (Hinton & Hopfield)
  • Fei-Fei Li. ImageNet: Where have we been? Where are we going? (ACM 2021)
  • OpenAI Official Blog. Introducing OpenAI (2015)
  • Reuters. Former OpenAI, Tesla engineer Andrej Karpathy starts AI education platform (2024)
License

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。

Share