研究不变的行业，和变化最快的行业——张坤
深度学习变化实在太快了，以至于这本2021年写成的书未能收录行业后续很多重大事件，比如2022年底OpenAI推出的Chatgpt，2025年初Deepseek把整体行业的训练成本打下来了，又或许是2025年Tesla人形机器人Optimus就要进厂打工…
就在今天（2025年2月6日）OpenAI宣布向所有用户开放ChatGPT搜索功能，无需注册，这意味着OpenAI已准备好挑战Google在搜索领域的主导地位。可以说我们现在已经一只脚踏入了深度学习革命的长河里，可以预见的是AI将会重塑众多行业的竞争格局，潮水袭来，看看是谁还没有穿好救生圈：）
达尔文说，自然界中无飞跃。最近才想明白这其中蕴含着的深刻道理，万事万物都不是突然发生的，我们对事物的认知跟训练大模型的过程一样——先有归因模型，才能有预测模型 or 先有训练，才有推理（准确说，应该是对神经网络的训练跟人类的认知一样…)。所以哪怕再新的行业，多复盘复盘历史也会有新洞见的。
我把深度学习革命分为三个阶段：
1）1960-2010年左右，深度学习（神经网络）并不是学术界主流方向。早期的连接主义（连接主义：机器算法模仿大脑神经元的结构，进行大量相互关联的计算）是被主流学术界所排挤的。北美顶流学术圈基本放弃了对神经网络的探索，神经网络几位奠基大牛都是非北美学术圈（加拿大、欧洲），在小圈子里发展（很多大牛都是辛顿的学生）；
— 2007年：杰夫·辛顿创造了术语“深度学习”，一种描述神经网络的方式，目的是为神经网络“正名”，主流学术圈对神经网路嗤之以鼻；
— 2008年：深度学习开始从学术向产业界发展。辛顿在微软西雅图工作室探索基于深度学习的语音识别，微软最早的语音识别技术路径是聘请大量的语言学家堆语义规则；
2）2011-2018年，北美云计算巨头开始意识到深度学习的重要性，大量招揽人才、投capex ，探索深度学习的实现路径。这一阶段谷歌是跑在最前面的，收购Deepmind（Alphago）、成立谷歌大脑实验室，招揽辛顿、吴恩达、李飞飞，自研TPU加速并行计算（早期云计算中心都是CPU驱动，没有GPU，谷歌需要新投capex，内部还是有很多摩擦的）；Facebook招揽杨立昆；马斯克投资OpenAI（对标Deepmind），后期自己下场做自动驾驶；相较之下，微软进展较慢，这也可能是后来投资OpenAI的原因之一；
— 2012年：杰夫·辛顿、伊利亚·萨特斯基弗和亚历克斯·克里哲夫斯基发表了AlexNet论文，推动深度CNN成为计算机视觉主流；
–2017年：英伟达推出渐进式GAN，它可以生成照片级的人脸；
–2017年：Google研究团队Vaswani等发表《Attention Is All You Need》，提出Transformer模型，完全基于自注意力机制，摒弃RNN/CNN的序列依赖。其核心创新包括多头注意力和位置编码，解决了LSTM训练慢、长程依赖捕捉困难等问题，迅速成为自然语言处理（NLP）的主流架构；
3）2019年至今，Chatgpt出圈，Tesla推出自动驾驶，人形机器人开始被业界更广泛探索。这一阶段做GPU的英伟达是最显著的投资机会。
–2019年：OpenAI已经在探索通过虚拟仿真训练机械手转魔方，人形机器人是深度学习继续发展的延续。神经网络是通过强化学习的重要组件，谷歌最早选用是的在封闭实体空间训练，而OpenAI选择在3D虚拟游戏场景训练机器人 ；
–2025年：开源deepseek显著降低了训练成本，或将带来众多端侧AI应用的爆发；
以下是一些原文摘录：
1. 地平线创业的想法也来自我在 IDL工作期间的一个观察： GPU运行深度学习算法的效率是 CPU（中央处理器）的几十倍，但是 GPU本来是为图形渲染设计的，所以，用 GPU做深度学习是无心插柳的结果。那么，我进一步想，如果专门为深度学习设计加速芯片，会不会效率更高？答案是显而易见的。于是，地平线开辟了中国深度学习芯片创业的赛道。
2. 深度学习带来了一种力量，当它被那些科技界的超级巨头掌握时，连设计者都不完全知道该如何控制这种力量。而驱动这些巨头的，是它们对收入和利润贪得无厌的渴望。（研究了人形机器人之后觉得，很多问题都是商业问题。从这点来看，资本主义不断发展是有道理的…）
3. 通过分析数据，神经网络可以自主学习，但符号人工智能做不到。符号人工智能是按照人类工程师制定的非常特殊的指令运行的，这些离散的规则定义了在可能遇到的每种情况下，机器应该做的所有事情。他们称之为符号人工智能，是因为这些指令向机器展示了如何对特定的符号集合（如数字和字母）执行特定的操作。
4. 坐在拥挤的房间后面看着演示，布罗克特突然惊恐发作，他以为是心脏病，然后被紧急送往医院。他后来称，这是他的“灵光乍现的时刻”，他意识到自己花了7年时间写下的规则现在已经过时了。他说：“我52岁的身体经历过这样的时刻，我看到了未来，但我没有参与其中。”
5. 但他提出的一个更重要的观点是，神经网络要依靠额外的处理能力实现蓬勃发展。邓力不仅需要购买单价为一万美元的GPU显卡，而且可能需要不止一块，外加一台可以运行该显卡的专用服务器，服务器的价格与显卡的价格相当。
6. 神经网络是一个“黑盒子”，当它做出决策，比如选择搜索结果时，我们没有办法确切地知道它为什么做出这个决策。每一个决策都基于几天甚至几周的计算，这些计算运行在几十个计算机芯片中。没有一个人能够掌控神经网络所学的一切，而改变它所学到的东西绝非小事，需要新的数据和全新一轮的试错。（数据真的很重要，小红书能成为搜索引擎就是因为在平台上沉淀了众多优质且新鲜的图、文、视频数据）
7. 他更大的信念是，大脑本身将为构建超级智能提供一张地图
8. 他是一个具有深度逆向思维的人——针对所有的事情。这个领域的大多数人都不认同我们所做的事情，所以他的深度逆向思维很可能会对我们有利。”
9. Facebook是一家社交网络公司，它打造互联网技术是为了眼下，而不是为了通用人工智能或其他任何在未来几年内不太可能进入现实世界的技术。该公司的座右铭是“快速行动，破除陈规”，
10. 这就是科技行业的运作方式。最大的一些公司正在陷入一场永不停息的竞赛，追逐下一项变革性技术，无论那是什么。每家公司都想率先抵达那里，如果有谁抢先一步，那么其他人将面临更大的压力，必须毫不拖延地抵达。
11. 阿兰·尤斯塔斯认为，诀窍在于让自己处在一些特定人群周围，这些人能够将新的专业知识应用到旧技术似乎无法解决的问题上。“大多数人是以特定的方式、特定的视角和特定的历史来看待特定问题的，”他说，“他们无法看到那些能改变格局的专业知识的交会点。”
12. 在某个星期天，克拉克要在复旦大学发表一场演讲。陆奇通常会骑着自行车穿过这座城市去看望他的父母，但是当天下了一场大雨，他就待在家里。那天下午，有人敲他的门，让他去克拉克的讲座上帮忙占个座位。因为下雨，太多的座位空着。于是陆奇听了讲座，他在演讲结束后的提问让克拉克印象深刻，之后他被邀请去卡内基——梅隆大学申请一个留学机会。“我很幸运，”他回忆道，“如果没有下雨，我就去看望父母了。”（很多东西，真的是命吧）
13. 他认为，微软应该打造一辆自动驾驶汽车。这将为公司提供在很多其他领域取得成功所需的技能、技术和洞察力。陆奇认为，谷歌之所以在如此多的市场占据主导地位，是因为它在互联网空前扩张的时代打造了一款搜索引擎。像杰夫·迪恩这样的工程师被迫打造从未有人开发过的技术，在随后的几年里，这些技术推动了从 Gmail到 YouTube、再到安卓的一切。他说：“这并不是说谷歌的人喝的水有什么不同，而是说搜索引擎要求他们解决一系列技术难题。”
14. 做梦是人类进行学习的重要组成部分。晚上，我们“重播”白天经历的事情，把记忆植入大脑。总有一天，机器人也会如此。
15. 对陆奇来说，这一切意味着，中国不仅将成为第一个生产自动驾驶汽车的国家，也将成为第一个找到癌症治疗方法的国家。他认为，这也是数据的产物。“在我看来，这是毫无疑问的。”他说。
16. 实际上，有一堆心理学理论认为，即使围绕你穿什么、早餐吃什么或诸如此类的事情做出一些小决定，也会让你感到疲惫，消耗你的精力。”
17. 谷歌 Duplex之所以范围如此狭窄，并不是因为它代表了朝着这些目标迈出的微小而重要的第一步，而是因为人工智能领域还不知道如何做得更好。”
18. 他解释说，问题在于神经网络并不像人脑那样学习。即使在掌握神经网络无法掌握的任务时，大脑也不需要深度学习所需要的大量数据。儿童，包括新生婴儿，可以从少量的信息中进行学习，有时信息只是一两个好的例子。
19. 这表明，如果没有更多先天论者所谓的“先天机器”，人工智能就不会发生，他们认为大量的知识已经融入人脑。马库斯说：“学习之所以成为可能，只是因为我们的祖先进化出了代表空间、时间和持久物体等事物的‘机器’。我的预测——这只是一个预测，我无法证明——当我们学会将类似的信息整合到人工智能中时，人工智能的效果会更好。” 换句话说，他相信，有很多东西是人工智能无法独立学习的，必须由工程师手工编码。
20. 在通常情况下，工程师需要对机器人进行精确的行为编程，花费数月时间为每一个微小的动作定义精细的规则。但这需要几十年，甚至几个世纪的时间，才能为机器手的 5根手指单独定义解决魔方问题所需的每一个动作。
21. 这是马斯克的惯用手段：吸引人们关注他自己以及他所做的事情。
22. 一旦超级智能到来，人类如何与它共存？”马斯克说这需要大脑和机器之间的直接联系。“我们所有人都已经是半机械人了，”他说，“你的手机、电脑和所有的应用程序都是你自己的延伸，你已经是超人类了。” 他解释说，人类的受限在于无法足够快地使用自己的应用程序，大脑和机器之间没有足够的“带宽”。人们仍然用“肉棒”——手指——在手机上打字。“我们必须通过与神经皮质的高速带宽连接来突破这个限制。”
23. 艾伦人工智能研究所的负责人奥伦·埃齐奥尼试图缓和这种言论。 他说：“我听到很多人在缺少扎实数据基础的情况下说了很多事情。我鼓励人们问：‘这是基于数据，还是基于硬核猜测？’” 但会场里的其他人站在马斯克那边。这种论点在这个圈子的活动中越来越常见，没有任何人能获胜。大家争论的是未来会发生什么，这意味着任何人都可以声称任何事情，而没有人可以证明其中的错误。但最重要的是，马斯克知道如何利用这一点。几个月之后，他公开了一家名为 Neuralink的新的初创公司，该公司获得了 1亿美元的投资，旨在打造一个“神经织网”，即计算机与人脑之间的接口，该公司搬进了 OpenAI的办公室。
24. 自信的力量非常强大。我认识的最成功的人对自己的信任几乎到了妄想的地步，”他曾写道，“如果不相信自己，你就很难对未来有逆向的想法，而这正是创造大部分价值的地方。”
25. 强化学习非常适合游戏。电子游戏会统计得分，但在现实世界中，没有人记分。研究人员必须用其他方式来定义成功，这绝不是一件小事。
26. 魔方非常真实，但也是一种游戏，其目标很容易确定。尽管如此，这个问题并没有完全解决。在现实世界中，OpenAI的机器手上配备了微型发光二极管，使得房间里其他位置的传感器可以精确跟踪每根手指在任何时刻的位置。如果没有这些发光二极管和传感器，它就无法复原魔方。即使有了这些，正如OpenAI研究论文的附录中所说明的那样，10次有8次魔方会掉。为了实现20%的成功率，OpenAI的机器手经历了相当于数万年的数字试错。真正的智能需要一定程度的数字体验，才能让这看起来微不足道。 DeepMind可以利用谷歌的数据中心网络，这是地球上最大的私有网络之一，但这还不够。希望在于研究人员可以用新型计算机芯片来改变这一等式，这种芯片可以将这项研究推向超越英伟达的 GPU和谷歌TPU的水平。