首页 2024年度读书榜单 2023年度读书榜单 2022年度读书榜单 更多历年榜单 左其盛 2025-03-09 08:10:01

ChatGPT倚天屠龙前传

系统离真正理解散文还有很长的路要走。”马库斯说。杰夫·辛顿读到这里时笑了。他说,盖瑞·马库斯的这句话将被证明是有用的,因为它可以在未来几年里用于任何关于人工智能和自然语言的报道之中。“它没有技术含量,所以永远不会过时,”辛顿说

01—

基本可以看做ChatGPT的发展史,虽然书出版的时候ChatGPT还没问世。英文版出版于2021年3月,AlphaGo、AlphaZero已经面世。
本书开头是一个比较惊险刺激的故事,科学家辛顿和他的两个硕士成立了一个AI公司,没有资产,没有产品,就开始竞价售卖,谷歌、微软、百度、DeepMind四家公司竞拍,谷歌出价到4400万的时候,辛顿决定就是谷歌了,把公司卖给了谷歌。

然后本书就从头说起,从神经网络的开始说起,基本也是辛顿学术研究的开始。神经网络的理论从上世纪50年代开始出现,之后没有什么进展,被学术界鄙视,但是辛顿一直坚持这个方向的研究,终于在2012年取得了成果,用神经网络实现了软件认出图片,精度超过其他软件技术。

辛顿坚持神经网络的研究多年,2012年之前一直是少数派,但是有少数学者跟他观点一致,包括起了个中文名字的法国学者杨立昆。

2012年之后神经网络开始热起来,谷歌收购辛顿公司的4400千万美元很快变成一笔非常便宜的收购。FaceBook、微软也加入竞争。谷歌一开始不愿意用GPU做神经网络计算,后来被说服,花1.3亿美元买了4万个GPU,之后做GPU的英伟达也加入神经网络研究。

然后就是DeepMind和OpenAI的问世,AlphaGo战胜李世石,ChatGPT呼之欲出了。

作者是《连线》《纽约时报》的科技记者,本书内容大部分出自作者多年科技报道的采访素材,作者在后记中说为了写本书还专门做了100多次采访。幸亏有这样的采访,这些科技进展背后的许多细节能记录下来并且被整理成书出版。

书中涉及到一些技术细节,不深入,高中毕业应该凑乎能看懂。还有很多个人生活工作细节。
总体评价4星,不错。
以下是书中一些内容的摘抄:

02—

第一部分章 一种新型的机器:感知机 PART ONE A NEW KIND OF MACHINE

芒森在斯坦福研究所工作,这间北加州的实验室在马克一号出现后就接受了罗森布拉特的想法。在实验室里,他与一支更大的研究团队一起,试图打造一个可以阅读手写字符而不仅仅是打印的字母的神经网络,他在会议上的演讲旨在展示这项研究的进展。但是,当芒森结束演讲并接受现场提问时,明斯基站了起来。“像你这样聪明的年轻人,怎么能把时间浪费在这种事情上呢?”他问道。

尽管神经网络的概念在明斯基的《感知机》一书中失宠,但在匹兹堡卡内基——梅隆大学担任计算机科学教授的辛顿仍坚持这一信念,他与巴尔的摩约翰斯·霍普金斯大学的神经科学家特里·谢诺夫斯基(Terry Sejnowski)合作,开发出了玻尔兹曼机。他们是后来被当代人称为“地下神经网络”的一部分。

在混乱的人群中,杨立昆无法接近他,但随后辛顿转向另一个人问道:“你认识一个叫杨立昆的人吗?”后来大家才知道,辛顿是从特里·谢诺夫斯基那里听说了这名年轻的工科学生的,而谢诺夫斯基是玻尔兹曼机背后的另一位研究人员,几周前他在一场研讨会上遇到过杨立昆。

在未来的几十年里,关于神经网络最终是否有用,会存在一些质疑的声音。然后,一旦神经网络的力量显现,一些人又会质疑人工智能是否会毁灭人类。杨立昆觉得这两个问题都很可笑,无论是在私下还是在公开场合,他从来都直言不讳。

这场赌局结束后不久,在一场关于人工智能的演讲中,斯坦福大学的一位名叫吴恩达(Andrew Ng)的计算机科学教授向整个会场的研究生描述了神经网络。然后,他补充了一条说明:“杨立昆是唯一能真正让神经网络生效的人。”但是,就连杨立昆自己对未来也没有确定的判断。

在整个领域发表的所有研究论文中,关于神经网络的论文出现的比例不足5%。一些研究人员在向会议和期刊提交论文时,为了提高成功的概率,会使用完全不同的说法代替“神经网络”一词,比如“函数近似”或“非线性回归”。对于自己最重要的发明,杨立昆将“神经”一词从其名称中删除了,“卷积神经网络”变成了“卷积网络”。

利用加拿大高级研究所的少量资金——每年不足40万美元,辛顿打造了一个新的集体,专注于他所说的“神经计算和适应性感知”,每年为那些仍然坚持连接主义信念的研究人员举办两场研讨会,其中包括计算机科学家、电气工程师、神经科学家和心理学家。杨立昆和本吉奥也是其中的成员,后来加入百度的中国研究员余凯也是。

辛顿说:“吴恩达是少数几个原本从事其他工作,然后转向神经网络的人之一,因为他意识到发生了什么。他的博士生导师认为他是个叛徒。”

辛顿认为,迪恩的奇怪之处在于,与大多数如此聪明、如此强大的人不同,他不是自我驱动型的,但总是愿意合作。辛顿把他比作艾萨克·牛顿,只不过牛顿是个“浑蛋”:“大多数聪明人,比如牛顿这样的人,都会记仇。杰夫·迪恩的个性中似乎没有那种元素。”

塞巴斯蒂安·特隆曾游说谷歌的基础设施主管在其数据中心内安装配备GPU的机器,但遭到了拒绝,理由是这将使该公司的数据中心运营复杂化,并推高成本。

那年秋天,辛顿在谷歌短暂“实习”后回到多伦多大学,他和他的两名学生非常清楚地证明了,谷歌走错了路线。于是,他们创建了一个系统,这个系统可以分析标记过的图像,并学会识别物体,其准确度远远超过任何人以前打造的任何技术,这表明,当人类将其指向正确的方向时,机器的效率会更高。

在赢得ImageNet竞赛的过程中,辛顿和他的学生们使用了杨立昆在20世纪80年代后期创新成果的一个修改版本:卷积神经网络。但对杨立昆实验室的一些学生来说,这也是一种失落。

第二部分 谁拥有智能 PART TWO WHO OWNS INTELLIGENCE?

更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术,而不是隔离在一家公司或一所大学里。

扎克伯格解释说,Facebook是一个很大的例外。该公司成长于开源软件时代,在那个时代,软件代码在互联网上自由共享,并且Facebook已经广泛且深入地将这一概念扩展到其技术帝国的方方面面,甚至共享了为Facebook提供服务的大型计算机数据中心里定制硬件的设计。

更大的问题是扎克伯格如何看待企业研究的哲学。杨立昆相信“开放”——与更广泛的研究人员群体公开分享概念、算法和技术,而不是隔离在一家公司或一所大学里。

因为在谷歌和Facebook等企业工作的大多数顶尖研究人员都来自学术界,而且还有很多人仍然是学术界人士,至少在部分时间如此,所以杨立昆的开放研究愿景变成了规范。

尤斯塔斯理解这件事,他又将申请提交给了拉里·佩奇,就在他穿着“潜水服”打破鲍姆加特纳的高空跳伞纪录之前,1.3亿美元的图形芯片申请获得了批准。芯片安装之后不到一个月,所有4万个芯片都夜以继日地运行起来,开始训练一个又一个的神经网络。

他们的成果就是张量处理器,即TPU,它是设计用来处理支撑神经网络的张量的,而张量就是数学对象。其中的诀窍在于它的计算不像典型的处理器那样精确。

马斯克和阿尔特曼将OpenAI的目的描绘成对抗大型互联网公司所带来的危险性。在谷歌、Facebook和微软仍然对一些技术保密时,由马斯克、彼得·蒂尔和其他人超过10亿美元的资助承诺所支持的非营利组织OpenAI,将毫无保留地贡献出未来的技术。

在哈萨比斯的那段网络视频出现几周之后,一名记者问杨立昆,DeepMind是否有可能打造一个可以击败顶级围棋选手的系统。“不会。”他说。他不止一次这么说,部分原因是他认为这项任务太难了,同时也因为他什么消息也没听到。

在赛后的新闻发布会上,李世石坐在来自东西方的数百名记者和摄影师面前,告诉全世界,他很震惊。“我没想到AlphaGo能以如此完美的方式下棋。”这位33岁的棋手说。经过4个多小时的比赛,这台机器证明了它可以与世界上最好的选手相媲美。

深度学习革命中最重要的大玩家已经在为竞争而努力了。谷歌有辛顿、萨特斯基弗、克里哲夫斯基,以及哈萨比斯、莱格和西尔弗;Facebook有杨立昆;百度有吴恩达。但在像辛顿或哈萨比斯这样的人物是一种“无价商品”的世界里,微软没有属于自己的顶尖人物,

当他们讨论人工智能和机器人以及这些技术的走向时,他说未来的机器人需要睡觉。他认为,机器人需要睡觉,因为它们需要做梦。

第三部分动荡 PART THREE TURMOIL

他提出了一个完全不同的解决方案。他解释说,他们应该做的是打造一个能够从另一个神经网络中进行学习的神经网络。第一个神经网络将创建一幅图像,并试图欺骗第二个神经网络,让它以为这幅图像是真实照片。第二个会指出第一个错误的地方,第一个会再试一次。他说,如果两个神经网络对决足够长的时间,它们就可以创建一幅看起来像真实事物的图像。在基于这一想法所发表的论文中,他称之为“生成对抗网络”,即GAN。

当古德费洛刚刚来到谷歌时,他就开始探索一种叫“对抗性攻击”(adversarial attacks)的独立技术,这种技术表明神经网络可以被愚弄,你可以让它看到或听到实际上不存在的东西。仅仅通过改变一张大象照片中的几个像素——这是人眼无法察觉的改变——你就可以欺骗神经网络,让它认为这头大象是一辆汽车。

谷歌还想在北京设立一间新的人工智能实验室,希望这将有助于推动中国市场接受TensorFlow和它的新芯片,最终接受谷歌云。该实验室由谷歌新招募的一位名叫李飞飞的人领导,她出生于北京,十几岁时移居美国。

中国将统治这个时代,这里有更多的数据。因为这里人口更多,会产生更多的数据,而且这里对隐私的态度如此不同,这些数据可以自由地会集在一起。“人们对隐私的需求是普遍的,但中国的处理方式大不相同。”对陆奇来说,这一切意味着,中国不仅将成为第一个生产自动驾驶汽车的国家,也将成为第一个找到癌症治疗方法的国家。他认为,这也是数据的产物。

选择训练数据的人——马特·泽勒和他为Clarifai招聘的工程师——大多是白人。因为他们自己大多是白人,所以他们没有意识到其数据是有偏见的。谷歌的大猩猩标签本应该给这个行业敲响警钟,事实上却没有。

在马蒂斯访问谷歌总部三周后,生命未来研究所发布了一封公开信,呼吁联合国禁止所谓的“杀手机器人”,这是对自主武器的另一种描述方式。

谷歌的最终决定,是对政府合同的更大抵制的一部分。Clarifai的员工也对他们在马文项目上的业务提出异议。在三名军官和其他人来访后,一名工程师立即退出了该项目,其他人在接下来的几周和几个月里离开了公司。在微软和亚马逊,员工抗议军事合同和监视合同。但是,这些抗议活动远没有那么有效。

第四部分被低估的人类 PART FOUR HUMANS ARE UNDERRATED

盖瑞·马库斯曾在心理学家、语言学家和科普作家平克的指导下学习,之后围绕同样的基本态度创立了自己的事业。现在,他在人工智能领域施展他的先天论主义。他是全球针对神经网络的主要批评者,是“深度学习时代的马文·明斯基”。

“这些系统离真正理解散文还有很长的路要走。”马库斯说。杰夫·辛顿读到这里时,他很开心。他说,盖瑞·马库斯的这句话将被证明是有用的,因为它可以在未来几年里用于任何关于人工智能和自然语言的报道之中。“它没有技术含量,所以永远不会过时,”辛顿说,

纳德拉和微软同意给OpenAI投资10亿美元,OpenAI同意将这笔钱的大部分返还给微软,因为仅仅为了训练该实验室的系统,这家科技巨头打造了一套全新的硬件基础设施。

他说自己和本吉奥在图灵奖获得者中是独一无二的,他们是仅有的两个出生在20世纪60年代的人,他们是仅有的两个出生在法国的人,他们是仅有的两个名字以Y开头的人,他们是仅有的两个有兄弟在谷歌工作的人。

随着与会者为杨立昆鼓掌,辛顿收起自己的卡片,向讲台走去。他说:“我做一点儿计算,我相当肯定,我比杨立昆和本吉奥两人加起来要年轻。”

本书源于我为《连线》杂志和《纽约时报》报道人工智能的8年间对400多人的采访,以及为本书专门进行的100多次采访。大多数人被采访过不止一次,有些人甚至被采访过很多次。

全文完

相关链接:

人类如何在灭亡前给未来的宇宙智慧生命留下信息:3.5星|《千脑智能》

人工智能与算法相关25本书

人类无法感知理解的机器知识在爆发增长:4.5星|王维嘉《暗知识》

4.5星|《深度学习》:一线领军人物写的人工智能简史
4星|吴军《智能时代》:大数据与人工智能的科普

年度图书 历史/文化 年度图书 社会/科学 年度图书 外文小说
©2024-2025 vimge.com