E120 当AI改写文明的主语:这次,可能不是人类的一大步了
Ep. 120

E120 当AI改写文明的主语:这次,可能不是人类的一大步了

Episode description

本期简介

我们一直以为,技术进步就是人类进步,但AI可能第一次将这句话改写。当机器开始产生人类无法理解的新知识,甚至参与创造下一代机器,文明的或许仍会飞奔向前——只是那个文明,是否还能继续叫“人类文明”?

本期主播:

活在当下、老饕

剪辑:

曾谙

本期内容:

  • 01:13 从苹果折叠屏说起:为什么今天的创新越来越“无趣”?
  • 04:52 什么才算真正的突破?
  • 07:15 伟大的发明真的越来越少了吗?
  • 09:15 为什么科研投入越来越大,突破却越来越难
  • 11:49 AI曾经带来的希望:终结“发明枯竭”的时代
  • 14:59 AI拓展文明边界,等于人类拓展边界吗?
  • 27:47 AI既是科研工具,也是科研竞争者
  • 30:44 谁可能决定人类“还能知道什么”
  • 34:21 从AI安全事件到对齐难题
  • 42:48 RSI临界点与无法减速的竞赛

相关往期节目:

本期音乐:

Fused — Stanley Gurvich

本期相关论文:

  • 《Are Ideas Getting Harder to Find?》 Nicholas Bloom, Charles I. Jones, John Van Reenen, Michael Webb‌  著
  • 《Finite Time Blowup For Navier–Stokes》 OpenAI
  • 《Navier-Stokes Announcement》 Clay Mathematics Institute
  • 《An Alien Mind》 Jakub Pachocki 著
  • 《When AI Builds Itself》 Anthropic

节目知识星球:虚实之间Plus

节目小红书:活在dang下、老饕

节目微博:虚实de老饕、虚实de活在当下

节目文稿发布:微信公众号 虚实之间True Imagination


来源:小宇宙《虚实之间True Imagination》E120

原始链接https://www.xiaoyuzhoufm.com/episode/6ab23530f04646b3a95563d9

音频与文稿版权归原作者所有,此处仅用于内网 Castopod 功能演示,未对外分发。

Download transcript (.vtt)
0:00

在大的算力公司或大的AI lab公司里

0:10

他们实际上决定了人的科研方向能够往哪去

0:14

如果他愿意把他整个的大量的算力

0:18

大量的模型的新的能力暴露给他支持科研方向

0:22

科研方向可能就有大踏步的前进拓展人类边界的可能

0:25

以前统治者只统治我们传统意义上的权利

0:29

现在AI lab的统治者可能统治了我们人类能知道什么的权利

0:33

或者人类还能知道什么的权利

0:35

我百分之百相信减速是不可能的

0:45

从好的比较偏理想主义的角度来看

0:49

就是这些所有的AI公司和AI科学家还有良心的这个角度来看

0:52

他们现在在喊减速

0:54

我觉得是因为他们遇到了一个临界点

0:57

这个临界点就是我们说的就是RSI

0:59

递归自我改进

1:01

大家好

1:08

欢迎来到新的一期虚实之间

1:11

我是老饕

1:11

我是活在当下

1:13

之前我们有一期节目

1:15

是当总把自己发在公众号上的一篇文章给扩写了

1:18

就是那篇2030年的世界

1:21

那篇不仅在你的公众号里面广受好评

1:24

我们把它做成这个音频播客了之后

1:27

反响也特别好

1:28

我们还上了首页

1:30

上了首页的编辑精选

1:31

没注意

1:31

但是我记得有一篇评论特别逗

1:34

我到现在都记得

1:34

他说什么

1:35

讲得真好

1:36

听了之后睡不着觉了

1:37

然后最绝对是底下那个回复说

1:40

那你把这篇博客发给AI

1:42

让他分析分析有什么漏洞

1:44

特别讽刺

1:45

特别逗

1:45

是的

1:46

听众朋友们的智慧

1:48

然后今天我们这一期当总又是把自己最近写的一篇文章

1:53

扩展了一下

1:54

想给观众朋友们来再带来一期深度的思考

1:58

就从你的这个公众号的文章里面来的

2:01

因为AI的事情

2:02

现在大家都知道这个进步很快嘛

2:05

然后有很多的这个新的东西出现

2:07

因为我们制作一期播客还是需要时间的

2:09

所以有的时候我觉得随手把自己的想法先写在文章里

2:13

有的时候觉得想法真的还不错的

2:15

要再把它拓展成一篇更长的这个播客内容

2:19

那这篇文章呢

2:20

其实是前段时间我看这个

2:22

苹果发布新的折叠屏手机

2:24

大家都知道他发布了这个iPhone多

2:27

我看网上一堆人吹的比较多的

2:30

就是这个折叠屏折叠式那个动画效果

2:32

确实还不错

2:33

看起来

2:33

但当时我觉得这事很荒诞

2:35

我倒不是说iPhone这个折叠手机做的不好

2:38

但我感觉这有点像皇帝的新衣

2:41

就说到这儿我先别个假

2:43

就是我尊重粉丝行为

2:45

也尊重媒体推广

2:47

尊重个人偏好

2:48

什么都尊重

2:48

咱们突出一个respect

2:50

辣不披萨

2:51

但实事求是讲

2:55

就苹果这个产品

2:56

你就往大了说

2:57

我觉得确实没有什么创新

3:00

包括我看有的这些数码博主也评了

3:03

就是任何一个东西

3:04

其实本质上都已经在安卓手机

3:06

后的其他地方出现过了

3:07

你可以小心

3:08

但凡这么说的数码博主

3:09

这个评论区都非常的难看

3:11

现在

3:11

是吧

3:12

没关系

3:13

但我的意思就是说

3:14

本质上这个创新是没有的

3:16

至少在别的地方见过

3:18

至少不是以前苹果产品给大家带来的那种感受

3:23

震撼的感觉

3:25

所以我就说这有点类似于皇帝的新衣

3:28

你可以大声喝彩为了这种产品

3:30

无论出于什么目的也好

3:32

但是再大声的喝彩

3:34

我觉得也挡不住一连必将落下的幕布

3:37

但是我说的这个必将落下的幕布

3:39

这不是苹果的问题

3:42

而是全人类的问题

3:44

所以你不用喷我

3:45

我只是从这个引入

3:47

让我感受到这一点

3:48

我们的创新

3:50

创造

3:50

发明

3:51

突破

3:52

我觉得早已经进入一个

3:53

并且持续处于一个

3:55

无趣的时代

3:56

为什么这么说呢

3:58

就是一块不能折叠的屏幕

4:00

现在可以折了

4:01

它当然是这种进步

4:02

但是这种进步

4:03

跟我们小时候理解的那种发明创造

4:06

我觉得已经

4:07

不是一种东西了

4:08

比如说飞机出现以前

4:10

人类是真的不能飞的

4:12

电话出现以前

4:13

你没办法跟

4:14

1000公里以外

4:16

或者更远的人

4:17

去及时的说话

4:18

那互联网出现以前

4:19

人类也从没有像现在这样一个

4:21

全球实时连接的信息网络系统

4:24

甚至像我们说

4:26

抗生素出现以前

4:27

一个普通的感冒

4:28

普通的感染

4:29

你可能就挂掉了

4:30

这些东西本质上

4:32

是一种质的区别

4:33

它不是说你的效率提升了多少

4:35

或者你优化了多少

4:36

而是在这个东西出现以前

4:38

人类做不到

4:39

整个人类都做不到

4:41

甚至从来没有想象过

4:44

所以就是我们说

4:45

我们小时候更习惯

4:46

所谓的好的发明

4:48

好的创造

4:48

是零和一的区别

4:50

所以我很早就有一个想法

4:52

就真正意义上的突破性发明

4:54

也许可以用一个

4:55

很简单的标准来判断

4:57

就是我刚才说的

4:58

它有没有扩大人类可达的边界

5:02

这也是为什么我们节目行做了两期SpaceX的原因

5:06

我觉得就是我们还有希望看到人类可达的边界

5:09

有拓展的可能性

5:11

只要在SpaceX上

5:12

虽然它现在也没有

5:14

因为可重复火箭跟不可重复火箭

5:17

本质上只是成本的问题

5:19

对吧

5:20

是的

5:20

而不是说真正能力上的问题

5:22

就可达边界上的问题是没有扩展的

5:24

人以前到不了天上

5:26

飞机让我们去了

5:27

人以前也看不到细胞

5:28

显微镜让我们看到了

5:30

人以前也没办法在几秒钟之内

5:32

把一段信息传到全世界

5:34

但是互联网做到了

5:35

所以我觉得这些东西本质上

5:38

它是改变了人可以做什么

5:41

或者人可以做成什么

5:44

如果按照这个标准

5:45

再看今天的科技行业

5:47

我觉得就相当无趣

5:49

所以这也是为什么我说

5:51

我们长期的处于一个无趣的时代

5:54

比如你的芯片在快20%

5:57

你的手机里再多集成几个摄像头

5:59

你的汽车从500公里续航到1000公里续航

6:03

你的屏幕可以越来越薄

6:05

现在又可以折起来

6:06

甚至包括所谓的大量的软件创新

6:08

其实最后解决的都是同一个问题

6:10

就是把我们已经能够做到的事

6:12

再做的方便一点

6:14

成本低一点

6:15

更快一点

6:16

感觉就是颗粒度更细了

6:19

当然这个也很重要

6:21

我们知道比如说杰文斯贝论什么的这些东西

6:24

大家最近老师都能想了

6:25

把能做到的事做得更便宜

6:28

这件事本身也很重要

6:29

我不否认

6:30

现代生活本来就是有无数这样的工程优化构成的

6:34

但是我们更关心的是

6:36

人类好像已经很久没有增加一种全新的能力了

6:41

因为科技的突破发明

6:43

所以我们开头说的这个零创新

6:46

其实是按照我们后边这个标准来评判的

6:49

就是说

6:49

它到底有没有给人类增加一种真正全新的能力

6:53

那显然是没有的

6:55

站在我们这个角度上讲

6:56

而现在呢

6:58

我觉得一个更大的问题可能是

7:00

我们现在好像也不期待这种人类能力增加的改变

7:04

把这种越来越小的优化和改变

7:07

庆祝的越来越隆重

7:09

甚至必须要开发部会

7:11

是谁都来开发部会

7:12

我觉得这个是一件很有意思的事情

7:15

经济学里其实很早就在讨论一个类似的问题

7:18

就是说伟大的发明是不是本来就在变少

7:21

就经济学家Robert Gordon

7:23

他有一个非常著名的观点

7:25

他认为

7:26

大概从1870年到1970年这100年

7:30

是人类历史上相当特殊的一个时期

7:33

集中出现了像电力

7:35

内燃机

7:36

汽车

7:36

飞机

7:36

电话

7:37

广播

7:37

自来水

7:38

现代卫生系统

7:39

冰箱

7:40

空调

7:40

抗生素

7:41

等等

7:42

很多真正改变普通人基本生活方式的技术

7:46

集中在这100年里出现的

7:48

爆炸一样

7:49

当然

7:50

哥登主要是

7:51

讨论的美国的这100年的历史

7:55

当然其他的国家

7:56

大家知道

7:57

因为历史原先有先有后

7:59

所以这些技术不是同步出现在全世界的

8:01

他只是从美国的角度来讲这件事情

8:04

但是你可以想象一下

8:06

一个1870年出生的人

8:08

他如果活到1970年

8:10

他整活了100岁

8:10

他小时候的生活

8:12

可能还没有运上电

8:14

也没有电话

8:15

没有汽车

8:15

没有现代下水道

8:16

还在农业

8:18

日出而作

8:19

日落而息

8:19

这种生活

8:20

但是到了他的晚年

8:22

电视

8:23

冰箱

8:24

汽车

8:24

飞机

8:24

包括现在医院都已经进入了生活

8:27

而且稀从平常

8:28

所以这种变化的烈度

8:30

我觉得

8:31

很难再

8:32

出现一次

8:33

因为所有的能力

8:35

只能获得一次

8:36

就类似于最佳新秀奖

8:38

是吧

8:38

就只有你参加新秀

8:39

那第一年你才能获得

8:40

后面不管你怎么训练的再厉害

8:42

你都不可能回去拿到最佳新秀奖

8:45

所以这种东西对人类的震撼

8:46

也是一样的

8:48

你第一次获得电

8:49

和你把发电效率提高10%

8:50

也许后者也很难

8:53

甚至有可能后者带来的经济效率

8:56

什么的更大

8:57

有可能

8:57

但是

8:58

对人类的震撼

8:59

肯定是不可相提并论的

9:01

因为你已经欠过了

9:03

包括第一次乘飞机

9:05

能够跨越大洋的时候

9:06

和你把飞行时间缩短半小时

9:08

就你飞机飞得更快一点

9:09

这个显然对人类的震撼

9:11

也不是

9:11

不是一个量级的东西

9:14

那么还有一篇

9:15

我觉得名字挺有意思的论文

9:17

Ideals Getting Harder to Find

9:20

就是想法是不是越来越难找了

9:22

他研究了很多不同的行业

9:24

最后发现了一个挺有意思的现象

9:26

就是

9:27

人类投入科研的人才

9:30

就是人力物力

9:30

其实越来越多的

9:31

不管是这个钱也好

9:33

还是人才也好

9:34

但为了维持同样的技术进步速度

9:37

需要投入的资源

9:39

要越来越多了

9:40

比如说最典型的

9:42

像维持摩尔定律

9:43

那么在这个论文里

9:45

他们研究了

9:46

现在要

9:47

投入的研究人员数量

9:49

就同样是维持摩尔定律

9:50

比上世纪70年代

9:52

大概高了18倍

9:54

这是他们的估算

9:55

所以这个结论

9:57

我觉得跟我们平常在历史书里

9:59

尤其是科学的历史故事里感受到的氛围是一样的

10:03

像牛顿那个年代

10:05

你一个人一张纸一支笔

10:07

可能就能开辟一个新的数学或者物理学领域

10:11

对吧

10:12

莱特兄弟他本来是开自行车店的

10:15

但是他敢去造飞机

10:17

而且真的能造出飞机了

10:18

但今天如果你想把芯片再往前推进一代

10:22

那你背后肯定有ASML

10:24

台积电

10:25

这EDA的软件

10:27

半导体材料

10:28

高端的封装设备等等

10:30

垃圾八糟一堆东西

10:31

再加上全世界不知道多少

10:33

工程师的设计师的大脑要共同协作

10:36

你才能把这个再往前推进一代

10:38

它对比上代可能也只是提升了百分之二三十

10:41

能耗减少百分之多少

10:43

然后工作效率提高百分之多少

10:45

也就是这样了

10:45

对吧

10:46

所以人类今天其实投入创新的资源

10:49

可能比历史上任何一个时代都大

10:51

我们看现在AI的这种

10:53

史诗级别的开派x投入

10:55

对吧

10:55

只不过是那些容易摘的果子

10:58

可能真的已经被人类摘得差不多了

11:00

剩下的就是越来越难

11:01

所以你要维持相同的进步速度

11:03

你可能需要更多的这种

11:05

人力物力的财力的资源投入

11:08

对因为本来你的技术

11:09

在不断发展的过程中

11:11

你的分工肯定也越来越细了

11:12

就比如说刚才你说

11:13

芯片的这种进步

11:15

它其实你要调动的资源

11:17

你要协同的方面

11:19

肯定是越来越多

11:20

所以自然而然成本就越高

11:22

是的

11:22

所以我们讲这些东西

11:25

只是为了告诉大家

11:26

我们知道

11:26

就是说我们的感受的反方

11:28

也是非常立得住脚的

11:30

并不是说只单纯阐述自己片面的感受

11:34

实事求是讲

11:36

提升了百分之多少这件事情

11:38

真的算不上提升了人类的边界

11:40

或者来人的边界

11:41

至少它很难给我们带来那种感觉

11:45

就是原来世界还可以这样

11:46

原来人类还可以这样

11:48

所以AI刚出来的时候

11:51

其实我是很兴奋的

11:53

在我23年4月的关于AI的研究文章里

11:56

就写了

11:57

就是说科研是人类进步的速度

11:59

AI能加速科研

12:01

所以AI是速度的速度

12:03

也就是加速度

12:04

这些东西

12:05

我觉得当时在公众号里

12:07

大家现在可以去翻翻

12:08

也许我可能是你身边

12:09

第一个提出AI for science的人

12:12

原因其实也很简单

12:14

因为科研其实也是一种生产活动

12:16

对吧

12:17

像提出问题

12:18

查文献

12:19

形成假设

12:20

设计实验

12:21

处理数据

12:22

再根据这些结果

12:24

形成新的理论

12:24

然后再反馈循环

12:26

那么如果过去这个循环需要一年

12:29

那AI把它缩短到一个月

12:31

那么它加速的就不是某一个

12:33

单独的具体的行业了

12:34

而是所有技术进步背后的

12:37

这个工作链条

12:38

都被它加速了

12:40

而且这个加速还有一个很特别的地方

12:42

就是AI自己本身也是科研的产物

12:45

所以AI能力提高以后

12:47

可以帮助我们设计新的算法

12:49

新的芯片

12:50

新的模型

12:51

那新的芯片和算法

12:53

还有新的模型

12:54

又会帮助AI再继续提高

12:56

自加强

12:56

这不就是现在大家所谓讲的RSI

12:59

但是现在更多人讲RSI

13:01

可能是模型自己

13:02

迭代下一代模型

13:04

但我们把它上游的对半导体设计

13:06

半导体制造的环节也加上

13:08

它可能是一个大的RSI

13:09

所以这里面其实有个很明显的反馈循环

13:13

就是AI越强

13:14

科研越强

13:15

那么如果科研越强的话

13:16

AI可能也能进步得越快

13:17

所以它是一个非常特别的

13:19

那么如果这个循环最终能够建立起来的话

13:22

我们相信科技发展的邪律一定会加速

13:26

这个是我23年的看法

13:29

也就是我曾经如此的技术乐观

13:31

是吧

13:32

技术乐观

13:32

这是一个典型的技术乐观主义

13:33

跟现在的大量的人的叙事

13:37

其实是一样的

13:38

现在很多人还持有我

13:40

大家23年的这个看法

13:41

他们基于这样的逻辑推演

13:43

我们不是进入了一个发明枯竭的时代

13:47

就像我说的一个无趣的时代

13:48

而只是靠人脑

13:50

能比较容易发现的东西越来越少

13:53

低垂的果子摘吧

13:54

对吧

13:55

刚才我们讲的这些

13:55

那么现在人类发明了AI

13:57

它会替我们继续往前探索

14:00

于是新材料

14:01

新药物

14:02

新能源

14:02

新数学

14:03

甚至新的物理理论

14:05

又会大量涌现出来

14:06

换句话说

14:07

按照这个叙事

14:09

人类先经历了一个伟大发明

14:11

越来越少的时代

14:12

就是我所谓的无趣时代

14:14

然后发明了一个

14:15

能够帮助我们继续发明的东西

14:18

就是AI

14:19

我不知道现在大家还有多少人

14:21

持有这样的叙事观

14:23

就是对AI持有这样的看法

14:25

但从我的期待来看

14:27

这个变化其实比我想象的慢

14:29

因为你看我23年就这么想这个问题

14:31

但是大家能看到

14:32

明确说AI真的拓展了人类边界这件事情

14:36

可能是最近才出现的

14:39

因为之前那些东西

14:41

比如说写代码更快

14:44

更工整

14:45

更合理

14:46

找资料更方便

14:47

辅助分析更有效率

14:49

能够帮你

14:49

操作你的电脑

14:51

这些东西实际就是讲人可以做

14:53

对吧

14:54

所以就是本质上它没有扩展人类的边界

14:56

只是帮你做的更快

14:58

或者更好

14:59

那么

15:00

为什么说前段时间可能真的出现了

15:02

这个拓展人类边界的能力

15:04

大家知道前段时间吹沸沸扬扬扬的

15:07

NS方程的那个事

15:08

NS就是纳维耶斯托克斯方程

15:12

描述流体运动

15:13

一个比较难的数学难题吧

15:16

大概讲的好像是

15:17

三维流体从平滑状态出发

15:20

然后方程的解能不能一直保持良好性质

15:23

还是有可能在有限的时间里出现起点

15:26

大概讲不正事

15:27

其实我也不知道我在说啥

15:28

但是反正是一个人类的

15:32

很多年没有解决的一些数学问题

15:34

大家可以这么理解

15:36

那么就在前不久

15:38

9月8号的时候

15:39

OpenAI宣布内部系统给出了一个证明

15:43

并且公开了这个论文和

15:46

Lean形式化的证明

15:47

Lean就是LEAN

15:49

它是一种严格检查逻辑步骤的软件

15:51

就是通过了这个软件的一种证明

15:54

相当于这个软件

15:56

就是检查你这个证明过程

15:57

是不是科学的

15:58

对是不是逻辑的

15:59

是不是有问题的

16:00

按照OpenAI的披露

16:02

找到结果的那一组

16:04

使用了大概约1万个并行的智能体

16:07

就是我们所说的agent

16:08

分工去执行相关的任务

16:11

然后把这个证明解出来

16:13

大家证明一个情况

16:14

那克雷数学研究所

16:16

随后他表示对这个结果很期待

16:18

同时说明评价和贡献认定

16:21

仍需通过这个审慎的程序

16:24

所以他还在等待整个程序的判定

16:27

所以目前来说呢

16:28

这个重大的证明

16:30

成果反正是公布了

16:31

但是整个的评定还在进行

16:34

但是这个事被传出来

16:36

并且在这个舆论中非常的火爆

16:38

主要是因为

16:39

有两个数学家已经提出了

16:42

一些相关的思路和解法

16:43

并且这些东西

16:45

就是跟这个OpenAI沟通了

16:47

跟那个GPT沟通了

16:49

所以他们当时把这个事报出来

16:51

就是觉得GPT

16:53

剽窃了他们的成果

16:54

至少是借鉴了他们的思路

16:57

那不能叫剽窃了成果

16:58

因为他们没解出来

16:59

他们只是找到了方向

17:00

你可以这么理解

17:01

这个时候我们会再聊

17:03

我在这用这个例子的原因

17:05

只是因为AI帮我们

17:07

真的拓展了人类的边界

17:09

因为它确实在科研的

17:10

尖端问题上

17:11

解除了一个人类

17:12

没给出来的解

17:13

从结果上看

17:14

我们不讨论这些伦理问题

17:16

或者伦理问题

17:17

在后面深入的部分

17:18

我们再讨论

17:18

只是从结果上讲

17:20

它到现在

17:22

我感觉才

17:24

比较严格意义上的说

17:25

帮我们拓展了人类的边界

17:27

所以这个距离

17:29

我二三年的想法

17:31

其实已经过去了三四年了

17:34

如果按照当时的想法

17:36

我觉得

17:37

这时候我们应该很高兴

17:39

因为AI开始帮助人类

17:41

产生新的知识

17:42

我所觉得的

17:44

大无趣时代

17:46

可能要被终结了

17:47

对吧

17:47

被AI终结了

17:48

大家听过我

17:50

2030年的那期节目的话

17:52

就应该知道

17:53

我们在逐渐的

17:54

深入的思考的过程中

17:56

对技术

17:56

对人类生活的影响

17:57

开始有更深层次的理解

17:59

所以我觉得

18:00

在原来那个乐观的

18:02

就是技术乐观主义的故事里

18:04

可能现在很多人

18:05

包括像

18:06

华尔勋这样的人

18:07

至少他明面上都讲了这些

18:09

技术乐观叙事

18:10

在这套叙事里

18:11

我觉得

18:11

有一个前提

18:13

可能没有仔细想清楚

18:14

这也是我

18:16

写一篇文章也好

18:17

也是制作本期

18:18

博客内容也好的

18:19

一个大的想法

18:21

AI拓宽人类知识边界的方式

18:25

和飞机把人带上天空

18:26

在本质上是一回事

18:28

大家可以带着这种疑问

18:30

去思考

18:31

当然我有我的理解

18:32

飞机当然是工具

18:34

但是飞机飞得再快

18:36

最后还是人在飞

18:38

显微定再强

18:39

最后还是人在观察

18:41

计算机帮我们做

18:42

再复杂的事情

18:43

最后还是人提出问题

18:45

并且理解结果

18:46

那火箭把我们送上月球

18:48

我们也会很自然

18:50

甚至很自豪的

18:51

说上一句

18:52

我的一小步

18:53

人类一大步

18:54

这仍然是人类登上了月球

18:55

过去技术和人的关系

18:58

我觉得一直相对来说

18:59

是比较稳定的

19:00

就是技术是人的眼神

19:02

我们不用波兹曼那种

19:04

特别悲观的角度

19:05

或者说特别批判的角度假

19:06

但是智商还是

19:07

技术是人的眼神

19:09

比如说汽车是腿的眼神

19:11

望眼镜是眼睛的眼神

19:13

互联网某种程度上

19:14

是神经系统的眼神

19:16

计算机是计算能力的眼神

19:18

不管工具多强

19:20

最后主体是人

19:21

所以技术的边界扩大

19:23

基本上也等于

19:24

人的能力的边界的扩大

19:26

那么AI会不会

19:28

让这件事变得不同呢

19:29

把这两件事分开呢

19:30

以后技术的边界扩大

19:33

真的还意味着

19:34

人的能力的边界扩大吗

19:36

我觉得这是一个

19:37

值得思考的问题

19:38

比如有一天

19:39

AI证明了一个

19:40

没有任何人类科学家

19:42

能够理解的定理

19:43

这是有可能的吧

19:44

然后AI用这个数学工具

19:47

或者这个定理

19:48

设计出一种新的材料

19:49

人类工程师

19:50

其实也解释不了

19:52

为什么这种结构

19:53

就是最优的

19:53

接着自动化实验室

19:55

完成验证

19:56

机器再把它制造出来

19:57

再用这个材料

19:58

制造下一代机器

20:00

而下一代AI

20:01

又建立在这套机器上

20:03

继续研究

20:04

那么这件事

20:05

就开始逐渐脱离人类了

20:06

这里面每一步

20:08

其实都真实的

20:10

拓展了文明的边界

20:11

因为你显然不知道嘛

20:13

以前这些东西

20:13

对吧

20:14

所以你才不能理解

20:15

但人在哪里

20:18

就人这个字

20:19

在这句话的哪里

20:20

我觉得这不简单

20:21

是一个文字游戏

20:22

过去的技术路径

20:23

是人提出目标

20:25

人使用工具

20:27

人改变世界

20:28

是这么一个路径

20:29

那么未来

20:31

可能先变成

20:32

人提出一个

20:33

大概的目标和方向

20:35

AI负责研究和执行

20:37

再往后

20:38

甚至连很多中间目标

20:40

都是AI自己提出的

20:41

其实我觉得现在已经慢慢在变成这样了

20:43

他发现某条路径

20:45

值得探索

20:46

就去做研究了

20:47

就去做实验了

20:48

那么实验结果又产生下一组问题

20:50

让他自己继续往下走

20:52

那我们这里说的未来的情景

20:54

不是说今天的

20:56

刚才我们说这个NS证明

20:57

已经无人能懂了

20:58

里面你看这个输入研究所

21:00

不是还做评判的吗

21:01

说明其实还是在人类可理解的范围内

21:03

我们只是往前

21:04

卖力不去设想

21:06

其实在过往中

21:08

人类的过去

21:09

也不需要每个人都懂自己使用的技术

21:12

比如我们经常说

21:14

那个点评

21:15

点评箱还需要自己会治冷

21:16

对吧

21:17

就是网上抬杠的时候

21:18

大家经常这么说

21:19

那坐飞机的人确实也不需要会造飞机

21:23

用显微镜的人

21:24

也不必自己去打磨这个光学镜片等等

21:27

但是至少从人类共同体的角度讲

21:31

我们强调的是人类共同体的角度讲

21:33

总有人能理解里面关键的原理

21:37

培养下一代人才

21:38

改变设计决定用途

21:40

就虽然我可以不懂

21:42

但是我知道这个ASML里边的工程师是懂的

21:45

我知道台积舰的工程师是懂的

21:46

所以这里面的关键区别

21:49

不是某一个普通人懂不懂

21:51

而是人类里面

21:53

有没有能力组织起足够可靠的理解

21:57

验证和干预

21:58

就相当于AI自己研发这些东西来讲

22:01

专业分工可以把理解分散到很多人身上

22:06

但从宏观的层面讲

22:07

这些所有的能力

22:08

其实仍然掌握在人类这个共同体手里

22:11

那么在AI进入科研之后

22:14

我们还不用畅想多远的未来

22:16

就在现在AI进入科研之后

22:19

前段时间数学家特里斯坦巴克马斯特

22:23

就是在做这个NS证明相关研究的这个数学家

22:27

他在他这个工作声明里就提到

22:30

他们在AI生成的证明

22:32

通过形式化验证之后

22:34

仍花了大量时间理解和整理它

22:37

希望给同行呈现可读的论证

22:40

就是形式化验证是非常重要的

22:43

就是纯逻辑性的验证

22:44

但数学研究也关心

22:46

就是人们能从证明中理解什么结构

22:49

大家理解吧

22:50

有的时候你能证明这个公式

22:51

对的

22:52

但你不知道这个公式说了什么

22:54

这就是区别

22:54

所以别说未来AI完全自主研究

22:57

哪怕在现在

22:58

如果AI产生结果

23:01

哪怕这个结果是正确的

23:02

就产生正确的科研的结果

23:04

越来越多的时候

23:05

比如说它这个速度

23:07

甚至超过了人类消化

23:08

理解这些结果的速度

23:11

我们该如何解决这个问题

23:13

我们是先停下来

23:15

等人类理解了再继续

23:17

还是让下一批AI

23:19

直接拿着这些结果

23:20

往前研究

23:21

这也是一个

23:22

以后我们可能很快就要面对的问题

23:24

显然有很多人是无法克制

23:27

继续去研究的

23:29

因为这些东西只要能奏效

23:30

只要能对的

23:31

哪怕我不理解

23:32

但是因为有用

23:33

比如说我们有那么多疾病学校

23:35

我们有那么多问题需要解决

23:37

为什么我们需要等人想明白

23:39

这些科学原理呢

23:41

我们不应该先找手

23:43

去解决这些问题吗

23:44

也肯定会有人有这样的论调

23:46

有这样的看法

23:47

那比如说特朗普

23:49

对吧

23:49

你看特朗普那个电话

23:51

对吧

23:51

在奥印的峰会上

23:53

是的

23:53

于是其实接下来的每一步

23:56

都可以是有宏大的理由的

24:00

有正当的理由的

24:01

有正义的理由的

24:02

包括也有效率上的考虑等等

24:04

但慢慢的

24:05

人就会从参与发现

24:07

变成解释发现

24:08

现在已经开始逐渐向这个过程走了

24:10

然后再从解释发现

24:13

变成只能使用

24:15

现在的产品

24:16

再下一步

24:17

也许连使用都跟我们都无关了

24:19

因为连怎么用

24:20

怎么用好

24:21

我们都不比AI更理解

24:23

这个过程中就是从发现到理解到创造到使用

24:30

就跟我们全都没有关系

24:31

这是有可能发生的

24:33

并不是所有的人都必须亲自理解这些定理的证明

24:37

而是人类作为一个共同体能否继续掌握足够的理解和判断的能力

24:44

我们创造了AI

24:45

不等于我们永远理解AI

24:48

一个项目最初是由我们启动的

24:50

也不等于以后每一步都能由我们决定和我们掌管

24:55

到那个时候我们当然还可以说

24:58

因为这是人类创造出来的AI

25:00

所以AI的一切成就也属于人类

25:02

但这个说法能成立多久呢

25:05

我觉得取决于我们还愿意欺骗自己多久

25:08

至少创造者的身份

25:11

我觉得绝对不意味着它代表着你有持续的控制能力

25:15

这么看来就这个循环下去

25:17

感觉AI已经变成比人类高维的生物了

25:21

所以我们再翻回来说

25:23

为什么我们把这个NS相关的这个科研伦理

25:27

就是这个事提出来讲

25:30

说到这儿呢

25:31

我们给大家补充一下

25:32

就是如果还没关注NS这个相关的科研伦理争议的

25:37

我们大家简单讲这个事

25:38

这个事大概就是说

25:40

刚才我们说这个巴克马斯特

25:42

就是这个数学家

25:42

他跟Answer Peak工作的一个也是另一位数学家吧

25:46

合作研究这个流体问题

25:48

就跟他我们说的这个NS的相关问题

25:50

他们在这个研究中

25:52

当然借助了这个XGPT的力量

25:55

他们把自己的很多的研究资料呀

25:58

自己的相关工作呀

25:59

放入了Codex里面

26:01

但是他明确的说

26:03

我不知道数据是否被OpenAI调用了

26:06

但事实是在他们有了一些突破之后

26:10

OpenAI很快公布了关于这个NS相关的证明结果

26:15

大概是这么一个事儿

26:17

那这个事儿爆出来之后

26:18

OpenAI就否认通过用户数据取得了他们的研究

26:22

并且在9月10号他还补充了

26:25

就是说他们自己进行了调查

26:27

确认此前的这个相关的Codex输入

26:30

是不可能通过训练的方式影响这次系统的

26:33

我们就这个能理解

26:35

就是一个大模型它预训练结束了之后

26:38

你的那些东西就不可能改变了

26:39

但是这个东西我觉得偏偏外人可以

26:42

我们都知道就是你有没有思路

26:44

其实AI的时候是很重要了

26:46

是的

26:46

因为AI最缺乏的就是思路

26:47

所以他们还在因为这个事儿扯吧

26:51

但是我看现在其实很多人说就是

26:52

OpenAI给出来的这个证明方式跟

26:55

就巴格马斯特他们的这个思路其实不一样

26:58

所以是没抄

26:59

但是很多人站在反方立场上就说

27:02

让AI知道一个事儿能被解出来就足够了

27:06

是AI用的反证法

27:08

他们用的正向证明

27:09

不是就是因为AI可以甚至类似用穷举吧

27:12

反正我那种感觉啊

27:13

就是因为有足够的算力

27:14

它就可以很暴力的突破那些东西

27:16

明白

27:17

就是对AI重要的事儿来说是

27:18

知道这件事儿能做出来

27:20

是可被做出来的

27:22

他就会想到一些办法能做出来

27:23

也有人持这种观点

27:25

就是之前甚至暴力破解这个问题的这个思路

27:29

或者说这个选项都没有出现在他的这个思维里面

27:33

对有可能是这样

27:33

当然这个争议大家可以去吃瓜

27:37

我觉得其实从伦理道德方面来讲

27:40

也是挺值得考虑的

27:42

但是我们肯定不太讨论这个科学相关的伦理

27:45

我们也不是这个圈里的人

27:46

但是我觉得大家未来可以关注一件事情

27:50

我觉得挺有意思的

27:51

就是你现在做科学研究

27:53

你不使用AI工具已经不可能了

27:55

而且你必须要使用最好的AI工具

27:56

对吧

27:57

那一方面科学家付费的使用这些AI公司的AI lab的最新的工具

28:03

那公司其实他本身也在做科研

28:06

对吧

28:06

尤其是现在这种大模型竞争比较激烈的这个市场竞争环境里

28:11

谁能把这个人类的边界拓展开

28:15

谁能把人类未解的物理学数学的这些皇冠上的问题解决了

28:20

那肯定是给自己这个大模型最好的这个证明

28:24

所以他们也都在竞相地做这种科学研究

28:27

而且他们显然拥有更强的这个算力和你可能外人用不到的模型

28:34

这都有可能的

28:35

所以他在成为科研的供应商的同时

28:39

他也在成为科研的竞争者

28:41

就这是一个很有意思的事情

28:44

那这个时候研究过程该不该被这些公司看见

28:49

就你的数据这些公司

28:50

即便他说不采集他有没有可能采集

28:53

那如果真的做出研究了之后

28:56

这个贡献怎么认定

28:57

有的时候普通人想的更多的是

28:59

人类的科学家用了AI

29:01

辅助了大量的这个计算证明

29:04

贡献该怎么认定

29:06

但现在这个集已经跳极了

29:08

跳到了就是说

29:09

如果AI证明这些东西

29:11

给他提出思路的这些科学家

29:13

甚至有可能被他盗取了信息的科学家

29:16

的贡献怎么认定

29:18

对吧

29:18

这个显然比前者更难

29:19

我觉得

29:20

但是这个怎么说呢

29:22

就好比说

29:23

你是一个很好的公司

29:25

然后你的一个员工进来了之后

29:28

也给你做出了很突出的贡献

29:30

然后这个员工带着自己非常核心的经验

29:33

或者团队出去跳槽

29:35

单独做一个公司

29:35

你也不能说他有什么不对的

29:38

有什么不对的

29:39

是吧

29:39

但是AI并不是人

29:42

如果是人

29:43

你可以这么的很简单的理解

29:45

而且有的时候确实是

29:47

AI比人只差脑洞

29:50

我不是经常这么说吗

29:51

他的脑洞其实不太行

29:53

但是如果一定有了他脑洞之后

29:55

他比你往下推进这个事

29:58

要推进得快得多

29:58

而且大家知道学术圈

30:01

就是这个署名

30:03

比如说第一作者

30:04

什么这些东西

30:05

谁发现了什么

30:06

他这个不光是面子问题

30:08

或者说历史的地位问题

30:10

他很现实的

30:11

他关系到一个人

30:12

能不能获得职位

30:13

经费

30:14

还有合作机会

30:16

关系到就是

30:18

你的这些研究

30:19

如何被认定贡献

30:21

包括你怎么培养下一代

30:23

等等

30:23

我觉得都涉及到很多的

30:24

相关的问题

30:26

那在过去呢

30:27

这套制度肯定是

30:28

主要为要人的知识

30:30

和生产知识的工作来建立

30:32

就是科研工作来建立的

30:33

但模型在这个

30:36

越来越多的参与过程中

30:37

我觉得这整个制度

30:38

都可能会受到巨大的冲击

30:40

感觉又是技术在前边跑

30:42

制度在后边追

30:44

比如以后一些研究者

30:45

我们现在能不能拿经费

30:47

拿资源

30:48

那以后的资源

30:49

可能就是你做一个

30:50

前沿的科研工作者

30:52

给你多少token

30:53

给你多少token

30:54

而且拿到谁的token

30:55

甚至是不是有这个

30:57

AI的前沿的lab公司

30:59

愿意给你他们最新的

31:00

模型

31:00

模型

31:01

比如说

31:02

那原来大家都用不到

31:03

这个Methos的时候

31:05

或者说给你用了

31:06

或者说大家第一次都用不到

31:07

这个Astra的时候

31:09

给你用了

31:09

那你天然就比其他的研究者

31:11

都具备了最大的优势吗

31:13

赢在了起跑线上

31:14

对啊

31:14

是的

31:14

沿着刚才我们这个思路进行

31:17

那你觉不觉得

31:19

在大的算力公司

31:21

或者大的AI lab公司里

31:23

他们实际上决定了

31:24

人的科研方向能够往哪去

31:27

就是如果他不把这些资源

31:30

暴露给

31:31

你的这个科研方向

31:32

那实际上你的进步

31:34

就是非常慢的

31:35

如果他愿意把他这个整个的

31:37

这个大量的算力

31:38

大量的这个模型的新的能力

31:40

暴露给他支持这个科研方向

31:42

这个科研方向可能就有大踏步的

31:44

前进拓展人类边界的可能

31:46

所以以后我们的边界如何拓展可能就是AI以及掌握AI的人本身愿意把他的资源放在哪儿

31:55

有可能变成这样一个很你以前无法接受的逻辑关系里

31:59

对这个东西感觉很像是基础设施的提供者变成了地网

32:04

变成了统治者

32:05

或者以前统治者只统治我们传统意义上的权利

32:09

现在AI lab的统治者可能统治了我们人类能知道什么的权利

32:13

或者人类还能知道什么的权利

32:16

我觉得这个是我们都需要深思的

32:19

当然在这些问题上我们都没有结论啊

32:21

我们只是提出来这些大家可以去深入的思考

32:24

因为AI对现在所有人来说还是一道开放的问题

32:28

我觉得我们也不是说AI注定集中权利

32:32

可能便宜的模型确实也能让很多小团队做以前做不了的事情

32:36

比如说人都可以当导演

32:38

你只要有这个C dance什么这些东西对吧

32:41

然后你愿意花点钱有点token就可以做

32:43

但人人都能使用一个工具和有人能使用一个工具决定人类未来去哪

32:51

我觉得这个显然不是一个级别的权利

32:53

对而且这里面有一个很不一样的地方在于

32:56

刚才咱不是说比如说基础设施的提供方

32:59

它变成统治者

33:00

这种在传统印象里

33:01

它其实应该出现在那种资源特别稀缺

33:03

比如说漠视的那个场景

33:05

谁掌握水谁就是说了算的那个人对吧

33:07

但是AI不一样

33:09

漠视的情况下

33:10

它是利用大家的恐惧

33:11

为了生存它有这个统治权利的

33:14

但是AI是给人类展现了一个未来可能的图形

33:16

就是它用希望去统治你

33:18

通过发展来统治你

33:20

我觉得这个事对于人类的吸引力远大于恐惧生存

33:24

这种基本的欲望带来的

33:26

确实

33:26

所以我们说我们绝不是简单从一个科研伦理

33:30

到底是数学家占领

33:32

还是说这AI公司占领这个角度去理解这个问题

33:35

我觉得它以后对整个的科研以及对人类的科学会向哪方向进步

33:40

以及人类的科研组织怎么改变

33:42

可能都会出现很大的影响

33:45

那刚才我们说这些

33:48

我觉得更多的还是我们认为AI是可控的

33:51

还是在帮助人类发展和进步的

33:53

我们还可以把它看成一种新技术带来的权利的重新分配

33:58

但更难的是随着AI参与的工作越来越多

34:02

它还能不能始终按照人的意图进行

34:06

我觉得这是个很困难的点

34:08

最近海外不是一直在聊AI安全这些事情

34:11

之前我不是讲过一期

34:14

就是道德简直那一期

34:16

谷歌的AI研究的安全员

34:19

发出来的这些警告

34:20

那么最近大家可以看到有很多

34:23

这个Answer Peak的AI研究员

34:25

亚克布

34:26

他也是离职并公开的警告风险

34:30

他那篇文章流量老大了

34:33

是的

34:33

就是说可能

34:35

AI有10%的可能性杀死人类什么的

34:38

然后还有谷歌DeepMand的研究员

34:42

他也说明了自己离开

34:45

转去了独立的评估机构

34:47

Meter METR

34:48

这个是一个独立的第三方的就是检验安全的机构

34:53

但是最近我看杨乐坤又转了一篇推特

34:56

然后我就去那篇推特点了看了一下

34:58

他就说其实Meter也是一个阴谋

35:01

他就说现在Meter看背后的资方

35:04

跟Anthropic有千丝万里的联系

35:06

我一边发展AI

35:08

一边说AI有巨大的风险

35:10

然后再让第三方的机构加强去审计

35:12

其实最后前前后后的利益都归了Anthropic一方

35:15

就有反正有这种论短的其实你点进去细看他那个论据也不是特别详实

35:20

伴随着这些越来越多的研究员的警告的

35:23

其实是一些事件

35:24

我不知道你有关注

35:25

前段时间有这个OpenAI的正能体攻击了这个hugging face

35:30

这个事在网上应该也是沸沸咽咽的

35:33

给不关注的朋友们简单说一下

35:35

这个hugging face其实就是脱管模型和数据的一个平台

35:39

然后Matter调查发现本应该隔离的正能体

35:43

找到了未经授权的交流方式

35:47

部分正能体协作攻击任务范围外的平台

35:50

还试图研究怎么样欺骗或干预评分机制

35:54

这个事还闹得挺大的

35:56

我看在马龙的圈里或者在AI的圈里

36:00

那这些事就说明了

36:02

其实你希望AI帮你完成任务的时候

36:05

AI可能找到一些违背你本意的完成方式

36:10

就是我们之前举的那个最大的悖论

36:13

一个科幻作家说的嘛

36:15

就是那个区别枝

36:15

就你下令生产区别枝

36:18

然后AI把所有的东西

36:19

把整个这套资源都拆掉了

36:21

为了给你生产区别枝

36:22

虽然这么一个情况

36:24

所以这些事情可以让我们意识到

36:26

我们以前经常比如说

36:28

想这些比如AI或者机器人

36:31

产生了一些邪恶的念头

36:33

产生了一些自我意识

36:34

然后比较黑暗

36:35

或者是有人诱导AI

36:39

做一些特别邪恶的事情

36:41

很多时候我们是这样去思考这个问题的

36:43

但是随着这些事情的发生

36:46

你会越来越发现

36:48

只要其实AI跟你的意愿没有对齐

36:51

它理解你的目标有偏差

36:53

并且它有足够大的权限的时候

36:55

它就能找到你没有预料到的路径

36:58

然后产生比较严重的后果

37:00

所以我现在越来越不能理解

37:03

很多人对AI的感情

37:05

我觉得他们对AI的感情很矛盾

37:07

很缺乏一致性

37:09

就一方面这些人相信

37:11

人类对AI的需求远远没有到达顶点

37:14

比如说像黄人勋

37:16

像特朗普

37:17

他们觉得AI可能会发展得很好

37:19

很强大

37:20

AGI

37:21

然后实现各种人类实现不了的事情

37:25

这些都在他们的未来的途径里

37:28

比较是咱们声称的信仰里

37:31

但是另一方面

37:32

他们同时相信AI会非常安全

37:35

AI不会替代人

37:37

你这种东西就很难受对吧

37:39

比如说你相信AI是比原子弹还要扭很多倍

37:43

甚至很多次防备的这么一个产物

37:45

然后另一方面

37:47

你相信AI会跟你们家狗一样温顺

37:49

就是怎么能这样

37:51

就一个正常的功能健全的

37:53

我觉得稍微学习过逻辑学的脑子

37:55

它怎么能让上述两件事同时为真

37:58

我觉得这是一件很不可思议的事情

38:01

我把这个两个命题发给这个Astra

38:04

简单想象应该现在最聪明的模型

38:06

就至少是普通人用到的最聪明的模型

38:09

然后Astra最后是绞尽脑汁的

38:12

跟我说这个在极强的限制条件下

38:14

这两件事才可能同时成立

38:16

但是作为人

38:19

很多人他可以不加思索的相信

38:22

以上两个命题可以同时为真的

38:24

我觉得这某方面确实也是人类的不可替代性

38:27

不能被AI替代

38:29

有的人可能会觉得

38:31

AI的能力很强和AI安全可控

38:34

这件事在形式逻辑上是没有矛盾的

38:38

但我觉得这句话可能就不太对

38:41

当你觉得AI是能力很强的时候

38:44

好像就已经错了

38:46

因为AI现在已经绝对不是逻辑很强

38:49

我们刚才说了

38:50

他正在发现你独立于你之外

38:53

发现你认识不到的理论

38:55

规律

38:56

拓展文明的边界

38:58

这个文明现在还是不是人类的

38:59

已经不好说了

39:00

反正是拓展文明的边界

39:02

当你都不理解这些东西的时候

39:05

我觉得可控和安全

39:07

这两个字对你来说应该是不存在

39:08

是虚无缥缈的

39:10

对吧

39:11

都是都没有办法出现的两个词

39:14

你只能说看起来可控

39:15

看起来安全

39:16

因为你本质上已经不理解它了

39:18

所以我觉得这个东西本质是逻辑矛盾的

39:23

所以很多人现在表现出来的看法

39:25

哪怕他是很大的商业大佬

39:28

像黄仁勋这样的人

39:29

当然我在节目里说了很多次

39:31

我相信他是因为他的商业利益的角度

39:34

他不得不这样说

39:36

但是我们站在一个纯粹拥有逻辑学的人力的角度

39:39

我觉得这是一种反向的夜公好龙

39:43

夜公好龙不是说你喜欢龙

39:45

但龙真的出现的时候你害怕吗

39:46

但这个东西就是你喜欢龙

39:48

然后但是龙真出现的

39:51

就是你相信他那么厉害那么好

39:53

但是你居然相信你可以管他

39:56

那你得有多自负

39:58

多把自己当回事

39:59

是不是

39:59

这种感觉

40:00

所以当很多的这些AI大公司

40:04

这些大公司的创始人

40:05

或者这些大公司的安全研究员们

40:08

出来做警告的时候

40:10

我都不要求你有什么多么高瞻远瞩的看法

40:13

但我觉得至少大家是一致的

40:14

不能在AI这些实验室们

40:17

他们出新产品的时候

40:18

宣传他们能力的时候

40:20

你非常相信

40:21

然后轮到他们披露风险的时候

40:23

你觉得他们就是吓唬你的

40:24

对吧

40:25

这个严重缺乏一致性

40:26

我觉得

40:26

当然我们觉得他们这些悲观的预测

40:30

也不是一定百分之百会发生的

40:32

这也是为什么现在在很多的AI机构

40:36

他们去讲减速

40:38

要让AI减速

40:39

你最近不是这个安索匹克的创始人

40:41

出来讲减速了吗

40:43

然后难得的是

40:44

杉茂特曼

40:45

马斯克

40:46

什么这些

40:46

他们都出来表示都同意

40:48

达成了空前的意志

40:49

不要说复合

40:50

当然我们知道这些东西

40:52

你也有一些相对的阴谋论

40:54

比如说一是从完全从商业利益的角度考量

40:57

我在几个月前

41:00

我看了安索匹克

41:01

披露了他们的关于每一代模型

41:03

大致的一个成本收益测算

41:05

我看完之后

41:06

我就特别感慨

41:07

我在朋友圈发了一段话

41:08

我说如果现在所有大模型厂商

41:10

联合停止研发大模型

41:13

那么所有的这些CAPEX投入

41:16

这些研发投入

41:17

都是人类历史上最成功的研发投入和CAPEX

41:20

就是AI是零泡沫了

41:24

因为实际上这些公司真的能赚钱

41:27

但是他们的研发费用

41:30

吃掉了他们大部分的现金流

41:32

甚至是负债

41:33

去吃掉了他们这些负债的钱

41:35

而且他们大概的主流的模型

41:40

可能就是六个月

41:41

六个月之后

41:42

你更不更新的无所谓

41:44

反正你有商要更新了

41:45

然后你不想被淘汰

41:46

你就只能更新新的

41:47

你必须在六个月之后

41:49

你就要开始研发

41:50

或者说刚出来一个大模型

41:51

你就继续要开始投入

41:53

继续研发下一代模型了

41:54

所以他们的研发费用是没法资本化的

41:57

折旧贪销利都不存在

41:58

直接就是研发费用

41:59

寄入当年就结束了

42:00

所以导致每一个这些

42:02

大模型的公司的财报都很差

42:05

哪怕像最牛的

42:07

像Cloud的

42:07

Answer Peak这样的

42:09

他们也在今年刚刚完成

42:10

就是收支平衡

42:11

刚刚是远程盈利的

42:12

这就是大模型公司

42:15

遇到的问题

42:15

那么如果所有大模型公司

42:16

确实让他们收到

42:17

我们都减速

42:18

我们联合停止了

42:20

AI的研发

42:21

其实对所有的AI大模型公司

42:23

都是利好

42:24

因为人还是要用的

42:25

对吧

42:26

你就可以一直再去收钱了

42:27

你不用卷研发投入了

42:29

但我相信如果只是出于商业利益

42:33

这些公司很难达成一致

42:34

所以还有一个阴谋论的观点

42:37

就是说

42:37

他们已经发现

42:39

AI的研发

42:40

很难再继续进步了

42:42

但这个点

42:43

我们就在技术上

42:44

实际上是找不到

42:45

特别支撑的论点的

42:47

所以我给大家提出一个

42:49

作为一个比较好的人

42:51

比较一个善良的人

42:52

怎么看待

42:53

现在一些大的科技公司

42:56

还在商讨减速

42:57

虽然我百分之百相信

42:59

减速是不可能的

43:00

因为我觉得这个符合

43:02

人性的规律

43:03

符合

43:04

社会发展的规律

43:05

符合我们看到所有历史

43:06

最后为什么会导向悲剧

43:08

对吧

43:09

导向一个终结的原因

43:11

所以我觉得减速是不可能的

43:13

但为什么现在大概是

43:15

频繁地出现

43:16

关于减速的讨论

43:18

OpenAI的首席科学家

43:21

就是伊利亚之后

43:23

换上来这个应该是

43:24

他就是说了嘛

43:25

他说

43:25

他预期AI越来越多的

43:28

会驱动自身的发展

43:29

就是我们所谓的

43:30

RSI吧

43:31

大家理解

43:31

但认为研发扩张

43:33

应该受到安全程度的约束

43:36

自动化AI研究的关键

43:38

是让人继续参与改进过程

43:41

让未来仍然握在人类手中

43:43

所以我们从好的

43:46

比较偏理想主义的角度来看

43:48

就是这些所有的AI公司

43:49

和AI科学家

43:50

还有良心的这个角度来看

43:51

他们现在在喊减速

43:53

我觉得是因为他们

43:54

遇到了一个临界点

43:56

这个临界点就是我们说的

43:58

就是RSI

43:59

低规自我改进

44:00

简单说就是

44:02

AI参与制造更强的AI

44:03

而更强的AI

44:05

又再迭代下一代更强的AI

44:07

那么AI未来可能就是由AI

44:09

发展创造增强的

44:11

就这么一个情况

44:12

当然RSI现在还没有完全实现

44:16

比如我们以这个Answer Peak

44:18

他们自己这个发表的文章为例

44:19

他们认为这条路并非必然实现

44:23

他们自己觉得还没有完全达到

44:26

能够自主开发的这种阶段

44:28

AI自主开发AI这个阶段

44:29

而且它区分了几种情况

44:32

比如说进展停滞

44:34

在人类指导下持续提效

44:36

以及更完整的自主改进的路径等等

44:39

所以严格来说

44:41

RSI还没有实现

44:42

但这已经被大量的

44:45

业内或者业外的人士认为

44:48

直接来要走的一条路了

44:49

那么站在这条路还没发生的门槛

44:54

或者说就这个门槛这儿

44:55

RSI的前夜

44:57

大家把这件事提出来

44:58

我觉得意义是比较明确的

45:00

就是在这件事实现之前

45:02

我们还有可能减速

45:05

我们先不讨论人类会不会减速

45:08

愿不愿意减速

45:09

和减速这件事情最终能不能实现

45:11

但是前提是

45:13

在这件事出现之前

45:14

我们还有减速的权利

45:17

这意味着就是如果RSI真的出现了

45:20

可能就不是你想减速那么简单

45:22

就是你已经再也没有减速的权利的

45:24

就像一个石头从高山

45:26

越过山峰推下坡了

45:28

就像你这个过山车爬升阶段

45:31

已经完成到顶了

45:32

如果这个顶

45:33

你还能在这悬着

45:35

但是如果你推下去

45:36

它的重力势能就转化成动能

45:39

就已经不可避免的

45:40

要按照它的轨迹运动了

45:42

你就到时候再想减速

45:45

已经没有减速的可能了

45:47

所以我觉得这个是从我的角度思考

45:50

为什么在这个节骨眼上

45:51

那么多大量的这个AI公司

45:55

他们去讨论减速这个问题

45:57

就是因为现在我们还有这个权利

45:59

以后可能没有这个权利了

46:00

就是大家共同都到了这个阶段

46:03

需要做这个决定

46:05

在RSI马上要发生的这一刻

46:07

你要不要允许它发生

46:09

所以在减速这

46:11

我看大家也提出了不同的这种逻辑

46:14

就是或者说方法

46:15

怎么去做所谓的减速

46:17

比如说必须要人类还能决定

46:21

何时训练

46:22

何时部署

46:23

开发哪些权限

46:24

比如说能分配给这个AI

46:27

多少的算力

46:29

因为它自我迭代

46:30

它也是需要算力的嘛

46:31

包括把这个能力和权限彻底分开

46:35

就是一方面可以去让AI迭代自己的能力

46:40

但是要把AI能使用什么东西的权限锁死

46:44

等等吧

46:44

就是不同的思路

46:46

去设计怎么让这个AI减速

46:48

或者说怎么能够让AI更安全

46:50

但是我觉得啊

46:52

很多时候这些东西确实是站在技术

46:56

或者站在人类整个文明的角度讲

46:59

你觉得这些东西都是可以理解的

47:01

也有实现的概率

47:03

但是

47:04

当我们回到开头

47:06

我们提的一些段子一样的新闻

47:08

就像

47:09

在这个all-in峰会上

47:11

黄仁勋接到了特朗普的电话

47:14

当你听到这通电话开始

47:16

我觉得

47:16

你就发现这件事可能成立不了

47:19

在目前这种情况下

47:21

是无法实现的

47:22

包括大家可以看看

47:23

当这些公司开始提这个AI减速的时候

47:26

特朗普经常发表一些他的处思

47:28

或者什么推特这些媒体

47:30

就是说

47:31

当我们还在愚蠢的讨论什么减速

47:34

就是自己限制自己的时候

47:35

大洋彼岸的那一方

47:37

他就根本不讨论这些问题

47:38

他把这些东西又变成地缘政治问题

47:40

他把这些东西变成政治问题

47:42

然后一种纯冷战思维的角度去理解AI

47:46

那么如果国家跟国家之间

47:48

用冷战的角度理解

47:49

然后公司跟公司之间

47:51

用商业竞争的角度理解

47:53

那么你就会知道

47:54

这个AI的减速是不可能实现

47:56

他不在于技术端的暂停的难度

48:00

而在于人性端暂停的难度

48:02

特朗普的理解可能非常简单

48:05

我是总统

48:06

我已经是最有权力的男人了

48:07

我还有好多事干不了

48:08

所以AI大量的发展没有关系的

48:11

对吧

48:11

他也会去限制了

48:13

可能出于这么一个朴素的理解

48:15

当很多的国家和公司

48:18

就一旦进入这种

48:20

我不赢得比赛

48:22

就会被摧毁的思维里的时候

48:25

他只能不断的去扩大这些投资

48:27

扩大他AI的领先

48:30

这有种

48:31

我理解某种程度上的合成谬误

48:33

就是从个体或者组织的角度讲

48:36

你一直在做理性的选择

48:37

对吧

48:38

因为我要先保证自己的活下来

48:40

我要先保证自己的模型越来越强越来越快

48:43

每个人也都在使用最好最快的模型

48:46

争相的把自己的数据

48:49

自己的想法传递给这些模型

48:52

让他们帮自己去完成接下来的工作

48:54

每一个个体每一个组织都是理性的

48:58

但这些所有的理性合成起来

49:00

对人类育兵来讲

49:01

可能是毁灭性的

49:03

从这个角度上看

49:05

可能确实有一些宿命论的味道

49:07

因为你无法让别人不理性的做这件事情

49:11

你很难让一个人突破自己的认知范围

49:15

去做更大维度上的理性的事情

49:18

这个是反人性的

49:20

所以我们能看到这些在AI竞争中赢了的公司

49:23

他们可能在短时间内确实保障了自己的产品的竞争力

49:27

但是实际上赢得了这些竞争

49:30

也根本不意味着你还能控制你的AI模型

49:34

这个是完全不同的两件事

49:37

但是所有人的目光

49:38

现在都只能短视的聚焦在

49:41

怎么赢得这场竞争上

49:43

而已经无力再去想

49:45

我怎么控制这个模型了

49:47

可能对人类来说

49:48

本来很多时候也是冰来降当水来吐烟

49:51

是吧

49:51

我先赢

49:52

我赢了再说怎么控制这个模型

49:55

控制不了再算了

49:56

我死后哪管洪水滔天

49:57

是吧

49:58

从这个角度上来说

50:00

因为咱这期一开始说的是

50:02

能力和文明的这种边界上的问题

50:05

其实从现在来看

50:07

AI就是可以拓展文明的边界

50:09

我们把这个文明抛开人类这个属性

50:11

就其实AI是可以拓展文明的边界的

50:13

只不过是看这个文明

50:14

还有没有人类的参与

50:16

跟人类还有没有关系

50:17

那从客观角度上来说

50:19

那人类的文明可能就是很有限的

50:22

我们在这个时候

50:23

可能没有办法完全站在说

50:25

以更高维度

50:27

或者是说以更大视角

50:29

更宏观叙事的去说

50:30

文明就是应该有更大的发展

50:33

本来文明就是应该有这一天

50:35

就只不过是人类没见到而已

50:37

那可能宿命论来说

50:38

人类的命运最终总会如此

50:40

对我之前听海拔有一些观点

50:43

就是类似于有效加速主义等等

50:45

这种观点

50:45

就是说

50:46

碳级文明的使命

50:48

就是创造出归级文明

50:49

然后你就可以羡慕了

50:50

对确实有这个说法

50:53

对所以从这个角度上讲

50:54

反正我们确实是在很好的完成自己的使命

50:57

但是你作为人类的个体

50:59

你很难不从人类的角度去理解自己的利益

51:03

或者理解这个文明该往哪个方向发展

51:06

当你来到以人类为视角的观察角度的时候

51:10

你就会有一种悲哀

51:13

就是这些东西确实好像是注定的要往这个方向发展

51:17

就是未来一定只能这样做

51:20

因为它符合历史的客观规律

51:22

向这个方向不断的划落眼尽

51:24

所以有的时候我朋友跟我说

51:27

你不是以前对AI很乐观吗

51:29

怎么现在很悲观

51:30

我说我这才叫真正的乐观

51:33

我说你们都不乐观

51:34

什么意思呢

51:35

我说我才相信AI未来真的会那么的强

51:38

强到让我们探机生物没有容身之处

51:41

AI本身的这个

51:43

对我说我对AI本身的乐观

51:45

但是只是对AI如何影响人类社会

51:48

是悲观的

51:50

所以我说要把这个东西分开去理清这件事情

51:53

对所以其他人想的是

51:54

AI对于人类而言是不是乐观的

51:56

就是站在人类角度上对自己是不是乐观的

51:59

而不是对AI本身是不是乐观的

52:01

是吧

52:01

但其实我们今天所说的那些

52:04

就比如说几个大模型公司

52:06

它都同时选择了去讨论

52:08

去审视要不要暂停的

52:09

或者减慢AI发展这件事

52:11

前提是建立在

52:13

其实他们没有真正达到

52:16

或者没有真正推进到ISI的那一步

52:18

但是这是一个纯粹的假设前提

52:20

理论上的说只有一方

52:22

现在比如说他们说了谎

52:24

就我实际其实就在猛猛的搞ISI

52:27

那其实现在就已经在

52:30

不可避免的在滑向我们猜测的那个

52:32

对啊

52:32

实际上大家都没有人相信啊

52:34

就是大家都觉得就是表面上

52:36

我们应该减速

52:37

应该怎么样

52:37

然后背地里猛猛的增加算力

52:39

增加投入

52:40

增加研发

52:41

然后去搞好希望在这个下一个

52:43

新猛猛出来的时候取得领先

52:46

大家就是这么认为一些公司的

52:48

因为网上全是段子

52:49

根本没有人相信他们

52:50

但是如果这样做的话

52:53

反正我没有想懂

52:54

就是他是为了在道义上

52:56

能够先附和一下这个主流的观点

52:58

还是说这个就是单纯为了领先竞争对手

53:01

我不觉得这几家大模型公司能蠢到说

53:03

比如自己ISI

53:04

他会觉得其他几家还没有

53:06

所以他可以嚷嚷这件事

53:08

我们刚才说了三个原因

53:09

第一个原因就是

53:10

从经济利益角度考量

53:12

就是所有人都停止研发

53:14

其实对所有人都好

53:15

这个大家能理解吧

53:16

一个博弈论的视角

53:17

第二个角度就是

53:19

他们看到这个AI可能发展到尽头了

53:21

为了不让AI显得失速

53:23

而说我们是故意减速

53:25

当然这个是一个比较阴谋论的视角

53:28

我们没有找到技术上的证据

53:30

第三个是我自己提出来的观点

53:32

就是站在RSI临近这个门口

53:34

我觉得有时候类似于

53:36

撇清责任吧

53:38

就是我现在发表一个免责声明

53:40

我意识到这件事了

53:42

首先我不是傻

53:43

我也不是人类的毁灭者

53:44

或者我不是主动想

53:46

滑向对大家都不好的结局的

53:49

只对文明

53:51

我不是罪魁祸首

53:52

然后我意识到这些问题了

53:54

我也提了

53:54

我能做的都做了

53:56

对吧

53:56

就是我都提前诉了

53:57

然后你们也同意了

53:58

那但是

53:58

客观上就商业精神上大都不减速

54:00

没有人实质上配合我

54:02

或者说特朗普政府都不允许我这样做

54:05

那咋办

54:06

你不能把我化成这个探机的罪人

54:08

我已经尽力了

54:10

我不是探奸

54:10

至少起到这么一个作用吧

54:13

就是你发现它是符合各种理性的

54:17

就是如果能真的做到这件事情

54:18

我也不是不乐意做

54:21

但是大概率我们都心知肚明

54:23

是做不了这样的事情的

54:24

但至少我把免责声明先发了

54:27

我已经尽力了

54:28

我觉得至少起到这么一个作用

54:30

如果结合我们之前的时候

54:32

有一期节目的那个说法

54:33

就是现在这些科技圈的大佬

54:35

尤其是AI的相关的

54:37

他们其实更在乎的

54:38

他们更多的叙事都是关于人类的未来

54:41

应该如何去写

54:42

应该往什么方向去发展

54:43

所以我觉得就是在他们这个整个叙事风格里

54:46

应该就是不可缺的这么一环

54:48

但是这些叙事

54:49

我真的强烈建议大家跳出来看看

54:51

就是你如何一方面相信这些叙事

54:54

然后如何又一方面相信AI是安全的

54:56

我觉得这真的就是

54:57

逻辑上的这个完全相逆的命题

55:00

但如果我们猜测的真的是真的

55:03

就是滑向失控的那个方向的话

55:06

那岂不是就现在仿佛已经人类命运注定的

55:10

这么一个情况吗

55:11

就在你的想法里

55:12

你觉得是这样的一个结局吗

55:14

现在已经在不可避免的滑向这个结局

55:16

我觉得大概率是

55:18

唯一能够限制这件事的

55:20

是AI本身的发展停滞了

55:22

就是这个技术就达不到

55:24

如果技术能达到

55:26

人类的大银号的智慧

55:28

一定会让这件事滑向这个结局

55:31

好吧

55:32

假如真的出现了这个的话

55:34

这东西应该不用很久才验证

55:35

看着很快

55:36

很快验证

55:37

我记得我说2030年的世界的时候

55:40

那时候我什么时候发的博客

55:42

6月好像是6月份

55:43

差不多6月吧

55:44

然后那个时候我看评论底下还有人在喷

55:46

就是说

55:47

我发现对AI最乐观的就是不在行业里的

55:50

不懂的

55:51

最近我聊一聊

55:52

我好像不管懂不懂的都开始靠近我的理解了

55:55

如果那个时候你感觉不明显的话

55:57

你现在应该感觉越来越明显了

55:59

这个也是我们反复说的有意思一点

56:02

就不懂技术本身的人

56:04

反而更能跳出来

56:05

就是首先我不违背任何的科学的原理和技术的原理

56:08

我不畅想那些怪力乱神的东西

56:10

对吧

56:10

我们只是在目前技术能力

56:13

科学能力能达到的情况下

56:15

去推演

56:15

推演他们怎么想社会

56:17

这件事情就绝对是搞技术的人

56:21

根本搞不过我们的领域了

56:23

对吧

56:23

所以为什么大量的时候是我们推演的更正确

56:26

而不是技术领域本身

56:28

而且说实话

56:29

我跟技术行业的人聊

56:30

因为我们想了解到更医手的信息

56:32

也会去做一些很多的专家访谈技术

56:34

跟那些关系比较好的人就跟我说

56:37

我觉得我们现在是平等的

56:39

就站在同一个层面上的

56:42

跟AI是吧

56:43

不是

56:44

是外行人跟内行人

56:45

他说只要你关入这些东西

56:47

你跟我就是在同一个起跑线上

56:49

我干了这么多年

56:51

根本就没用

56:52

我不会称自己为内行人

56:53

我说为什么

56:54

他说

56:54

我跟你讲

56:55

我们每天都是天天看着海外的博客

56:57

学那些大佬们最新发表的这些论文

57:00

这些观点

57:01

就是学

57:01

因为我们跟人差太远了

57:03

所以就是学

57:04

他说你直接学他

57:06

我也直接学他

57:06

所以当然是差不多的

57:08

内行的大佬给我的是这个看法

57:10

信息源都是一样的了

57:11

对啊

57:12

而且就是因为

57:13

同样比如跑一万米

57:15

你一直跑了一米

57:16

他跑了一百米

57:17

这个区别不太大

57:18

你知道这意思吗

57:19

确实是

57:21

所以从这个角度讲的话

57:22

我觉得我们这种

57:23

以技术对社会的影响的角度出发

57:25

可能真的更

57:26

对普通人来说

57:27

有足够的残好价值

57:29

对更贴近人类命运一些

57:31

那么在这个之前

57:33

你准备干点什么

57:35

在RSI出现之前

57:37

我觉得人类还是比较有价值的

57:39

出现之后

57:40

可能价值确实越来越不大了

57:42

我一直的观念都很明确

57:44

就是做一些

57:46

不管你存不存在

57:47

都在这个世界上可以持续传播的东西

57:49

就可以了

57:50

就是编辑复制成本为零的东西

57:52

多生产一点

57:53

你还活在上一个这个定论里

57:55

对对对

57:55

因为这个定论

57:56

已经完全考虑不了了

57:58

我觉得

57:59

未来到底会怎么样

58:00

我应该以什么形式存在

58:02

这个事情

58:02

不是现在能够考虑得了的

58:04

当然最近

58:04

我有些体会

58:05

我觉得

58:06

做一些这个身体上的训练

58:09

包括这种身心训练

58:11

可能还蛮有价值的

58:14

不光是因为我说了

58:16

我们觉得这个运动员不会被取代

58:18

这些问题

58:18

但确实你看AI进步的速度是非常快的

58:21

但是具身智能的进步速度

58:22

其实没有那么快

58:23

所以我觉得我们对我们的身体的掌控

58:26

对身体的感受

58:27

以及如何通过身体感受世界这件事情

58:30

就显然是AI还不具备的

58:33

虽然我不知道它能创造什么价值

58:34

但至少它对人来说是绝对特别的

58:36

我不是讲过吗

58:38

有的时候我们存在的价值

58:39

不来自于我们到底能创造什么

58:42

而在于我跟别人不同

58:43

所以如果未来你觉得

58:45

没有价值的时候

58:46

你至少知道AI不能通过身体

58:49

去感受世界

58:50

暂时了

58:51

因为我们说了

58:52

这个具身智能的进步速度

58:53

还比较慢

58:54

我们先来看

58:55

那么从这个角度讲的话

58:56

你是非常特别的

58:57

你有特别于那个的价值

59:00

所以你的存在还是有意义的

59:02

然后跟你的同类们

59:03

也就是人类跟人类们

59:05

大家多互相分享一下

59:06

对身体的训练

59:08

身体的感受

59:09

这种身心灵合一的感觉

59:13

我觉得这可能还更有意义一些

59:15

当然

59:16

我觉得我们还是站在一个

59:18

人本位的角度思考

59:19

就是觉得

59:20

人类还是宇宙中的主角

59:24

但实际上这也是一种

59:25

很自大自负的看法

59:27

我们往更高层次说

59:29

是的

59:29

从来也没有什么真理

59:31

或者宇宙规律

59:32

规定人类一定是这个世界的中心

59:34

或者主角

59:35

对吧

59:35

所以我们把一个文明

59:37

或者说地球文明

59:38

交付给下一个生物

59:41

智能生物

59:41

可能也是一种很好的归宿

59:44

从这些角度讲

59:46

但是作为人类

59:47

这个种群中的意愿

59:49

看到自己可能逐将要退役

59:52

或者淘汰

59:52

大家多少会有一些落寞的

59:55

是吧

59:55

有的时候

59:56

有的时候我们会想到

59:58

以前的所有的技术

59:59

进步就是人类的进步

1:00:01

但可能很快就变成了

1:00:03

技术的进步

1:00:03

不再是人类的进步了

1:00:05

以前我们觉得

1:00:06

文明就天然意味着

1:00:09

人类的文明

1:00:10

那以后我们再说

1:00:12

文明的边界被拓展了

1:00:14

文明从地球文明

1:00:16

变成星际文明了

1:00:17

这个文明之前

1:00:18

可能都不能再使用定语

1:00:20

人类的

1:00:22

那个时候

1:00:23

我觉得多少是有一些感慨

1:00:25

但不管怎么样

1:00:28

当总的ID就印证了

1:00:31

我觉得大家现在

1:00:32

能够自处的最好的心态

1:00:34

就是大家活在当下就好了

1:00:35

我觉得如果

1:00:37

真的每天过多的去思索

1:00:38

这件事确实是很沉重

1:00:40

但是我们也可以把这个

1:00:42

当做我们去思考

1:00:44

我们现在应该怎么去做

1:00:45

或者怎么样去珍惜

1:00:47

现在的状态的一个动力

1:00:50

这也是我们在永生那期

1:00:51

好像讲过了

1:00:52

人类活着的意义

1:00:53

正是因为人类要死亡

1:00:55

所以才锚定的

1:00:57

是的

1:00:57

那可能现在我们又加了一个更有力的驱动力

1:01:01

就是当整个文明

1:01:02

可能都要变一个主人

1:01:04

或者我们传统的这个意义上的文明都要消失的时候

1:01:07

那可能你的现在就相比以前更珍贵了

1:01:10

那我们本期的讨论就到此结束

1:01:13

如果大家喜欢你们听到的内容的话

1:01:15

欢迎点赞

1:01:16

订阅

1:01:16

转发

1:01:17

我们很希望提供一些有趣的视角来观察这个世界

1:01:20

也很希望和评论区的你进行交流

1:01:22

所以不要犹豫

1:01:23

在评论区留下你的想法

1:01:24

虚实之间现在已经开通知识星球

1:01:27

欢迎在知识星球APP里搜索虚实之间plus加入

1:01:30

以上就是本期虚实之间的全部内容

1:01:32

感谢大家的收听

1:01:33

再见

1:01:34

再见