王川: 打比方的误区 – 论第一性原则的理论和实践 (二)

本文最初于 2017年6月13日发布于笔者的公众号。


本文是   王川: 论第一性原理的理论和实践 (一)从特斯拉的崛起谈起

的续篇.

(1)

大部分人分析问题的习惯是打比方 (Reason by analogy), 基本套路是:

前提一: 张三有 A, B, C 几个特性
前提二: 李四也有 A, B, C 几个特性
前提三: 张三也有特性 D
结论: 李四也有特性 D

这种逻辑在许多日常问题上是常常实用简洁有效的,但是也有很多情况下会完全错误.

比如:
前提一: 2007年的时候,美国股市指数达到历史新高,很多地方房市也达到历史新高,离上次股市泡沫破灭正好七年,许多二三十岁年轻人 (主要是华尔街)突然赚了很多钱成为千万亿万富翁
前提二: 2014年的时候,美国股市指数达到历史新高,很多地方房市也达到历史新高,离上次股市泡沫破灭正好七年,许多二三十岁年轻人 (主要在硅谷)突然赚了很多钱成为千万亿万富翁
前提三: 2007 年后泡沫破灭,股市指数一度下跌 50%以上
结论: 2014年后泡沫一定会崩溃!
但是。。。我们已经又等了三年。。还没有崩溃,还在创新高。。

再比如,
前提一: Yahoo, excite, google 这些公司创始人都是斯坦福的辍学学生,都在硅谷,都是顶级 VC 投资支持,其事迹上了主要商业杂志封面
前提二: Theranos 公司 (号称可以提供廉价血液测试的技术)创始人是斯坦福的辍学学生,在硅谷,是顶级 VC 投资支持,上了主要商业杂志封面
前提三: Yahoo, excite, google 都成功上市,给投资者带来丰厚的回报。
结论:Theranos 也会成功。
但是: Theranos 因为造假丑闻败露,多项业务被叫停,估值缩水 90%以上, 创始人股份已经被有优先权的投资者给变得一钱不值了

第三个例子是:

前提一: 张学良吃喝嫖赌抽
前提二: 西门庆也吃喝嫖赌抽
前提三: 张学良活了 100 岁
结论: 西门庆 ???。。。祝他好运.

(2)

为什么打比方的逻辑有时有效,有时又常常不通?美国佛罗里达农工大学学者 Michael LaBossiere 曾归纳了如下几点:

第一,张三和李四的共性越多,那么打比方的逻辑就会更强大.

第二,A, B, C 的特性和 D 的特性关联度越大,那么打比方的逻辑就越强大.

第三,张三和李四的区别越大,而其区别和特性 D 的关联度越大,那么打比方的逻辑就越弱.

让我们再看一个例子:

前提一:七十年代末世界油价不断攀升,美国赤字加剧政府不断印钞票,股市十几年都来回波动没涨,人心惶惶
前提二:2005年后国际油价暴涨,美国政府赤字加剧,政府不断量化宽松印钞票,股市十几年都来回波动没涨,人心惶惶
前提三:美国通货膨胀愈演愈烈,三十年国债长期利息77年到81年不断走高,从 8% 一直到最高 15%
结论:2005年后美国国债长期利息,也一定会大涨!
但实际上,美国三十年国债的长期利息,不断创新低,从2007年最高的 5%以上一路下跌到 2016年最低的 2.1%.

七十年代末和现在, 有太多的不同:
那时候中东的各种高强度战争严重干扰供给,现在全世界大体太平.
那时候通讯交通成本高,中国尚未全面开放. 现在有互联网,集装箱运输高度发达,中国深度融入全球经济体系.

只看相似点,不看不同点,用错误的类比得出错误的结论,在做空美国国债的征途上, 倒下了无数基金经理.

打比方,属于归纳推理 (inductive reasoning)的一类, 它被广泛采用的本质原因是: 简单,低成本, 所以易用易理解.

但是它的致命弱点是,人们容易沉溺和满足于局部的, 表象上的类比,而不去花时间精力去挖掘更多更深的细节和本质。当表象和本质完全相反时,打比方的错误也就是必然了.

(3)

1997 年美国德州曾有房产大亨 Andre Beal 投资火箭发射的公司,他是个聪明绝顶的多面手,在银行业,德州扑克和数论方面都有建树。他个人出资两亿美元研发新型火箭.

但是他最终无力面对资金雄厚的美国航天局 NASA 的直接竞争,Beal 2000 年十月终于放弃了自己的火箭项目.

不到两年,Elon Musk 依靠 Paypal 赚取了接近两亿美元,马斯克也是横跨银行业,互联网和物理学的多面手,他也想在火箭发射领域创业, 他只放了一亿美元进去.

爱用类比思考的普通人,难怪都不看好他的项目.

要想卓尔不群,必须要用第一性原理, 而不是类比来指导思考实践.

(未完待续)

王川: 论第一性原理的理论和实践 (三) – 从 SpaceX 谈起

本文最初于 2017年7月11日发布于笔者的公众号。


本文是

王川: 打比方的误区 – 论第一性原则的理论和实践 (二)

王川: 论第一性原理的理论和实践 (一)从特斯拉的崛起谈起

的续篇。

(1)

究竟什么是第一性原理? Elon Musk 在一次访谈中如是说:

“我认为从第一性原理而不是打比方来推理很重要。我们日常生活中通常是用类比来推理。。。

第一性原理有点像物理学看世界的方法。你把事情归结到(最底层)最基本的原理,然后说,’有哪些东西我们知道是真的? 。。‘ 然后从下往上推理. ”

发射火箭是一个极为复杂昂贵浩大的工程,这是只有少数几个大国才可以承受的项目。当 Musk 想要做这件事的时候,遇到的阻力可想而知:

“很多国家都做不了的事,你一个人怎么做得到?“
“好几个富翁烧自己的钱去做火箭,最后都无功而返!”
“美国的航天飞机想通过回收飞机重复发射来降低费用,搞了三十多年也没成功,你一个人怎么行 ?”

2002 年二月,大雪纷飞的莫斯科。马斯克和几位同事来此拜会俄国航天局的官员。马斯克试图开价八百万美元购买两枚俄国的洲际导弹,用来改装后发射火箭。俄方轻蔑地拒绝了这个在他们看来毫无诚意的要求,坚持八百万美元一发导弹的要价.

会议不欢而散后,在返回机场的出租车上,马斯克把自己准备好的电子表格给同事看。这份表格包含了用于建造,组装和发射火箭所需材料费用的详细数字,还有火箭的各种理论性能值,按照他的计算,可以实现比现有市场价格更低的成本发射小型卫星。如果俄国人不愿意砍价,就只有自力更生了.

(2)

但知道第一性原理的理论之可为,并不意味着就知道如何工程上实现。就像一个单身汉知道自己物理距离两公里内有一百名适龄美女,按第一性原理在十分钟跑步距离内肯定可以找到一个和自己配对。但这并不意味着他随随便便朝一个方向跑十分钟就可以给自己搞定对象。实际上,如果他十天内可以搞定,就已经相当不错了.

第一性原理的实践,在于打破砂锅问到底,发掘出现有方法无法突破的根本原因,进而对症下药,不断试错, 摸索出真正的解决方法.

正如一位产品经理曾深刻地指出, 陌生人社交有两大基本难题:一是陌生人破冰的鸿沟难以逾越,二是陌生人之间的信用为零。大部分陌生人社交平台,想帮大家配对但没有解决这两个根本问题。而以腾讯的“王者荣耀”为代表的游戏平台,解决了这两大问题,顺便也就让大家更容易配对了.

那么,阻碍火箭发射费用下降的根本问题是什么呢?

(3)

以美国航天飞机 (Space Shuttle) 为例, 其项目规划从六十年代末就开始了, 1976年开始测试,1981年第一次成功载人飞行,历经两次爆炸解体事故 (1986年挑战者号,2003年哥伦比亚号), 到2011年最后一次飞行,累计完成飞行任务 133次,平均每年飞行次数 4.4 次.

每次飞行任务成本约四亿美元,折合到近地轨道的每磅运输费用八千美元。与之相比,俄国的质子火箭每磅运输成本只有 2300 美元. 如果包含固定费用在内,航天飞机单次飞行任务的实际费用十五亿美元.

航天飞机项目的本意是想通过重复发射降低成本,但最终目标未能达到. 其根本原因是,摊子铺的太大,无法实现迅速改进和迭代,导致每年飞行次数少, 固定维护成本无法摊薄到多次飞行任务上.

阻碍快速迭代的部分因素是:

1. 航天飞机上的热保护瓷砖有三万五千多片,每一片都需要单独仔细检查,看看是否受到损伤。这个过程耗时耗力.

2. 航天飞机的主发动机,设计和维护极为复杂,每次飞行任务之后的拆卸和检验极为耗时.

3. 航天飞机预算为了通过国会批准,故意把部分项目设置在一些国会议员所在的州和城市,和项目总部的物理距离甚远,降低了工作效率.

(4)

那么在卫星发射市场这一块,现有公司表现如何呢?

以长期独霸美国市场的“联合发射联盟” (ULA) 为例,其 Delta 四型火箭,主要用于同步轨道的发射,发射价格在三亿到四亿美元之间。 火箭使用的 RS-68 发动机, 只有一到三个,过去十五年成功发射三十四次。这意味着十五年来只生产了几十个 RS-68 发动机. 迭代速度和生产成本下降的速度缓慢.

ULA 另外一个型号的火箭, Atlas 五号火箭, 使用的居然是俄国生产的 RD-180 发动机. 发动机技术受制于人,想要降低发射成本,更高效灵活的整合系统,难!

问题的根本还不仅仅是技术,有评论家指出:

“历史的看,火箭发射技术的发展,对成本不是特别敏感。一个典型的火箭发射器,是政府采购合同的产物,市场竞争态势比较复杂,通常会有很大部分发射生意已经被套牢了 (比如欧洲的亚丽安,和美国的 ULA ). 发射市场有一定的价格竞争,但一直到最近,都不是很激烈。因此大部分火箭发射公司,追寻各种时尚的技术,犯下多种错误,但通常不是很执着的追求实效.

大家都知道航天工业存在很多浪费… 这些公司有可能最终变得更加精益 (lean),但是这要求公司结构的巨大改变,和管理层世界观的转变。这很少发生。 ”

原来实践第一性原理, 降低火箭发射成本的突破口在于:

自主研发火箭发动机,由简入繁,精益实用,快速迭代.

(未完待续)

王川: 论第一性原理的理论和实践 (四) – SpaceX 如何克服各种困难

本文最初于 2017年7月19日发布于笔者的公众号。


本文是

王川: 论第一性原理的理论和实践 (三) – 从 SpaceX 谈起

的续篇。

(1)

SpaceX 发动机设计师 Tom Mueller 如是说:

“ 这件事看上去很好玩。我们开始被那些火箭发射巨头嘲笑.

开始他们忽视我们.

然后他们和我们竞争,但是他们发现他们在一个公平竞争中无法获胜,因为我们成功了,而且我们的成本可能不到他们的五分之一。然后他们试图用别的方法来摧毁我们.

然后他们终于意识到,他们必须做和我们同样的事。你会听到许多公司开始宣传要做可重复使用的火箭,回收发动机,回收一级二级火箭,降低火箭费用和我们竞争 …

如果没有 spacex 的压力, ULA 根本不可能考虑从 (贝索斯的) Blue Origin 那里买发动机。如果没有我们的压力,法国人也不会迅速放弃亚丽安五号,开始设计亚丽安六号。俄国人说他们会造出一个火箭超越 SpaceX, 这太好笑了。。因为他们已经在他们的 Angara 火箭上做了 22 年,只发射过一次,然后突然宣布他们会做出一个成本更低的发动机. ”

(2)

许多人都想从成功者那里获得某个秘诀,某种可以一剑封喉,事半功倍,一劳永逸的绝技。但这在实践中往往并不存在,成功的结果往往需要多个要素为其必要条件,然后还要有点运气.

SpaceX 的 Musk 说道: “每当有人告诉你某某杀手锏 (magic silver bullet) 是他们产品更优秀或者成本更低的原因,他没有告诉你所有的事实,他只是把真相大大简化了. ”

SpaceX 成本更低的主要原因有这么几点:

第一,紧密精益的组织结构,导致整体成本极低 (比传统火箭发射巨头 ULA 和NASA 低一半以上).

一个曾在喷气动力实验室工作过的工程师说,”有一次一个校准仪器坏了,必须送回到德国修理,这中间要填写无穷多表格,经历各种官僚主义地折磨,我六个月什么事都干不了,就坐在那里。在 Spacex, 我会说 ‘Elon, 我要这个东西, 然后 boom! 我就拿到了’ ”.

第二,火箭发动机: 简单,可重复使用,扩展性强的 Merlin 发动机.

第三,火箭躯体和燃料箱。每一级火箭都应当把它看成是一个自己单独的飞船,即使像做三级火箭,或者两级火箭同时捆绑推进器,这些看上去无伤大雅的设计,也会极大地增加复杂度和成本。SpaceX 的设计很简单:就是两级火箭,没有再捆绑更多推进器.

第四,航空电子设备, 硬件和软件.

第五,发射运营团队 ( spacex 的一个发射团队要 12-15 人,而洛克希德*马丁要三百人)

(3)

要实践第一性原理, 对现有技术格局有根本突破, 不能有避重就轻的想法. 困难不会因为你躲避而消失, 掩耳盗铃耍滑头最后还是浪费自己的时间.

你一定要在底层的技术上有根本的改变,不断在各个细节上持续挑战传统思维的桎梏. 这是一个非常艰难复杂的过程,尤其是在开头. 但一旦基础打好后,下面的路就越走越宽.

马斯克在火箭研发的过程中,自始至终中采取的是一种长远的规划心态,甚至不惜为此牺牲短期的进度。猎鹰一号的设计,从一开始就是要强调可以回收和重复使用,为此在发动机和火箭高度可靠和高度冗余上下了很大的功夫。有工程师抱怨,不做这么多额外的工作,成功发射提前两到三年就可实现.但是有了这些坚实的基础,后面的迅速进步和对竞争者的超越才能成为现实.

SpaceX 火箭发动机的总设计师,是曾在军火商巨头 TRW 工作过的工程师 Tom Mueller. Merlin 发动机采用的是一种可以追溯到上世纪五十年代的叫 Pintle injector (有翻译为”舵销注射器”) 的设计。这种设计的缺陷包括燃烧效率没有最优化,燃烧分布不均匀。但是它的优点是简单,易生产, 易测试.

这对降低生产成本,提高可靠性,实现重复使用至关重要.

最初的猎鹰一号火箭有一个 Merlin 发动机,执行 SpaceX 主要发射任务的猎鹰九号则是由九个 Merlin 发动机组成,预计2017年下半年将要发射的猎鹰重型火箭,将有 27个Merlin 发动机.

Merlin 从 2006年第一次测试成功开始,不断改进升级,最新的 Merlin 1D 版本,虽然推力不是最大,但推重比达到 180, 位居各类发动机之首 (大部分主流发动机推重比都在 100 以下).

(4)

航天领域由于长期缺乏竞争,各个零部件的供货商习惯了高昂的利润和长期的无所事事。SpaceX 的应对哲学是: 如果别人做不好,我们就自己动手.

有一次,公司需要一种特制的阀门,找到一个供货商,但开价二十五万美元,而且要一年后才能交货. 对于 SpaceX 提出的几个月内完成的要求, 哈哈大笑,不屑一顾.

几个月后SpaceX 的工程师们自己完成了阀门的生产和测试.
供货商打电话过来:”你们那个阀门怎么样?还需要吗?”
SpaceX : “我们已经弄好了”
供货商: “你说 弄好了 是什么意思?”
SpaceX: “我们造好了,测试完了,准备发射时使用了”.
供货商: 沉默。。。

这样的故事在研发过程中不断一次次重复.

(5)

技术研发上超越前人, 另外一个重要因素, 是积极使用最先进的软件和硬件的工具.

Spacex 的发动机研发使用了最新的计算流体力学 (computational fluid dynamics) 的技术.外界观察者只能看到一小部分这方面的成果,但是公开的信息也让人觉得非常震撼.

现代 GPU 计算速度是十几年前的上万倍,可以模拟计算达到的精度是以前无法想象的. 模拟计算的优点在于:

第一,迅速,精度高,不必像以前一样高成本地重复大量物理测试。整体研发速度大大提高,成本大大降低。实验更多是为了验证模拟计算结果.
第二,实践上很多东西无法实时测量,只能通过模拟计算来研究.
第三,可以迅速寻找优化发动机设计的关键点,进而聚焦设计的计算空间.
第四,设计是主动的态势,而不是被动的根据实验结果慢慢改正.

(6)

德州大亨 Andrew Beal 在 2000 年秋放弃自己的火箭项目后,在德州 McGregor 市火箭测试场地留下了不少设施,正好被 SpaceX 廉价使用.

发动机测试是一个漫长和危险的煎熬.这个危险包含对于测试工程师的生命危险。一次完整的 Merlin 发动机燃烧测试, 三分钟内要消耗三千多加仑 (一加仑 = 3.78 升 ) 的液氧,两千九百加仑的煤油,如果控制不慎发生爆炸,可能造成附近人员的巨大伤亡.

有一次星期五晚上做发动机测试时,因为一个阀门没有打开,测试无法启动。 正常安全操作步骤是先抛弃燃料箱内注满的液氧才能到现场工作,为了避免耽误好几天的测试时间,两位工程师冒着生命危险到现场手动打开阀门.

从 2006年三月到2008年九月,SpaceX 尝试了四次猎鹰一号的发射才终于成功. 2008年八月初第三次发射失败后,SpaceX 面临弹尽粮绝,被迫关门的危险.

第四次发射之前,火箭从洛杉矶空运到南太平洋发射场后,发现火箭肢体在降落过程中因为气压改变受损。传统经验是这类损耗需要三个月时间才能修好,但工程团队连夜奋战,花了两周时间就地完成了修补工作.

客观的说,SpaceX 初创时期,风险极大,最终成功有运气好的因素. 但是如果不坚持奋斗六年多不退缩,一般人连接触这么好运气的资格, 都完全没有.

批评家最喜爱的运动之一, 是贬损 SpaceX 这也没什么了不起,那也没什么了不起,无非就是拿了一些 NASA 多少年积累的技术做到了今天. 这类肤浅的观点,就好像一个明朝人说欧洲的红夷大炮没啥了不起,无非就是抄袭了唐朝炼丹师发明的火药技术一样.

(7)

从竞争对手的角度看,spacex 价格会不断降低这件事本身并不可怕。大家都知道航天工业存在很多浪费。真正可怕的是,spacex 三个月做的事,别的公司要三年。这意味着,每一年下来, spacex 的领先在加大.

2017年初到七月中,全世界共有 42 次成功的火箭轨道发射,其中 SpaceX就占有 10 次,这个数字已经超过除美国外,本年度其他所有单个国家的成功发射次数 (俄国九次,中国七次).

更关键的是,SpaceX 的猎鹰火箭发射,都是基于同样的 Merlin 发动机. Merlin 估计目前年产量在 200-300 个发动机左右。这和 Delta 火箭使用的 RS-68 发动机,十五年的总产量不到一百个,形成鲜明对比.

对工业生产中的 “学习曲线”概念有基本了解的人都知道,产能越高,单位生产成本降低的越快,可靠性提高的也越快, 和竞争者的差距也拉的越大.

SpaceX 迭代速度比其他竞争者更快,发射次数越多,促使发动机产能更高, 可靠性和单价更低。而价格比竞争者更低,将会占有更多商用市场,获得更多的发射机会,从而进一步降低发射费用.

如果你看过我的老文章,

王川: 摩尔定律还能走多远? (五) – 这都是为了钱

你一定还记得摩尔定律发展的根本动力,来自于半导体的价格下降和市场扩大的良性循环。而火箭发射的价格下降,和市场的扩大,也在开始沿着类似的

“价格下降 => 市场扩大 => 更多研发投资 => 进一步价格下降” 的规律加速前进.

前面十五年打下的基础,都是为了这一天的到来。新开辟的技术版图,又催生了先前没有预想到的新的行业的商业机会.

(未完待续)

王川: 论第一性原理的理论和实践 (五) – SpaceX如何开辟新市场

本文最初于 2017年7月24日发布于笔者的公众号。


本文是

王川: 论第一性原理的理论和实践 (四) – SpaceX 如何克服各种困难

的续篇.

(1)

2016年九月一日,SpaceX 在佛罗里达准备发射火箭,在灌注燃料期间,突然发生爆炸。连同报废的火箭,还有一颗价值两亿美元的属于脸书的通讯卫星.

通讯卫星价格为什么这么贵?

卫星价格昂贵和火箭发射费用高,是一个相辅相成的问题。以前由于同步轨道通讯卫星发射费用普遍在一亿美元的量级,所以卫星设计的时候,尽量保证其使用寿命更长 (十五年左右), 所有的零部件都高度冗余, 可以自动操作. 生产厂家为了安全稳定性,一般不愿意采用更新更便宜的新技术.

一个普通的同步通讯卫星体积相当于一辆小的公共汽车, 重量约五千公斤, 有几千个零部件,需要定制, 高度复杂, 生产数量少, 周期长, 所以单价高 (成本在1.5亿美元上下,价格两到三亿美元)也就是自然而然的了.

而 SpaceX 卫星发射成本的下降,则开始打破这个僵局.

一旦卫星发射费用开始大幅下降,卫星制造商在设计生产上的约束将会放松,降低卫星的成本,而慢慢进入一个 卫星价格下降 => 更多卫星发射 => 发射费用下降 =>卫星设计更激进,生产规模化 => 卫星价格继续下降的良性循环中.

这个演变开始缓慢,逐渐加速,将继续降低通讯费用,催生出很多全新的衍生产业. 其中之一, 就是卫星提供的互联网宽带服务.

(2)

目前计划发射近地轨道卫星,提供互联网宽带服务的,主要有两家公司.

一家是 Oneweb, 它在2016 年十二月获得孙正义的软银的十亿美元的投资, 2015年时号称发射服务将由Virgin Galactic 和欧洲的亚丽安提供, 但是亚丽安的发射计划一拖再拖, 而Virgin Galactic 的火箭研发从 2007年计划到现在一直无法落实.

OneWeb 去年寻求和贝索斯的 Blue Origin 合作. Blue Origin 使用的火箭 New Glenn 还在研发状态, 预计2020年之前会首发, 但更具体的时间表不详.

另一家计划开辟卫星宽带服务的公司就是 SpaceX. 它计划今年下半年和 2018年开始发射测试卫星, 2019年大规模发射, 开始只要 800枚卫星就可以覆盖美国全境,覆盖全球需要四千枚星.

SpaceX 有七年的成功商业发射历史, 自己研发制造卫星,目前看可能比 OneWeb 有时间上, 发射成本和规模效应上的领先优势.

而剩下其他潜在竞争者, 目前大多停留在喊口号阶段.

SpaceX 预测到 2025年,其卫星宽带服务在全球有四千万用户,年营收将达到三百亿美元,这个生意将比火箭发射的业务本身还大. 2015年SpaceX 全年完成六次成功发射,总营收只有九亿美元. (从卫星终端市场拓展的角度, SpaceX 的布局也领先竞争者一步. 届时全球接近一千万的特斯拉车主,可以指望来自SpaceX 的全球无盲区的互联网宽带覆盖. 目前美国特斯拉车主的互联网接入服务来自 AT&T.)

原来只想靠发射火箭攒点钱, 后来发现卫星的市场比火箭还大.

卫星宽带的市场因为火箭发射成本下降而变得可能,而原先只想单纯做卫星的公司 (如OneWeb) 步履维艰.

在火箭和卫星的关系中, 本质问题是火箭成本, 卫星问题只是表象.

本质问题看起来更困难, 和表象上的目标距离更远, 但一旦突破,其它问题则迎刃而解, 而且会发现新的原先没有想到的市场机会.

只解决表象问题,绕不开本质问题的约束, 终将事倍功半.

而卫星业务的发展,也反哺火箭业务的进步,为 SpaceX 最终进军火星打下雄厚的基础.

这个有趣的逻辑关系,在电车市场的拓展中,也有表现.

(3)

特斯拉电车的本质问题是电池成本的下降,解决了这个本质问题,发现它在储能设备上也能用上,而储能电池的市场,甚至比电车市场还大. 储能业务的拓展,也进一步加速电池生产规模扩大化,反哺电车业务的发展

这方面的内容,可以参见笔者的老文章

王川: 特斯拉推出能量包,躺枪的却是核电站?

王川: 2020, 美国电力公司的我靠时刻 (三)

特斯拉很早就意识到这个本质问题的重要性, 2013年就开始筹划巨型工厂 Gigafactory 的建造。其它竞争者如通用汽车, 只想解决表面问题而不想啃硬骨头,不断压榨韩国电池供货商, 匆匆忙忙推出了 Chevy Bolt 电车, 但迟早会遇到供货商的瓶颈的限制,而最终缺乏后劲.

而德国汽车巨头 Volkwagen, 奔驰终于意识到建造自己的 Gigafactory 的重要性,但已经比特斯拉晚了三年了.

发现本质问题,解决本质问题,如抽丝剥茧,开始非常艰辛. 走上正确轨道后,则后劲无穷,势如破竹.

 

(

王川: 最大的问题是解决正确的问题 – 论第一性原理的理论和实践 (六)

本文最初于 2017年7月31日发布于笔者的公众号。


本文是

王川: 论第一性原理的理论和实践 (五) – SpaceX如何开辟新市场

的续篇。

(1)

1959 年英国大亨 Henry Kremer 悬赏五万英镑(相当于现在的一百多万美元),奖给第一个制造出纯人工动力飞机,可以升空飞行半英里以上的团队。如果可以飞跃英吉利海峡者,奖励十万英镑.

十几年过去后,多个团队不断尝试,仍然无法造出达标的飞机.

工程师 Paul MacCready 发现,大部分团队解决的是错误的问题。“问题是,我们不理解这个问题”.

每个团队都花了将近一年的时间根据自己的理论和猜测建造飞机,而没有充分的预先测试。等飞机造好后试飞,几分钟后,一年的辛勤劳动坠落到地面上。然后团队继续回去再研究,制造新的飞机.

MacCready 意识到,真正的问题不是“人工动力飞行”, 真正的问题是流程本身,真正的问题是大部分人在没有对一个复杂问题有深刻理解之前,盲目地追求一个困难的目标.

MacCready 发现他真正要解决的问题是:“飞机测试失败后,要能几个小时内重新调试造出改进的飞机.”

为了解决这个问题,他采用迈拉 (Mylar) 膜片,铝管和铝线做为制造飞机的材料. 第一个版本的飞机很脆弱,飞不起来,但是这没有关系,因为迭代改装的速度很快. 有的时候一天可以改造飞机三四次,进行试飞。重造重新测试重新学习的周期,从几个月到一年,压缩到了几天甚至几个小时.

他的团队终于在 1977年八月获得第一个 Kremer 奖,然后 1979年完成英吉利海峡的飞越.

(2)

上世纪初美国的莱特兄弟, 是世界公认的第一个成功实现 “把比重高于空气的飞机长时间升空飞行”的团队.

他们相对于其他竞争者,不是教育程度最高的,也不是最有钱有关系的。他们胜出的核心原因之一是:

在野外实地飞行测试的成本很高。莱特兄弟自制了一个可以放在家内的小型风洞,然后制造缩小的飞机模型,在风洞内测试。这种做法,使他们尝试各种新想法和小改进非常便捷容易.

风洞现在是飞机设计和实验通行的做法,但在当时是革命性的。莱特兄弟最初测试自己的滑翔机时,发现滑翔机先驱德国人 Otto Lilienthal 的机翼数据表是错误的,于是决定自己造小型风洞收集测试数据.

可以从上面几个例子里看到,解决一个问题的最核心瓶颈,实际上是通过各种工具,设计一个流程:

把试错和改进的成本压得最低,迭代速度提得最高.

换句话说,在缺乏有效工具降低试错成本之前, 不要盲目扩大投入, 否则失败后很难迅速改进, 容易造成巨大浪费.

(3)

建立快速迭代纠错的机制,是向内看,解决本质问题的一个重要手段.

但有的时候局部优化做到极致, 更多的投入不再有较大回报时, 拓宽视野向外看,也是解决问题的一个重要角度和方法.

特斯拉在准备大规模生产第三代电车 Model 3时 (起价三万五千美元)为了降低成本,提高性价比,在电池,马达,车型设计等各个方面绞尽脑汁. 可以参见笔者 2015年的老文章 (可直接点击下面链接)

王川:2017年, 特斯拉将敲响石油工业的丧钟

但是跳开电车设计本身,他们发现在生产电车的工厂的设计上,投入同等的时间其回报要大得多,有时效益可能高出一个数量级以上.

马斯克说,

“我们意识到, 真正的问题, 真正最困难的, 同时也是潜力最大的地方 – 是制造一个制造机器的机器。换句话说, 是建造工厂, 把工厂本身看成一个产品.

当你想象一个特定体积的工厂,输出等于 容积 x 密度 x 速度。如果你看看现在的工厂,有效 (用于生产的) 容积和无效容积的比例,低得要命。光看容积的化,大约比例只有 2-3%.

然后你再看速度。。。世界上最先进的汽车生产工厂,每 25 秒出产一辆车,听上去很快,但是如果你估算车身长度加上一些缓冲空间大约五米长的话,这等于25秒移动五米,也就是一秒钟移动 20厘米,这不比乌龟快多少. ”

特斯拉的 CTO JB Straubel 说道,

“有时我们的工程师在马达,电池,电控系统上花了很多时间,只能获得千分之一的性能提高。。但是我们如果把同样的精力放在设计工厂上的时候,我们很容易得到百分之十,百分之二十,甚至百分之几百的效益的提升。。这种大幅度提升在设计领域内闻所未闻”.

(4)

改进工厂设计, 提升效益,其复杂度比工厂产品本身大很多. 但正是因为其复杂性, 改进的手段也很多. 这里只举一个例子.

提高电车产出速度, 降低生产成本的一个重要因素, 是尽量减少需要人工干预的生产环节。

传统汽车生产, 需要把电子线束,地毯,座位等等大家伙装到车内,但传统车门可以提供进入的空间有限, 塞进去后还要精准安放, 很难完全由机器手快速完成,所以必须要人工手动, 减慢了生产速度.

特斯拉 Model 3 降低生产成本的一个方法是, 车的后半身有个巨大的玻璃车顶,这样就不需要传统的后座乘客头顶上的结构梁 (structural beam) ,这不仅简化设计,增加后座乘客头部的空间,最关键的是,它给 Model 3 的后面制造了一个巨大的开口,可以方便机器手自由地伸进去安放地毯,传感器,座位,电子线束等内部零件.

(未完待续)

王川: 三十二个有用的思维模型

本文最初于 2021年 8月31日发布于笔者的公众号。


(这32个思维模型前两年在微博上发布过,现在已被做成 NFT。)

思维模型有多重要?参见

王川:为什么思维模型是最重要的财富 (一)

1/ 强者益强。参见笔者的老文章,可直接点击下面链接。

王川: 从抄袭的进化优势, 看强者益强 (一)

王川: 从兰切斯特方程, 看强者益强和如何以弱胜强 (二)

王川: 论兰切斯特方程在商业竞争中的应用 (三)

王川: 从波色*爱因斯坦凝聚态,看强者益强的最高境界 (四)

2/ 范式转移.

王川: 范式转移的随想 (一)

王川: 范式转移的随想 (二)

王川: 范式转移的随想 (三)

王川: 论移动屁股和改变脑袋的艺术 — 范式转移的随想 (四)

3/ 跃过鸿沟.

王川:创新扩散的理论模型和误区

4/ 摩尔定律.

王川: 摩尔定律还能走多远? (一)

王川: 摩尔定律还能走多远? (二)

王川: 摩尔定律还能走多远? (三) – CPU 的内存瓶颈

王川: 摩尔定律还能走多远? (四) — 并行计算的威力

王川: 摩尔定律还能走多远? (五) – 这都是为了钱

王川: 摩尔定律还能走多远? (六) – 有钱能使鬼推摩(尔定律)

王川: 用摩尔定律武装自己

王川: 为什么摩尔定律一直没死, 但人们还会继续预测摩尔定律要死

5/ 软件吞噬世界.

王川:为什么软件正在吞噬世界 (一)

王川: 下个十年, 来自软件定义世界的挑战

6/ 零边际成本

可以参见美国学者 Jeremy Rifkin 的著作 “Zero Marginal Cost Society” (零边际成本的社会). 零边际成本,和下面所说的几个概念,“可扩展性”, “回报递增”, 有着非常密切的关系。

7/ 不对称性,凸性和反脆弱

王川: 反脆弱的随想 (一)

王川:无处不在的不对称性 — 反脆弱的随想(三)

王川:论弱关系的重要性 – 反脆弱的随想 (四)

8/ 过程导向和目标导向

王川: 论”目标导向”和”过程导向”

9/ 垄断,稀缺和财富的关系

王川:做一个独特而稀缺的人

10/ 悖论和矛盾

世界上最有趣和最值得研究的东西之一,是悖论 (Paradox), 尤其是每次信心满满 all in, 然后被别人揭穿,满盘皆输那种。而且这种悖论,大部分人不会吸取教训,会非常稳定可靠的重复错误。

这种悖论,往往是短期局部观察到的趋势,和长期全局更宏大的趋势,完全相反矛盾。这时候要避免被短期趋势裹挟上当,一定要有多样化的,全局化的信息来源。

认知的复杂度提高之后,更容易灵活调整和改变自己的观点,甚至容忍两个在低维度里看似矛盾不相容的观点。在高维度的空间里,不同观点之间的迁移或自洽,需要逾越的能量壁垒并不高。

11/ 信息和能量 (世界上最重要的两件事)

人类文明和世界经济的真正大爆发,大概在 1840 年前后,主要动力是商用电报系统的推出,和铁路系统的建设铺开。这两项技术导致信息效率,能量效率,与之前相比都有几十倍以上的增长。这种效率的突飞猛进,和经济的迅速爆发,在之前的几千年人类历史上,从未有过。

用现在的各种生活习惯和理论,去理解 1840 年之前的世界,会有一种格格不入的错位感。能量和信息效率的大幅度提高,会碾压所有神机妙算,阴谋诡计和兵法韬略。

12/ 能力圈

不要因为听别的行业的人讲了一个动听的故事,就奋不顾身的把全部身家投入到自己不熟悉的领域。悲剧往往来源于对自己能力圈之外的世界的天真憧憬.

13/ 生态系统, 群体惯性

你发现自己的行业日薄西山,想要改变。但是自己的供货商,经销商,客户,员工等等都不愿配合,一起同时改变。于是阻力最小的路径,就是大家一起保持现状,混吃等死。这就是生态系统绑定后的群体惯性。

14/ 活下来就好,及时出场就好

王川:活下来就好,及时出场就好

15/ 阈值

王川:不思考临界值的决策机制是愚蠢的

16/ 自催化,正反馈循环

王川:论”正反馈循环” 和 “远离平衡态的耗散结构” (一)

王川: 再论区块链和“正反馈循环”

王川: 从组件的角度看正反馈循环和区块链产业

17/ 成功的网络机制

王川: 成功的关键 = 网络网络再网络

18/ 可选择性

关于投资: 用自己选择的方式战斗

王川: 反脆弱的随想 (二)- 机会成本和选择权

王川:从选择权看“心灵自由”和“经济自由” (一)

王川:你的选择比四年前更多了吗?

王川:再论选择权

19/ 多维度, 无限游戏

王川:从有限游戏和无限游戏看连续性

20/ 涌现

王川:论投资和涌现 (一)

王川:关于涌现的随想 (一)

21/ 幸存者偏差

幸存者偏差这个概念,很多人也许耳熟能详。但一到实践中,很容易被一些个例的成功故事搞得热血澎湃,以为自己简单模仿,同样可以成功。所以每当激动的时候,一定要提醒自己淡定,淡定,再淡定。不要被幸存者偏差忽悠而去孤注一掷。

22/ 指数增长,S 曲线

王川:论指数增长的反直觉性

23/ 数量就是质量

王川:论数量就是质量

24/ 可扩展性

王川:论“扩展性” (一)

王川:从交易的“干柴烈火度” 看扩展性和正反馈循环(二)

王川:比数字目标更重要的是扩展性和正反馈循环

25/ 遍历性,时间均值,系综均值

美国标普500指数过去二十年包含股息分红的年均回报率接近 9%, 这就是系综均值。你和隔壁邻居张三,李四,王二麻子过去二十年炒股都亏钱,这就是时间均值。

更多细节,可参见英国学者 Ole Peters 的网站,Ergodicity Economics ( 遍历性经济学)

26/ 适应性地形

王川: 适应度地形和模拟退火 – 范式转移的随想 (五)

27/ 庞氏骗局

庞氏骗局这个概念很多人应当都熟悉。庞氏骗局有个特点,就是把骗进去的人,都变成利益相关方,而绑架裹挟了。发现受骗后,正确的做法是立即切割,但这样将迅速面对短期巨大的痛苦,意志薄弱者,很难做到。而同流合污,一起帮着骗,短期还可能捞到更多好处,所以多数意志薄弱者,就会选择这条更容易的路,越陷越深。很多人本身是抱着“今朝有酒今朝醉”的想法,觉得不跟着骗捞一把就是傻*。这种事,一旦开始了,注定最后是一地鸡毛。

外人发现庞氏骗局后,如果人单式微,不要直接去公开捅破,否则里面的骗子和外面被骗的,都要跳起来和你拼命。所以也就只能看着他们自己最终集体崩溃了。

28/ 间接方法

这个概念来自英国学者李德*哈特 (1895-1970) 的同名著作 Indirect Approach。以下文字摘自他的书籍:

“战略的历史,本质上,就是’间接的方法’之演化的应用历史。

在深刻思考之后,我意识到‘间接的方法‘,有更广泛的应用,几乎在所有生活中的领域都是适用的法则:(它是)哲学的真理。

它在任何以人的因素为主导的问题里,都是成功的关键, 尤其是当大家都为自己的利益着想时,不同的愿望发生冲突。在所有这些情况里,直接把新想法强加于别人,必定激发顽强的抵触, 因此增加了改变愿景的难度。只有把一个不同理念润物细无声的渗入,或者从侧面去论证人们本能的反对意见的错误,才能更容易更快地让人们转变自己的观点。

’间接的方式‘对于政治领域,和两性关系的领域,都是有着同样根本意义的。做生意,暗示有便宜可占,比直接吆喝叫卖的威力要强大得多。在任何领域,众所周知,要让老板支持你的想法,最容易的方法就是让他认为这个想法是他的。“

29/ 计算的不可缩减性

牛顿力学,可以用简单的公式,预测天体运行的位置。但复杂系统的演变(比如金融市场),不可能靠简单的数学公式来提前计算预测。关于此概念的详细讨论,参见 Stephen Wolfram 的著作:A new kind of Science, 和 Richard Bookstaber 的著作: The End of Theory.

30/ 医不叩门,师不顺路, 不愤不启,不悱不发

如果别人没有诚心邀请你来帮助,不要主动送上门去给别人出主意,否则就是好心办坏事。这样的恶果一是讨人嫌,二是自掉身价,三是白白消耗能量。总之有百害无一利。

一个人向你轻浮的请教一个”他提问只要五秒,你回复却要至少五分钟“的问题,如果没有诚意预支咨询费,最好的应对是不理睬。如果屡次这样,可直接拉黑这种对他人劳动毫不尊重的人。

31/ 谢林点

谢林点 ( Schelling point, 有时也称 Focal Point), 此概念最初来自美国学者 Thomas Schelling ( 1921-2016). 最简单的例子是,一群陌生人如果选择在纽约碰头,一般默认的地点是 Grand Central Terminal. 如果在上海,可能会是“人民广场”。在博弈论中,这个概念有更深的内涵,和极为重要的应用。

32/ 回报递增,路径依赖

王川:随感合集 – 回报递增 /时间压力 /聪明和智慧 /认知和自信

可以参考美国学者 Brian Arthur 的著作 “Increasing return and path dependence in the economy”。

把握好回报递增的事物,获得指数增长,还有个好处,就是让以前的各种烦恼都突然变得无关紧要。

著名瑞士心理学家卡尔*荣格 ( 1875-1961)曾说:

”生活中所有最大,最重要的问题,本质都是无解的。它们永远无法被解决,只能因为人长大,长出来 (outgrow) 以后而变得无关紧要。

进一步研究后,发现这种’长出来’需要一个全新层面的意识。有些病人的视野内涌现出更高或更宽广的兴趣,而正是因为他们视野变广后,原来无解的问题突然不急了。这个问题不是按照自身的逻辑被解决,而是当面临一个新的更强大的生活的冲动时,慢慢淡化。

底层那些导致剧烈冲突和恐慌的情绪宣泄的东西,从更高层的人格角度来审视,就好像站在高高的山顶,观看山谷里的一场风暴。这并不意味着风暴不再真实,但你不再置身于中,而是置身之上。”

 

王川: 摩尔定律还能走多远? (一)

本文最初于 2016年6月10号发布于笔者的公众号。


(1)

在几周前的文章

王川: 深度学习有多深? (十七) — 衡量GPU的计算能力

里面, 我曾经提到, 理解摩尔定律未来发展的路线图, 对理解 GPU 计算能力的进步速度, 和人工智能技术的进步速度的重要性.

摩尔定律的传统定义是: 半导体芯片上的晶体管密度,平均每 18-24个月翻一番.

它最初于1965年四月被芯片公司英特尔的创始人 戈登*摩尔 (Gordon Moore) 在一篇名叫 “把更多零件塞到集成电路里” (Cramming more components into Integrated Circuit) 的论文中提出.

2013 年八月,曾就职于英特尔任总设计师的 Bob Colwell 在芝加哥的一个行业会议上宣称: 芯片行业的摩尔定律要终结了.

“从计划的时段来看,我认为 2020年可能是摩尔定律最早的终结时间. 你也许可以说服我拖到 2022年, 但不管它 (栅长, 晶体栅极的最小线宽)是到 7 纳米, 或者 5 纳米,这 (摩尔定律的终结) 是一件大事. ” ( 普通人的头发直径大约 75000 纳米)

Colwell, 不是第一个, 也不是最后一个,预测摩尔定律即将终结的人.

摩尔本人, 曾在1995年预测, 摩尔定律将于 2005年终结.

2015年, 摩尔本人, 再次预测, 摩尔定律将于 2025年终结.

最近的关于摩尔定律终结的各种预测, 最主要的理由,是到2025年之前,如果栅长缩小到只有 3纳米,其长度只相当于十个原子的大小. 在这个尺度,电子的行为方式将进入量子力学测不准原理的领域,晶体管可靠性将完全无法保证. 另外在这个尺度,晶体管的散热和芯片的生产成本控制,看起来也是无法逾越的技术挑战.

摩尔定律真的会终结吗?

如果会,是不是意味着科技发展将停滞不前,人类一起在地球上混吃等死?

如果不会,它对未来人类文明的进步,又意味着什么?

(2)

在展望未来之前,非常有必要回顾一下摩尔定律过去五十年的演变.

摩尔最初在1965年论文中提出的晶体管密度的概念,不是芯片上最多可以安放多少晶体管,而是从生产成本角度看,晶体管数目的最优值.

生产芯片时,增加晶体管数目一般会降低晶体管的单位成本.但是数目超过一个临界点,芯片生产出现瑕疵的几率增加,开始抵消密度增加的好处.集成电路的设计和生产,最终都是要寻求一个最优点.

摩尔在 1965年的预测, 是十年内,晶体管的密度,每年都会翻番.到1975年,一个芯片上的晶体管数目,将从 1965年的 64个增加到 1975年的65000 个.

后来英特尔在1975年生产的一个内存芯片 (面积为四分之一平方英寸, 折合约 161 平方毫米) 的晶体管数目达到 32000 个, 和摩尔的最初预测非常接近.

1975年摩尔在一篇论文中总结了前十年芯片密度增加的主要原因:

1.晶体管小型化

2.芯片面积增加

3. 新的设计技巧提高空间的利用率.

但是空间利用率的提高终归有限,所以摩尔在1975年修正了他的预测,把晶体管密度的增速,从每年翻番变成每两年翻一番.

以内存芯片为例, 2000 年的 DRAM, 204 平方毫米的面积上有 256,000, 000 个晶体管. 和 1975年相比, 晶体管密度 25年增加了 6300 倍. (如果按照摩尔定律两年翻一番的速度, 25年是增加 5800 倍左右, 基本上比较接近)

相应芯片的存储容量则从 0.001 Mb 增加到 256 Mb, 扩大了二十五万倍.

传统工程设计上, 往往需要权衡多种因素的利弊. 但在相当长一段时间内, 晶体管小型化在实践上不仅增加密度,而且使晶体管速度更快,能耗更低,不需要担心其它因素的限制.

平均每两年换一代的芯片生产技术,栅长缩小30% (x 0.7) ,相应的晶体管密度翻番,晶体管之间的延迟缩短30%, 导致相应的时钟频率增加40%,晶体管的电压减少30%, 单位能耗则减少50%. 由于晶体管整体数目翻番,所以整体能耗不变,但电路整体快了 40%.

但是到了本世纪初,晶体管的小型化遇到了瓶颈, 当栅长低于100纳米以后,晶体管漏电的问题变得严重,成了一个不可忽视的问题.

(未完待续)

王川: 摩尔定律还能走多远? (二)

本文最初于 2016年6月15日发布于笔者的公众号。


本文是      王川: 摩尔定律还能走多远? (一)   的续篇.

(1)

晶体管本质, 就是用”开”和”关”的状态,表示二进制里的 1 和 0.

集成电路里的所谓场效应管 (Field-Effect Transistor), 主要是三个部分: 源极 (Source), 栅极 (Gate) ,漏极 (Drain). 栅极本质上是一个电容, 对其施加电压时,栅极下面的沟道 (Channel) 联通源极和漏极,晶体管开启,代表”1″的状态. 电压取消时,电流降为零,晶体管关闭, 代表”0″的状态.

人们通常说的 CPU 的时钟频率, 就是晶体管开关的速度. 1 Ghz 就是 1秒钟内可以开关十亿次.

为什么人类的计算革命,选择了晶体管?

因为晶体管的持续小型化,使得单位生产成本的计算能力, 不断指数型的迅速增长.

与之相比,古老的算盘,算珠拨弄的速度 (类似晶体管开关的速度),和数据的容量,两千多年来没有实质的提高.

(2)

随着晶体管不断小型化,各种漏电问题成为摩尔定律发展的重大障碍.漏电意味着能量消耗的大大增加, 芯片过热甚至失效.

一类比较典型的漏电是所谓的 “栅氧化层泄露” (Gate Oxide Leakage).

传统的场效应管的栅极 (Gate) 底下是一层二氧化硅 (Silicon Oxide) 的材料, 其厚度随着晶体管小型化也相应减少 (否则会影响栅极的电容和晶体管的性能). 当栅极长度缩减到 45 纳米量级时, 二氧化硅的有效厚度只有一纳米左右, 由于量子隧穿的效应,会导致栅极的严重漏电现象.

图片

最终英特尔经过千万次实验后推出的解决方案, 是使用一种 “高介电常数” (high dielectric) 的材料, 以金属铪(Hafnium) 氧化物为基础的材料,取代二氧化硅, 其物理厚度没有减小, 但不会影响栅极的电容量.

2007年英特尔推出的 45纳米的芯片,栅极漏电比上一代技术减少了90%以上.

(3)

另一类漏电,来自所谓的”短沟道效应” (Short Channel Effect)的问题.简言之,就是晶体管栅极长度不断缩小,晶体管导电的阈值电压不断下降,零电压时的还有微弱的电流经过.

这个问题的本质, 是在栅极很短的时候,漏极本身也成了一个电容,和栅极竞争了.栅极越小,在离栅极较远的地方,源极和漏极之间的漏电无法控制. 如下图.

图片

1996 年, 当工业界还在生产250纳米的芯片时, 大众的观点是晶体管小型化到 100纳米以下几乎不可能. 但是美国国防先进研究项目总署 (DARPA)已经在思考小型化到 25 纳米时,短沟道效应导致的漏电挑战了.

加州大学伯克利分校的胡正明教授, 1997年获得 DARPA 资助, 提出了 FinFET 的设计概念. 其思路本质,是在三个侧面用栅极把晶体管包住,这样源极和漏极的任何通道,离栅极都不会太远,短沟道效应带来的漏电现象大大减弱.

这个设计,因为形状像鱼鳍 (Fin), 所以也被称为 FinFET. (FET 是”场效应管”的英文缩写)

十几年后, 在克服各种生产技术挑战后, 2011年英特尔在 22 纳米芯片中第一次使用了 FinFET 的技术. 这个技术被戈登*摩尔称为是”四十年来半导体行业中最激进的改动”.

而在我的文章

王川: 深度学习有多深? (十七) — 衡量GPU的计算能力

提到的 Nvidia 2016年最新的 GPU? 它采用的是台积电最新的16纳米的FinFET 生产技术.

(4)

如果以史为鉴,突破晶体管小型化的物理极限,并没有观察者现在那么悲观. 原来看似无法逾越的问题,换个不同的角度会有意向不到的解决方案.

摩尔定律最初说的是晶体管的密度.

密度增加, 意味着晶体管小型化, 意味着

单位成本的集成电路,
在能耗不变的情况下,
其计算能力会不断提高.

小型化只是表象,在生产成本和能耗不变的情况下,提高计算能力,才是摩尔定律的精髓. 按照这个思路, 推动摩尔定律前进的路径实际上还有很多.

(未完待续)

王川: 摩尔定律还能走多远? (三) – CPU 的内存瓶颈

本文最初于 2016年6月29日发布于笔者的公众号。


本文是    王川: 摩尔定律还能走多远? (二)   的续篇.

(1)

在 2002年之前,随着芯片密度的增加, CPU的时钟频率也一直不断增加. 对于普通消费者而言,CPU 的频率就代表计算机的快慢. 1981年最早出厂的 IBM PC, CPU 的频率是 4.77 兆赫, 相当于一秒钟四百七十七万个时钟周期. 假设 CPU 一个时钟周期可以运行一条指令, 频率越高, 就算得越快.

1995年的奔腾芯片,时钟频率达到了 100 兆赫, 是 1980年的二十倍还多.

而到了 2002年, 英特尔新型奔腾芯片时钟频率第一次突破 3000 兆赫 (3 GHz).

限制时钟频率的第一个主要物理约束条件是: 信号在晶体管之间传输的迟滞. 这也是为什么晶体管密度越大,时钟频率可以越高.

2002年之后, CPU 时钟频率增加遇到了第二个技术瓶颈: 能量消耗.

简单说, CPU的能量消耗和时钟频率的三次方近似成正比, 在 3 Ghz 之后, 频率的继续提高会使芯片过热而面临被烧毁的风险.

实际上, 2002 年之后, 英特尔CPU 的时钟频率大多一直在 2 GHz – 4 GHz 之间, 十四年来没有本质提高.

但时钟频率不再增长, 并不意味着 CPU 性能的停滞不前. 就像人类的大脑, 过去二十万年没有本质变化, 但并不意味着人类文明不会发生开天辟地的进步.

这时候,最有用的思路,是寻找新的维度,去进攻解决问题.

(2)

如果说, CPU的时钟速度好比人脑的计算速度, 那么 CPU 的内存读取速度就好比人获取信息的速度. 这是提升 CPU 性能的第一个不同的维度.

有过基本工作或者研究经验的人,都会有这样的体会:

大多数时候,限制工作效率的瓶颈是: 查资料,找东西.

找不到就只能干着急.

二十年前的科研者,查资料要去图书馆,小图书馆没有资料就要去更大的图书馆,没有计算机检索之前需要一张张翻卡片查. 查找资料的时间,动辄就是几个小时甚至更多,超过了真正研究分析的时间. 这在今天,十秒钟内就可以在互联网上,精准搜索和下载世界上大部分论文资料,完全不可同日而语.

电脑的内存架构,实际上要细分为 Register (寄存器), Cache (高速缓存), Memory(内存), Disk (硬盘). 而缓存又可以细分为一级缓存 (Level 1 Cache), 二级缓存, 三级缓存, 甚至四级缓存.

打个比方, 寄存器上的数据,好比你手中那张纸上写的信息, 信息量很少,但立等可取.

一级缓存, 好比桌面上的书, 信息量多一些, 伸一下手可以拿到;

二级缓存, 好比抽屉里的书,打开抽屉后仍然很快可以拿到;

内存, 好比书架上的书, 要站起来去查找;

硬盘, 就是图书馆的资料,需要花几个小时到外面跑一趟才可以查到了.

研究者,如果无法迅速获取需要的资料,天天要往图书馆跑,即使牛顿/爱因斯坦再世, 聪明的脑瓜也只能像高速的 CPU 一样, 无效地空转, 痛苦地在来去图书馆的道路上等待.

以 Intel 的 i7-4770 CPU 为例, 其时钟频率 3.4 GHz. 一级和二级缓存,读取数据的延迟一般在 5 – 12个时钟周期,相当于约 2-4 纳秒.如果要到内存读取数据, 迟滞则约 70 纳秒, 等价于200多个时钟周期. 如果内存找不到, 不幸地要去硬盘搜索,延迟超过 4 毫秒 (等价于四百万纳秒),再快的 CPU 时钟频率, 此时也然并卵矣.

(3)

摩尔定律的发展,对于 CPU 的时钟速度,和普通内存 (DRAM) 的读取延迟上,进步速度是不一样的.其差距每年以 50%的速度增长.

为了缓解这个矛盾,高速缓存 (Cache) 最早是以外置的形式出现在1985年的英特尔的 386的处理器上.

真正的芯片上的内置的缓存,最早是在1989年的 486处理器上出现,当时容量只有 8 KB, 到九十年代容量提高到 16 KB.

缓存容量过大,会影响搜寻速度,所以又出现了二级, 三级缓存. 这里有很多微妙的设计细节,此处不表.

缓存, 本质上就是以 SRAM (静态随机存储器)为基础的内存. 而SRAM, 本质上就是六个晶体管结构组成的逻辑单元, 如下图.

随着晶体管的小型化,芯片设计者就不断在 CPU 芯片上增加更多的内置的高速缓存.

以 2015年九月英特尔出品的 14 纳米 i7-6560U 处理器为例, 它有两个内核 (core), 每个内核有 64 KB 的一级缓存, 256 KB 的二级缓存, 并共享一个 4 MB的三级缓存.

用于缓存的晶体管占整个CPU 芯片上的晶体管的比例,也从 486时代的 40%左右,到今天许多CPU上接近 90%. (数据出处来自威斯康辛大学 Doug Burger 的论文, “Syetem-level Implication of Processor Memory Integration” )

换句话说,计算的管理,将近90%的内涵, 实际上是对内存记忆的管理.

不管在什么行业,如果做到了高效地搜寻和存储海量的数据, 你可能就已经成功了90%.

(未完待续)

王川: 摩尔定律还能走多远? (四) — 并行计算的威力

本文最初于 2016年7月14日发布于笔者的公众号。


本文是  王川: 摩尔定律还能走多远? (三) – CPU 的内存瓶颈

的续篇.

(1)

解决CPU 时钟瓶颈问题的另外一个维度,是增加系统的并行度,同时多做一些事情.

传统上,一个CPU 的芯片只有一个处理器(core, 也称内核 或 核心),当单个 CPU 的时钟速度很难再提高时,芯片设计者的另外一个思路是: 在同一个芯片上增加新的内核,让多个内核同时并行处理一些计算工作.

多核 CPU 的第一个好处是节能. 前面提到,处理器的能耗大约和时钟的频率的三次方成正比. 理论上说,如果把一个内核的时钟频率降低一半 (运算速度也降低一半),能耗就只有原来的八分之一.

如果要解决的计算任务可以很容易分成两部分,并行处理,那么一个双核的CPU可以在保持同样计算能力的情况下,通过降低内核时钟频率的办法,把整体功耗降为原来的八分之一.

当然,这只是理论上的最佳情况, 影响实际功耗的因素,比这个复杂得多.

(2)

但是 — 许多应用问题运行上有各类瓶颈,无法充分利用并行计算,尤其是普通个人电脑上的应用. 反对者常常引用的一个例子是”一个女人要九个月才可以生一个孩子,但是你无法让九个女人一个月生一个孩子”.

所有的”但是”后面,往往还有另外一个”但是”.如果目标是一个月内生出一个孩子,这个问题确实无法通过并行化加快.但是 — 如果目标是九个月内尽可能生更多的孩子,这个问题完全是可以通过九个女人并行化实现!

从一个新的角度,改变原来设定的目标,就会给现有的技术方法找到用武之地.这个原则,在设计并行计算的系统,在思考解决其它问题时,特别需要注意的一点.

如果说,普通个人电脑要关注的,是生一个孩子的问题. 那么,超级计算机,要解决的,就是在九个月内生最多数目孩子的问题.

以世界顶尖的超级计算机为例, 2000年时在世界排名第一的超级计算机,是 IBM 的ASCI White, 包含八千个内核,成本是一亿美元, 耗电三兆瓦, 计算速度为 7.2 TFLOPS (每秒万亿次浮点计算, 64位浮点数计算, 下同)

如果你还记得我的这篇文章

王川: 深度学习有多深? (十七) — 衡量GPU的计算能力

里面提到的2016年四月出品的售价十三万美元, 功耗三千瓦, 包含三万多个内核的 Nvidia 的 DGX-1 系统, 计算速度已经达到约 43 TFLOPS. (当然, CPU/GPU/不同系统的内核,性能特点不一样,有时不可简单类比,在此不赘述.)

到了 2016年, 排名世界第一的超级计算机, 是无锡的神威太湖之光, 包含一千万个内核, 成本接近三亿美元,耗电十五兆瓦,而计算速度则达到 93000 TFLOPS, 是 ASCI White 的一万三千百倍左右.

ASCI White 当年的处理器内核,时钟频率只有 375 Mhz. 而太湖之光的内核,时钟频率大约 1.45 Ghz. 内核的频率相比, 十六年增加了大约四倍.

但以内核数目来衡量的并行程度,则增加了一千两百倍.

这也是过去十几年,超级计算机,计算能力进步的最主要动力.

(3)

为什么新一代的超级计算机, 可以支持如此大型的并行计算能力? 而以前做不到?

这要归功于新一代的网络交换器 (Network switch)的数据传输速率, 让不同的内核之间, 系统节点之间, 可以迅速沟通,传输海量数据.

给神威提供交换机芯片的公司, 是总部位于硅谷和以色列的 Mellanox 公司. 神威系统的对分网络带宽高达 70 TB/秒, 这个数字是普通家庭宽带上网带宽的几百万倍.

交换器数据传输速率的进步,又要归功于摩尔定律下的晶体管的不断小型化.

(未完待续)