安痘园中药馆以chatGPT为代表,几乎所有互联网巨头都在押注这种“大语言模型”(Large Language Model)。
而无论是百度、阿里,还是微软、亚马逊,几乎所有企业想要训练这种模型的,都得找英伟达买GPU(图形处理器)。GPU也就是显卡当中最核心的部分,相当于显卡当中的“CPU”。
以百度为例,今年已经向英伟达新订购了上万块GPU,与谷歌等公司订单量相当。
显卡,这种过去中学生放暑假才最在乎的电脑配置,现在代表着人工智能时代的先进生产力。
比如现在全世界排名前500的超级计算机,有超过70%由英伟达提供算力支持。
所以全世界的显卡市场,基本上被这个华人一手拿捏——他的名字叫黄仁勋,英伟达的联合创始人兼CEO,中文世界中一般称他为“老黄”或者“黄皮衣”。
或许在很多投资人看来,一年净利润只有40多亿美元的英伟达,正在经历万亿市值泡沫。
但是当你看完老黄的故事,你会发现,他的胃口,他的野心,远远大于一个甚至几个“1万亿”。
不过他也不是那么听线岁那年,爹妈把他送到了泰国读书。8岁时,他搞来了几个打火机,把火机里的
黄仁勋10岁,他的室友17岁,不会读书,老黄教他读书,室友就开始成了罩着他的“大哥”,也就没人欺负他了。
后来他得到一份在餐馆刷盘子、摆桌子的工作,因为干得好,成了服务生,原本害羞的他从此渐渐打开了话匣子。
把生活里的事讲给儿子,黄仁勋也把生活里的事儿讲给爸妈,比如“美国的汉堡包很大,像篮球一样大”。上学时,他还发展出一项个人爱好,就是
,而且打得不赖,周末他甚至晚上就睡在乒乓球俱乐部的地板上,这样醒了就能一直打。但是13岁那年,他第一次去拉斯维加斯参加比赛,结果发现这座城市纸醉金迷,“我一晚上根本没睡觉”,所以比赛输得很惨。
工作,也就是日后英伟达最大的对手,苏妈(苏姿丰)所在的企业,据说二人还是远房亲戚。
因为他上学时,实验室里贴了一张AMD的海报,上面是一款很酷的双极微处理器(bipolar microprocessor),老黄那时候很想做东西,很想打造微型芯片和计算机,所以就去了AMD。
前同事就打电话给老黄:这地儿不错啊,我跟老板说了你的情况,他们都很想找你聊聊啊。
老黄知道这家企业,因为在学校的时候,有那种一堆企业来摆摊儿的招聘会,当时这家企业就想要他来着。
设计工具(design tools)让他变得更有生产力,而L公司要做的就是卖铲者当中的领军企业,通过设计工具,让设计芯片变得更容易。
于是在这种“自觉自愿”的认知变化发生以后,老黄加入了L公司,当时企业只有300来人,刚刚上市,市值1亿美元。
最重要的是,在L公司工作的经历彻底扭转了老黄作为一个喜欢动手的理工男的认知——
我意识到设计方法、设计工具比要设计的东西更重要,如果不是意识到这个想法,并且爱上了这个想法,不停地钻研直到成为这个领域的专家,
有一天,他的两位朋友,太阳微系统公司(Sun Microsystems)的两位工程师,克里斯·马拉科夫斯基(Chris Makowski)和柯蒂斯·普里姆(Curtis Priem),约老黄出来吃饭。
俩人在公司发展方向的内斗中失败,一门心思想离职,而他们约老黄,是想一起创业。
他们讨论的方向是:下一代计算浪潮,是更高速的计算呢,还是基于图形的计算?
吃完这顿饭以后,老黄决心跟兄弟们一起创业。而兄弟们一致推举他来当CEO。
,比如视频、图书、音乐……而老黄他们认为,3D图形这种复杂技术,未来会是一种新的讲故事的媒介,而这种媒介拥有其他媒介无法比拟的力量。
的。就像今天B站上很多顶流的科技类、军事类UP主,背后都有一个3D建模团队。
有时候啰嗦几百个字描述的复杂画面,一个3D建模几秒钟就展示清楚了,那个视觉冲击和并发的信息量是很多媒介没法比的。
吗?因为你应该用你的人生去做一些重要的事情。第三个问题就是,如果你觉得你的伙伴们是全世界最棒的一群人,你最好能确保你们做的这份事业
如果这件事你们既不热爱,又不困难,那么留着这群人在你的团队里也没有什么意义。
好的。阴影投射得能不能再柔和点?照明的动态范围能不能更大?几何图形能不能分割得更细?纹理能不能不要那么模糊?……
在一个640×480的老显示器上全屏打游戏,屏幕上有30万个像素点,按60fps的帧率,每秒要渲染1800万次,其中每个像素点又要经过栅格化、片段处理和像素处理3个步骤,那么
而当时的英特尔CPU的主频有多少呢?60MHz,也就是每秒运算6000万次。
听说他要离职,老威问他:你想创业,得有个杀手级应用(killer app)啊。
临别时老威扭过头来说:红杉资本的唐·瓦伦丁(Don Valentine,
不过在老黄创业的1993年,还没有出现一台能联网的个人电脑,更不要说玩什么3D游戏大作了。
老黄的想法是:电子游戏会成为我们的“杀手级应用”,它可以开创一个大型市场,让公司获得
,后面还有二级三级火箭等着呢。一开始,公司还不叫英伟达,而是叫本源电脑(Primal Computer)。
他们想换个名字,当时给所有文档命名为NV,是“下一代”(next version的缩写),想到了一个名字,就叫“Nvision”,但是发现已经被人注册了,是一家生产卫生纸的公司。
”这个词,意思是“羡慕”,英文这个词念出来也是“NV”(envy),所以他们去掉了“i”,就有了英伟达(nvidia)。
创业伊始,三个合伙人聚在其中一人的联排别墅里,每天大眼瞪小眼,聊天扯淡,无所事事。
老黄在读开公司方面的书的时候遇到了一个律师,帮他们成立了公司,律师说要给三个合伙人的股份定价。
的股份。老黄回到别墅里,就让另外俩人也掏给他200美元,于是他们也拿到了20%的股份。
听上去非常儿戏,但这是老黄亲口讲的(应该发生在老唐给他200万美元之前)。
但是到了3D渲染,要处理的是很多更复杂的多边形、多面体,而我们知道,任何多边形都可以分成若干个三角形。
当时的内存(DRAM)有多贵?1MB的内存要50美元,而如果想要用显卡生成一个有模有样的3D图形,得要4MB的内存,也就是200美元,还得为此做一个芯片,再叠加利润,和分销商的毛利。
而且是30年前的1000美元。这就把绝大部分消费者拦在了显卡门外。老黄就想:那我能不能不用DRAM呢?可以,去掉一个深度缓冲(Z-buffer),再把纹理内存放在系统内存(RAM)里。
/MB,原因很简单,市场经济,产能过剩了。结果英伟达搞了这个独门的不用内存的技术,没有任何吸引力了。
但是即便有世嘉这样的大公司在游戏机的应用上表示出兴趣,其他大部分PC游戏开发商却不想用这种四边形纹理映射的方式。
就像“双创”那几年,互联网小公司一个APP做好了,很快就会被腾讯阿里收购,或者腾讯阿里就会发布竞品。微软很快意识到,英伟达搞的四边形这一套是要做一个技术平台,卧榻之侧岂容他人酣睡?
纹理映射的应用程序编程接口(API),也就是后来鼎鼎大名的DirectX。
胳膊拧不过大腿。NV1迅速变得无人问津,世嘉也宣布下一代游戏机不再使用NV1,因为世嘉工程师发现对NV1进行编程太困难了。
的员工。1995年的一天晚上,公司合伙人们坐在一起,风投的资金所剩不多,怎么办?
软件跑一跑,发现芯片里有什么错误,然后再改善芯片,再跑软件,这样迭代循环,开发周期大约是
老黄就想:那如果我买一台机器,能让我在芯片流片(试生产)之前就能开发软件,不就能加快速度了吗?
老黄就找到一家要倒闭的公司,从他们手里买下了这台模拟器设备(ICOS emulator),可以在一台冰箱那么大的机器里仿真芯片设计,而这个机器从来没卖出去过1台。
英伟达自己没有工厂。那你都没钱了,人家工厂凭什么给你代工生产这款芯片呢?
后来,他们成功推出了RIVA 128这款显示芯片,这是英伟达第一款获得广泛认可的产品,到1997年出货量达到
当时微软的DirectX规定了32种混合模式,而RIVA 128只能兼容其中的8种。
,不适合大规模商用。老黄是怎么做的呢?一般人会告诉你要“倾听客户的声音”,而老黄反其道而行之,连续5年时间,他都把“眼罩”拉下来,
就要让显卡的图形性能翻一倍,这个速度是摩尔定律的3倍。1998年,英伟达与台积电签订了合作协议,由台积电为英伟达代工。
这款产品号称是“世界上第一款GPU”,因为它能让显卡真正独立于CPU完成加速图形渲染的任务,极大减轻CPU的负荷。
的诱惑,可能会吞并显卡这个东西。所谓集成,就是在半导体领域,由于摩尔定律,曾经很多这个那个芯片硬件,最后都
那么显卡,GPU会不会也有这么一天呢?英特尔就一度想要整合3D图形功能。
而老黄认为他们不会得逞,3D图形不仅仅是计算机的一项功能,它可以成就一个产业本身。
虽然改变技术路线(从四边形到三角形)以后,英伟达捡回了一条命,但是老黄对当时3D图形技术的“基础设施”感到不爽。
,老黄认为“它讲故事方面的能力相当有限”。以90年代红极一时的游戏《雷神之锤》为例,画面质量相当粗糙。
的。老黄在想:如果3D图形这种媒介要是千篇一律,不能体现出更强的表现力,我们怎么可能讲出更丰富多彩的故事呢?
那就要让这种“艺术创作形式”能根据创作者的不同,形成迥异的风格,让玩家一下子就能看出来不同游戏的开发者风格不一样。
就需要使用更多的晶体管,这样GPU就不会轻易地被CPU“吞并”或者“集成”了。老黄说:这玩意
但是可编程的着色器依然不够,如果想让镜头的效果和后期图像处理的效果更生动,就要扩大“可编程”的范围。
按老黄的话说,其中一些人费了一番周折,做了一些“算法的体操”,计算纳米分子动力学问题,计算流体动力学问题,结果发现
相继开始用GPU完成高性能计算,CUDA迄今已经被下载了4000万次。原来IBM为了模拟油气勘探,调用了
的场地,而用上GPU以后,只用了两台服务器,还有半张乒乓球桌子的空间。但在当时,华尔街投资人完全无法理解老黄为什么要搞CUDA。
,而为了推广它,产品售价还和之前一样。此后相当一段时间,英伟达的市值只维持在
直到2012年,一位深度学习的大佬把CUDA用在了AI计算当中,拿下了ImageNet图像识别大赛冠军,CUDA才扬眉吐气,逐渐得到市场认可。
因为很多显卡公司都试图超越英伟达,却很难从软件架构和开发者生态系统的角度与CUDA相抗衡。2016年,老黄把全球第一款为深度学习打造的集成系统——DGX亲手交付给了一家人工智能公司,还在这台机器上签了名。
,正是chatGPT的母公司。用上DGX以后,OpenAI原来需要1年的训练,被压缩到了1个月。
CPU在执行复杂的控制功能方面非常出色。但是当你需要处理大量数据时,它未必是最佳的选择。
摩尔定律不足以弥合人类爆发的数据处理需求与传统 CPU 能力之间日益扩大的差距。
”,可以将应用程序的数据密集型部分分出来,在单独的加速设备GPU上处理它们,同时将控制功能留在 CPU 上处理。一个清华的学生做100道口算题,速度永远拼不过
所以有了显卡这一层基础设施,今天英伟达已经把他们的GPU架构广泛运用到科学计算、人工智能、数据科学、自动驾驶、机器人、元宇宙、3D互联网应用等各个层面。
虽然这些终端市场的计算要求不尽相同,但他们通过统一的底层架构解决了这些问题,
从仓储物流到制造业工厂,从自动驾驶到机器人手术,从新冠病毒结构分析到药物研发测试,英伟达正在打造一个个巨型的
世界的问题,又可以用现实世界的元素不断夯实虚拟世界的拟真程度,从而帮助人类低成本、大规模、低风险地解决各种各样的现实问题。举个例子,比如宝马就已经用上了英伟达的工厂
工厂数字孪生模型。就是每分每秒,工厂里每台机器、物料什么情况,都能反映在数字孪生系统中,不是数据,而是一座可视化的工厂。
比方说,有两个专家在相隔万里的工厂里,他们要设计其中一个装配步骤,工人标准动作的手怎么抬,东西怎么搬,货架子应该有多高。
另外他们还用真实人类的各种动作捕捉来模拟测试各种工位的动作流程,帮助企业优化各个环节。
很多玩游戏的人都知道,现在好的显卡上面有“光线追踪”功能,开启之后画面一下子就明显提升了档次。
或者用老黄的话说,打打游戏这些信息产业都是软件“服务业”,而他还要服务人类的“重工业”体系,人类打造各类实体的大工业体系。就像宝马工厂那样,就像很多工业机器人当中应用的英伟达技术那样。
显卡,将成为人类未来智能制造工业体系当中像机床、设备、原材料、流水线一样必要的
而存在。你可能听说过IaaS(基础设施即服务)、SaaS(软件即服务)这样的名词,而英伟达在做的是——
的语言了,我们的软件工具,这个叫Omniverse的软件系统,让我们能够模拟、开发、建造、操作人类的实体工厂、实体机器人、实体固定资产,就好像它们是数字化的存在那样。”一个最震撼人心的例子就是
原本为了游戏效果、游戏画面而研究出来的游戏引擎,因为具有强大的实时渲染、3D模型处理能力,正在成为工业领域的通用研发平台,甚至
通过光刻计算库cuLitho,他们可以将计算光刻加速40倍以上,使得2纳米甚至更先进芯片的生产成为可能。
,也就是ChatGPT等AI产品背后的技术。英伟达计算1个像素的时候,AI能帮着
换句话说,英伟达的GPU,是满足ChatGPT等一系列生成式AI技术的必要基础设施。
很多人希望英伟达多搞一些民用的显卡,不要搞那么多针对企业的、数据中心的、比特币的花里胡哨的计算平台。
游戏的确是英伟达“财源广进”的聚宝盆,成了他们进军其他行业领域,研发各类型产品的重要资金来源。(直到刚刚过去的2023财年,英伟达数据中心业务营收终于
而在人工智能等相关行业中实现的研发成果,又反过来成了支持英伟达打造更强游戏显卡技术的帮手。
(显卡)和它服务的对象(比如制造业、人工智能行业)之间形成了闭环;它服务的
(游戏)和它想要去服务的其他行业之间又形成了闭环。那个从AMD离职的老黄或许想到了,又或许没想到:
,改善自己,迭代自己,击穿信息世界与物质世界的壁垒,利用信息世界的“新工具”不断丰富、完善物质世界,又用物质世界源源不断地为信息世界打造更强的“新工具”。如果说机床是“工业母机”,是造机器的机器。
”,它用更高水平的计算过程,生成了更优质的可视化计算结果,最终从硬件(工业)和软件(人工智能)两个维度不断提升着计算工具自身的软硬件实力。如果说你的家人、朋友,还在用“打游戏玩物丧志”的角度去理解显卡的重要性,那么请他们从今天开始,重新认识一下显卡。
我几乎都不用修改我的幻灯片。”世人看到的是一个股价暴涨的万亿帝国,而老黄的耐心超过了所有人:
|