首页 玄幻 武侠 都市 历史 科幻 灵异 游戏 书库 排行 完本 用户中心 作者专区
小米阅读 > 都市 > 软件教父:从大学社团开始制霸 > 第317章 京城会谈(2)

会议室里,林星石的手指轻轻划过那张tpU架构图,仿佛在抚摸一件精致的艺术品。但他接下来的话,却像是一盆冷水,浇在了刚被杰夫·迪恩点燃的热情上。

“杰夫,这是减法的艺术,非常精彩。”林星石抬起头,目光清澈,“但它只是推理的利器,却不是训练的神器。”

杰夫·迪恩愣了一下,随即眉头微皱:“林,你应该知道,目前的深度学习,推理的需求量远大于训练。而且,只要集群规模足够大,用它来做训练也不是不可能。”

“效率,杰夫。我们谈论的是效率。”林星石站起身,走到白板前,拿起一支记号笔,“tpU v1为了追求极致的能效比,采用了8位整数运算(INt8)。这对推理来说足够了,但对于训练……我们需要浮点数,需要梯度下降时的精度。”

他在白板上写下了一个词:Fp32。

“传统的单精度浮点数(Fp32)太占内存和带宽。”林星石接着在旁边写下了一个新的概念,“如果我们要设计一款专门用于训练的芯片,我们需要一种新的精度格式。”

笔尖在白板上划过,留下了几个字符:bfloat16。

“截断浮点数。”林星石解释道,“保留Fp32的指数位,牺牲小数位。这样我们既能保持足够的动态范围来防止梯度消失或爆炸,又能将内存占用和带宽需求减少一半。”

会议室里一片死寂。

在座的都是谷歌最顶尖的硬件工程师和系统架构师,他们的大脑在飞速运转,消化着林星石抛出的这个概念。

仅仅几秒钟后,杰夫·迪恩猛地站了起来,死死盯着白板上的那个“bfloat16”,眼神中充满了不可思议的震惊。作为一个在底层代码和硬件指令集里摸爬滚打多年的大神,他瞬间就意识到了这个改动的精妙之处。

它不需要复杂的硬件逻辑去处理双精度或单精度浮点数,却完美契合了深度学习训练对精度的特殊需求——只要范围够大,精度哪怕差一点点,神经网络的鲁棒性也能自我修正。

“天才的想法……”杰夫·迪恩喃喃自语,“为什么我们之前没想到?”

“还没完。”林星石笑了笑,继续在白板上画图,“解决了计算单元的问题,接下来是内存墙。传统的ddR内存带宽已经跟不上AI芯片的吞吐量了。我们需要hbm(高带宽内存),把内存直接堆叠在芯片旁边。”

“还有互联。”他又画了几条线,连接起多个芯片,“单卡的算力终究有限。未来的AI训练,必然是成千上万张卡协同工作。我们需要一种超高速的芯片间互联协议,绕过cpU和pcIe的瓶颈,让显存池化。”

随着林星石的讲述,原本只是因为商业利益而坐在这里的谷歌工程师们,此刻看他的眼神已经完全变了。那不仅仅是对合作伙伴的尊重,更像是在看一个来自未来的先知。

拉里·佩奇和谢尔盖·布林对视了一眼,都看到了对方眼中的震撼。他们原本以为是用现在的技术换取未来的软件,没想到林星石反手就给他们上了一堂未来硬件架构的课。

“林,我现在相信你是真的在造AI芯片了。”佩奇苦笑着摇了摇头,“而且你的野心比我们想象的还要大。”

“所以,这个交易还做吗?”林星石放下笔,回到了座位上。

“做!当然做!”佩奇毫不犹豫地回答,“tpU v1的数据和专利,换Gpt的源码。另外,关于你刚才提到的那些硬件设想……我们希望能建立一个联合实验室。”

“联合实验室就不必了。”林星石婉拒道,“星火有自己的硬件节奏。不过,除了tpU,我还有一个要求。”

“请说。”

“数据。”林星石吐出了两个字,“我要谷歌搜索索引中清洗过的高质量文本数据集,以及Youtube上的视频字幕数据。”

在这个大数据还未被完全重视的年代,数据的价值往往被低估。但在林星石眼中,这些才是谷歌最宝贵的财富。算法可以复现,算力可以堆砌,唯独高质量的数据,是需要时间沉淀的壁垒。

佩奇沉吟了片刻。虽然数据很宝贵,但相比于迫在眉睫的AI威胁,这似乎是可以接受的代价。

“可以。”佩奇点了点头,“但仅限于公开抓取的数据。”

“成交。”

就在双方准备草签协议的时候,佩奇突然像是想起了什么,看似随意地提了一句:“林,我知道星火对人才流动持非常开放的态度。既然我们要深入合作,谷歌想在星火内部开一场招聘会,招募一些AI方向的工程师。你知道的,我们现在很缺人。”

这是一个有些冒犯的请求,甚至可以说是当面挖墙脚。

但林星石的反应却出乎意料的平静:“没问题。只要员工愿意,星火绝不阻拦。”

佩奇愣了一下,显然没想到林星石会答应得这么痛快。

坐在一旁的李明却在心里乐开了花。

外人看星火,是人才济济;但在星火内部,却是“人才拥堵”。得益于林星石的超前培养体系和各个高校的联合实验室,星火这几年积攒了大量的初中级AI人才。

然而,公司的核心项目坑位有限,很多优秀的年轻人因为没有带队的机会,只能在基础岗位上打磨。这不仅是资源的浪费,时间久了也会造成内部的内卷和不满。

让谷歌挖走一批,不仅解决了部分人的晋升瓶颈,还能赚一笔不菲的“转会费”。按照竞业协议,谷歌每挖走一个人,都要支付星火一笔高昂的培养补偿金。

拿着谷歌给的高薪,赚着美国人的钱,还能把星火的技术理念散播出去,这简直是一举多得的好事。

“林,你的胸怀让人佩服。”佩奇由衷地感叹道。

“技术是流动的,人才也是。”林星石意味深长地说道,“星火从来不靠捆绑留人,我们靠的是一直在创造未来。”

经过一下午的细节磋商,双方终于在备忘录上签下了名字。

这不仅是一份商业合同,更是中美两大科技巨头在AI时代的第一次握手。虽然未来注定是竞争对手,但在这一刻,他们都为了那个即将到来的人工智能时代,选择了互相借力。

“下个月,我想带团队去南都看看。”临别时,佩奇发出了请求,“我想看看孕育出Gpt的地方,同时亲自主持那场招聘会。”

“随时欢迎。”林星石握住了佩奇的手,“南都的冬天虽然湿冷,但星火的热情足以驱散寒意。”

走出谷歌大楼时,天色已晚。京城的路灯在寒风中闪烁。

“星石,你刚才那几笔画得太帅了。”李明搓着手,哈着白气,“你看杰夫·迪恩那表情,简直像是看见了上帝。”

“不是上帝,是物理规律。”林星石裹紧了大衣,“他们迟早也会想到的,我只是帮他们把进度条拉快了一点。”

“那我们是不是亏了?”

“亏?”林星石看着远处的车流,嘴角微微上扬,“有了谷歌的数据,Gpt-2的训练时间可以缩短三分之一。有了tpU的参考,我们的NpU能少走两年弯路。在这个赛道上,时间就是一切。”

目录
设置
设置
阅读主题
字体风格
雅黑 宋体 楷书 卡通
字体风格
适中 偏大 超大
保存设置
恢复默认
手机
手机阅读
扫码获取链接,使用浏览器打开
书架同步,随时随地,手机阅读
收藏
换源
听书
听书
发声
男声 女生 逍遥 软萌
语速
适中 超快
音量
适中
开始播放
推荐
反馈
章节报错
当前章节
报错内容
提交
加入收藏 < 上一章 章节列表 下一章 > 错误举报