几天后。

鸿记蓝总亲自来了,和大飞汪总带着自己的技术人员,一同抵达了实验室,径直去了会议室。

齐教授有些惊讶,因为他让人打电话时,只是含糊地说明情况,说漆昊在底层加速算法上有了非常有价值的突破。

他本以为蓝总和汪总会派个技术总监来,没想到竟然是两位大佬亲自来了。

“哎哟,两位老总你们大驾光临了!”

“齐教授,我们听说是漆吴取得了突破,而且您用非常有价值来形容,这说明事情已经超出了普通成果的范畴。

“毕竟一般小的改进,齐教授也不会这么说,所以我判断,这次值得亲自来一趟。”

齐教授笑着说道:“果然瞒不过蓝总和汪总的敏锐,漆昊确实给我们带来了惊喜。”

然后他把学生通宵了几晚上赶出来的PPT投影出来,开始讲了起来。

当齐教授开始展示漆吴跑出的那组训练数据时,在座的人都异常认真。

“这不可能!”一位曾是硅谷高级工程师,做了三年分布式训练框架的老高脱口而出。

“齐教授,这数据是不是有点太乐观了?”老高皱着眉头,直言不讳。

“我们公司也一直在尝试用GPU加速训练,尤其是那些包含大量卷积、池化、Relu、LRN等算子的复杂网络,即使是用顶级的GPU,加上我们多年的优化经验,对于这种规模和复杂度的真实场景数据,也很难达到这个训练时

间,而且,您刚才说,漆昊是一个人完成的?”

他可是知道,这其中涉及到的,可不仅仅是调用现成的库,而是要自己手写GPU核函数,涉及到卷积、池化、Relu、LRN、梯度反向传播等核心算子,光是这些优化就可能需要写几千行的CUDA代码。

大飞的老金接道:“我听说不管是国内还是国外学术圈子,有时候会美化数据,就跟古代的秦桧一样,用一些莫名其妙的理由去掉对实验结果不利的数据,实验数据是任人打扮的小姑娘,谁来添一笔都有可能,我们现在很难

判断,这些数据的真实性到底有多少。”

他看向漆昊:“漆昊在数学领域很优秀,我们都知道,但他在机器学习,尤其是在底层GPU并行计算的经验,应该有限,这方面的突破,说实话,即使是大公司,也需要一个专业团队耗费数月或者数年去攻关。”

齐教授不满,他耐着性子解释道:“陈工和曾工是亲眼见证了整个过程的,他们当时看到漆吴跑出的数据,也觉得不可思议,跟我汇报时,我最初也以为是数据出了问题,所以当众跑了第二次数据。

“是的,我们当时亲眼见到的!”陈工接道。

老高不置可否,只是说:“我们这些做工程的,哪知道这数据是不是通过其他方式呈现出来的,总不能就因为你们的说法,就觉得是真的吧?”

“而且,现在神经网络是个相对冷门的领域,要做突破太难了,我们之前也尝试过各种方法,效果都不理想。”

“在没有看到实现细节之前,我个人对此数据持保留意见,学术圈子数据出问题的情况,虽然不常见,但并非没有,为了严谨起见,我们有必要......”

“用你们带来的数据当场跑。”漆昊坦然说道。

齐教授等人都愣住了。

“漆昊,这样不好吧?”老高懵了,他带的测试数据集其实是公司内部高度保密的结构极其复杂的业务真实数据,里面有各种多通道特征交错的极端case,甚至还有不少故意设计用来测试框架极限的脏数据,他没想到漆昊竟

然答应得如此干脆。

漆昊坦然说:“跑个新数据而已,又不会泄露你们的业务机密,况且这套东西如果以后要面世,为了打开市场,我肯定得经受得住各种第三方真实数据的检验,不能圈地自嗨。”

老高和老金对视一眼,他们本以为漆吴会因为他们的质疑而心生不满,没想到漆昊竟然如此爽快,甚至直接同意用他们带来的测试集。

“漆昊,你是认为神经网络领域很快会复苏,所以连这种极限测试都不避讳?”

“这个嘛,等会儿数据跑起来你们就知道了,神经网络其实没有你们想象中那么慢,找到正确的路了,这个领域很快就能起来。

“你的模型是基于多层感知机MLP?"

“不,是基于卷积神经网络架构的范式。”

在场人一脸复杂。

神经网络最致命的是,训练起来比老牛拉破车还慢,目前找不到商用价值,学术界甚至把Hinton那一派坚持研究神经网络的人,戏称为抱残守缺的遗老。

这就是神经网络领域的现状。

不知道漆吴为什么如此有信心,还用的是卷积神经网络这种快被淘汰的架构。

齐教授看见蓝总和汪总都没出声,知道当场跑新数据,用事实说话才是最硬的道理。

现在大家都关心的是,漆吴是否真的能够让神经网络领域起死回生。

接下来,漆吴把他们带去了实验室,就在所有人瞩目下,老高从随身携带的加密硬盘里,拷出了他们公司那套最让人头疼的测试数据集。

漆昊操作了一下,然后启动任务!

老高和老金开始目不转睛地盯着屏幕上的监控面板。

跑新数据是个技术活,尤其是要实时监控各项指标,蓝总和汪总等大佬长期没有干过一线的活儿,根本撑不了那么长的时间,所以齐教授请他们去休息了,只留下漆吴和老高等技术人员。

起初,老高和老金一边盯着屏幕上飞速滚动的日志,一边探讨,时不时在笔记本上记录几笔。

然而,随着训练的推进,他们的声音渐渐小了下去。

他们通过系统内置的性能分析工具清晰地看到,即使面对他们带来的多通道,高交错的极端数据,系统依然在巧妙地利用CUDA的异步流和双缓冲,将数据传输与GPU计算完美地并行化,有效隐藏了内存带宽的瓶颈。

看着那高高拉起,几乎在98%以上的GPU利用率曲线,两人的眼珠子都快突出来了。

“这不可能啊。”老高喃喃自语,他盯着那一路狂飆的硬件吞吐量和迅速下降的LOSS曲线。

这绝对不是一个刚接触神经网络的数学系学生能调校出来的性能表现!

“漆吴同学,这真的是你一个人调出来的系统?”老金吸了一口气,忍不住问道。

他们本以为会在高压测试下看到系统崩溃,显存溢出或者速度暴跌,结果却看了一场堪比工业界顶级优化水平的高性能运行秀。

“漆吴同学,你做这套优化和框架,大概花了多久?”老高的声音有些干涩。

“一晚上吧。”漆吴平静地回答。

“一晚上?”老高和老金几乎要呼吸不过来了,他们公司花了半年时间,请了多少顶尖工程师,都没有跑出类似程度的吞吐量,漆昊一晚上搞定了核心优化。

老高想到了自己公司里那一支由海归博士,行业大牛组成,拿着百万年薪,享用着进口咖啡豆和人体工学椅的专家们。

那帮人摸鱼,扯皮,开会,写PPT,折腾了整整半年,每次周报写得花里胡哨,最后交上来的优化方案,哪比得上漆吴这跑出来的恐怖性能?

他终于明白那句人和天才的差距,比人和狗差距还大的意思了。

当然,他认为他们公司那群是狗,他还是保留了人籍的。

“漆昊,你这系统的性能和稳定性,真的没有什么可挑剔的,难以想象,你居然不是计算机专业的学生,我都怀疑,你有在英伟达待过了。”

“我还没有出过国。”

老高和老金一时气闷,他们和漆昊差距有这么大吗?

此时,夜色已经深了。

他们尴尬地揉了揉发酸的眼睛,彼此对视了一眼,站了起来。

老高干笑了一声,合上笔记本,委婉地说道:“漆昊啊,既然这新数据也顺利跑通了,性能甚至比你之前PPT里写的还要好,真相也算是水落石出了,再继续往下跑更极端的测试,实在有些耽误你时间,不得不说,你这水

平,真是让我们这群老家伙觉得有些惭愧了,确实没必要再测下去了。”

一旁的陈工和曾工松了一口气,心想可算把这两人送走了。

然而,漆昊说:“高工,金工,你们今天不把这个数据集从头到尾完整跑完,蓝总或者汪总可能不放心。

老高一愣:“什么意思?”

“高工,现在神经网络领域确实冷门,特别是卷积神经网络,没什么前景,大家心里有疑问,很正常。”

“可要是你们只跑了20%的进度,回了酒店,蓝总和汪总一问起来,你们要是只能笼统回答跑了个开头,那两位老总心里能踏实?到时候万一哪天在其他数据集上测试又出了点波动,问题还是又会回到我这里。”

老高一愣,马上说:“这不太好,全部跑完太折腾了,而且可能要耗费你不少设备资源,我们担不起这个责任。’

漆吴一本正经地反问:“不会吧,我们这速度,跑完你们带的全部数据,也用不了多少时间吧?”

老高和老金郁闷。

总觉得自己被骂了,但又找不到证据。

更关键的是,他们带的可是自以为体量极大,结构极复杂的巨量数据集,结果在漆吴这套系统面前,居然被形容成用不了多少时间?

漆吴继续说了:“我既然敢把系统毫无保留地敞开让你们测试,就不怕你们用极端的数据来压测,这套针对Fermi架构底层优化的运算体系,真要是能被几个多通道特征交错的数据集给压垮,那也说明它不值钱。”

“大家都觉得,神经网络已经是一个半死不活的死胡同了,你们现在详细验证下也好。”

“所以,为了节约大家的时间,咱们今晚就一次性搞定。”漆昊拉过一张椅子坐下,“两位要是现在不测试完,不仅你们回去没法向蓝总,汪总交代,我这心里也觉得不放心,今晚我也陪你们通宵,咱们一个Epoch接一个Epoc

h,把所有收敛曲线和精度指标全部跑一遍,这样你们也能提前拿到一手的实测数据。”

“这样的话,我想大家都能放心一点,我也好借此机会,看看你们的数据集,结果会如何。”

老高和老金两人直接懵了,他们万万没想到这个年轻的数学天才做事竟然如此认真。

他是一门心思想救这个领域吗?

老高两人也确实担心回去后无法向两位老板交差。

既然漆吴连这层窗户纸都捅破了,错过了这次近距离见证奇迹,拿到第一手极限测试数据的机会,他们以后估计也会后悔。

“那我们就再测细致一点?多试几组超参数组合?”老高道。

“那就继续跑!”老金一咬牙,眼睛盯着屏幕,那股技术人员的钻研劲头也被激起来了。

很快他们就意识到了不对劲的地方。

通常在单卡或者多卡并行时,由于网络深度增加,双精度浮点数的计算会极大地拖累速度,但漆昊居然把所有的核心算子全部换成了单精度,甚至在部分前向传播中尝试了半精度混合计算,同时通过一种因子,规避了可能出

现的梯度爆炸的问题,这思路,感觉只有数学人才能想出来。

嘶,恐怖如斯!

“漆同学,”过了一会儿,老高终于忍不住开口,语气里少了几分先前的居高临下。

“你刚才提到卷积神经网络架构,实不相瞒,我们公司在工业界做图像和特定模式识别,目前最依赖的依然是支持向量机配合手工特征工程,虽然提取特征极度繁琐,但至少结果是可控的,你为什么就这么笃定,卷积网络未

来一定能超越現有的手工特征范式?”

漆吴停下手里的键盘,抬起头笑了笑:“因为手工特征是有限的,人脑设计的规则再精细,对于抽象事物的边界它能做什么?而卷积神经网络的本质,是让机器通过梯度下降,自己在海量数据中学习并拟合出最适合当前任务

的特征表达,只要算力足够,数据量够大,它的天花板就是无限的。”

“所以啊,你们得多跑跑数据,才能理解我这模型。”

老高张张嘴,可看着漆吴那气定神闲的模样,硬是没插上话。

漆昊心想,我第一个完整的作品,肯定得有人欣赏啊。

就跟钓鱼钓了一条大鱼一样,不拉着人围观,谁知道他钓大鱼?

更何况,他是真的希望神经网络领域能够得到发展。

有蓝总和汪总两尊大佛在,他猜老高和老金回去后给出的评测报告,将直接决定两家大厂对这个领域的投入力度。

他这几天睡眠充足得不得了,今晚就打算守着这两人干活,趁着这个时间,他可以处理一些另外的事。

他刚拉开键盘,系统的声音出现了!

【亲爱的达瓦里氏,恭喜完成任务!】

【任务完成标准:完成一项核心技术的优化。】

【任务评级:A+】

【正在为您发送任务奖励......】

【1.学科经验值结算:数学经验值+500,计算机科学经验值+2000。】

【2.随机宝箱*2。】

【3.体质提升奖品:西伯利亚森林复苏合剂(可有效缓解视疲劳,神经衰弱,深度改善熬夜机体损伤)。】

【4.600积分。】

【5.由于评级达到A+,额外开启一项专属进阶任务!】

【备注:达瓦里氏,干得漂亮!用纯粹的数理逻辑,去冲破西方在硅晶片上设置的枷锁,这正是并行计算的浪漫所在!请继续保持你勇敢无畏的脚步,去用知识武装你的大脑!】

漆吴立刻打开了个人面板。

【姓名:漆昊】

【学术等级:Yp.1(普通人)】

【必须要学会的学科,学废了那是你的问题组:】

数学:Yp.2(6500 7000/10000)

信息学/计算机学:Yp.2 (450→2450/10000)

【系统评语】:进步速度不错,不要偷懒,乌拉!

【不遵守就会被物理消灭学科组:】

物理:yp.1(110/500)

生化学:Yp.1(80/500)

材料学:Yp.1 (70/500)

工程学:Yp.1(80/500)

【注:当基础科学和工程技术达到一定积累后,可开启系统工程学领域探索。】

能源学:Yp.1 (60/500)

【和人交流最基本的工具组:】

语言学:中文yp.2 (820/10000) 俄语yp.2 (510/10000) 英语yp.1 (320/500)】

【系统评语】:终于摆脱文盲的境界了。

【当前积分:1000】

【物品栏:随机宝箱×2,西伯利亚森林复苏合剂。】

漆吴心中暗爽,没想到这一次数学和计算机学科涨幅都不错,特别是计算机学科居然能涨2000经验值!

他之前观察过,计算机学科光靠看书经验值涨的并不会太多,现在根据经验值来推断,这一门学科真的需要自己写代码才行。

多亏了这2000经验值,计算机科学这一门也终于升级了!

系统果然是公平的,代码写得猛,数学经验也跟着顺理成章地蹭了500点!

现在他距离数学学科升到三级(Yp.3)只剩下最后的3000点经验了。

漆昊压制住心情投向了那两个悬浮着的虚拟宝箱。

“先开白色的吧。”漆吴心中暗念。

【白色宝箱已开启,获得:学霸专用脑力补充剂(无副作用,可增强短期记忆力与逻辑推演速度)。】

漆昊看到这个突然有点怀念起涅瓦健脑丸了,虽然那玩意副作用大,但效果惊人啊!

算了,聊胜于无。

接下来,他立刻开了紫箱子!

“开。”

【紫色宝箱已开启,恭喜达瓦里氏,您获得了高价值数理产物:《全局随机均衡偏差捕获程序》(原型模组)。】

漆昊的视线迅速下移,落在了那行详尽的物品描述上:

【当前状态:由于经费不足,该系统未能在其超级计算机上完全开发完成,当前仅留存核心数理逻辑原型......】