第二百八十七章 视界技能，初试身手 (第2/2页)

六百多？
　　
　　他低头看了一下时间，还不到六点。
　　
　　也就是说，不到一个小时，他已经把可能要耗费大型工程团队几个月时间的工作做完了，同时消耗掉六百多点精力。
　　
　　这么看来，今晚没办法继续肝了；但在视界如此给力的情况下，只要规划好精力分配，一个月内把所有算子适配都做完完全可行。
　　
　　韩路一满意地点了点头，手动在电脑上敲上提交命令。
　　
　　gitadd.&&gitcommit-m"FusedAttentionBackwardadaptercompleted"&&gitpush
　　
　　回车。
　　
　　下班。
　　
　　……
　　
　　在韩路一下楼离开办公室的同时，十三楼的人工智能基础设施组还有不少人在加班。
　　
　　江松然今天开组会时已把接下来的计划传达过了：全力做L100的推理适配。
　　
　　全组压力都很大。
　　
　　给国产卡做算子适配，这在全国乃至全世界都是最前沿的工作。
　　
　　这种工作最不敢保证交付时间：都是没人做过的东西，你根本没办法预测会在什么地方冒出个填不平的大坑。
　　
　　但江松然说话的语气很笃定。虽然没说明确时间线，大家都感觉到了他的决心。
　　
　　任务分配到人，每个人负责几个算子，按优先级从高到低做；只要求功能实现，先不做性能调优，做完就提交评审，然后再做下一个。
　　
　　工作量很大，所以不少人都自愿留下来加班。
　　
　　范小天是其中一个。
　　
　　源智基础设施团队的高级工程师，薪水拿得不低，但他不是为了钱来的。
　　
　　他不一样，他是为了理想。
　　
　　毕竟，一个人如果靠英伟达的股票已经实现了财务自由，接下来的工作不去追求理想，又去追求什么呢？
　　
　　当然，范小天一般不会把这句话说出来。
　　
　　因为听起来太欠揍了。
　　
　　但他确实是组里最资深、最有话语权的人之一。
　　
　　原因很简单：他以前在英伟达做的就是类似工作——给大模型训练框架里的内核（Kernal）做适配，做性能分析（Profiling）工具。
　　
　　可也正因为这份履历，他对公司现在的方向不太看好。
　　
　　太急功近利了。
　　
　　太想毕其功于一役了。
　　
　　在硬件上做适配、做调优，和做互联网不一样。
　　
　　这里需要的不是什么快速迭代、小步快跑；这是一件必须沉下心，慢慢扣、慢慢做的事。
　　
　　心急吃不了热豆腐。
　　
　　干起活来很痛苦，这很正常。
　　
　　今天拿起分析工具一跑，运算效率又波动了，为什么？
　　
　　不知道。可能是显存访问模式不一样了，可能是寄存器压力不一样了，也可能是编译器展开方式不一样了。
　　
　　想知道为什么，只能一个一个试过去。
　　
　　拿着分析数据一点点猜。
　　
　　所以江松然把训练算子适配的任务压下来时，范小天很不舒服。
　　
　　但他也能猜到原因。
　　
　　一定是大老板给的压力太大，把江松然的进度压变形了。
　　
　　毕竟这么不切实际的任务，不像一个在行业里干了十几年的老兵能派出来的。
　　
　　大老板可能是不懂，也可能是有投资人那边的压力，还可能是模型做得太好、心态飘了。
　　
　　反正不管怎样，范小天已经在心里给源智调低了评分。
　　
　　理想终究是错付了。
　　
　　摇了摇头，把这些杂念赶出大脑，他在公司提供的链接下单了晚餐外卖，然后开了一听可乐。
　　
　　哪怕老板再傻逼，活还是要干，毕竟他拿的薪水也不低。
　　
　　范小天面前的屏幕上，开着江松然共享的算子适配列表。
　　
　　作为团队里最资深、最有经验的几名工程师之一，他分配到的几个算子都挺有难度，还全是红色的。
　　
　　其中最难的就是FusedAttentionBackward【注意力融合反向算子】。
　　
　　范小天看着这个名字，揉了揉太阳穴，叹了口气。
　　
　　这玩意儿太难啃了。
　　
　　范小天以前在英伟达时，类似的融合反向算子也不是普通工程师能随便碰的。
　　
　　这里面的步骤太多了：Attention反向、Softmax数值稳定、共享内存布局、寄存器生命周期、Warp内通信、多级Tiling，还有训练框架调度。
　　
　　这里面哪一样单独拿出来，都够一个新人研究几个月。
　　
　　把它们融合在一起，要保证所有算子都能在内核上运行无误，还要保证效率，还要确保内存不溢出，这简直是地狱级难度。
　　
　　在硬件调优的所有工作里，这也算得上皇冠上的明珠。
　　
　　说实话，这种活范小天以前是轮不上做的。
　　
　　也就是来了源智，矮子里面拔将军，只能让他顶上。
　　
　　至于做到和英伟达一样的效率，他想也没想，做不到。
　　
　　大概估算一下排期，如果给他几个熟手一起加班加点干，可能几周时间能把正确性跑通。
　　
　　至于性能优化，没几个月干不下来；干完之后能到英伟达基准的百分之八十，就够他出去和前同事吹牛了。
　　
　　就这，还得看L100的编译器配不配合。
　　
　　开始工作前先上炷香，看能不能让机魂大悦。
　　
　　硬件做得久了，人都变迷信了。
　　
　　范小天没打算做【注意力融合反向算子】，他准备把难啃的骨头留到最后——有可能做着做着，大家发现实在做不出来，这块骨头就不用啃了。
　　
　　他在关闭浏览器前又瞥了一眼。
　　
　　然后关掉了浏览器。
　　
　　范小天站起来，准备去取外卖。
　　
　　突然，他整个人一愣。
　　
　　刚才那个页面，我是不是看见什么了？
　　
　　什么呢？
　　
　　范小天心神不宁地往前走了两步，又退了回来。
　　
　　虽然可能是看错了，但要是不确定一下，总觉得心里不舒服。
　　
　　他鬼使神差地又打开刚才关掉的页面，发现真有东西。
　　
　　【注意力融合反向算子】的代码库有个新提交。
　　
　　“FusedAttentionBackwardadaptercompleted”。
　　
　　做完了？谁这么大口气啊？
　　
　　范小天点开看了看提交者的用户名。
　　
　　[email protected]。范小天仔细想了想，想不起这是谁的用户名。
　　
　　公司分配的邮箱都按名字来，像他的用户名就是[email protected]。
　　
　　怎么还有人可以给自己起名？
　　
　　这谁啊？
　　
　　范小天抬起头环顾一圈，想看看是不是哪个同事在搞恶作剧，但感觉没人在注意这边。
　　
　　他又低下头，打开提交的代码。
　　
　　代码量并不大。
　　
　　可他看着看着，就瞪大了眼睛。