李东一边和他们握手，一边在心里舒了口气。

正主，来了。

虽然昨天展厅里聊过的那些人，水平也不低。

可说到底，那些都是二线。

而真正决定这一行天花板的东西，万卡集群的容错和拓扑怎么搭，千亿数据的清洗管线怎么通，几千万刀的pre-training怎么做到一次不崩盘，这些，都只存于少数人的脑子里，比如……

眼前这三位。

李东要自建大模型，主攻ai for math，这些学费迟早是要交的。

如今教材自己坐着私人飞机送上了门。

所以李东望着这三张憔悴又亢奋的脸，笑得格外和蔼。

很快，单间里多余的随行人员都退了出去，门也合上了。

屋里只剩下八个人。

三位巨头，三位首席科学家，李东。

以及，彼得·诺维格。

诺维格坐在最靠窗的位置，手里端着一杯红茶，从头到尾没怎么出声。

他是戴维·朗亲自邀请过来的。

在外人看来，诺维格早就退出一线了，这几年扑在教育上，带带学生，写写教材俨然半个养老的状态。

可他在最底层那些事情上，根基究竟扎得有多深，凯利不清楚，哈特也不清楚。

全世界，恐怕只有戴维·朗一个人，心里有数。

随着最后一位随行人员退了出去，休息室里却陷入安静。

没人先开口，直到一分钟过后，雅各布带着点疲惫的开口了。

不过他问的，全是绕着降维算法原始论文打转的东西，loss面的收敛半径、泛化误差上界、离散网格的采样密度。

没一句是干货。

李东听了几分钟，大概就明白这到底是怎么回事了。

这三家，平日里你抢我的人我挖你的墙角。

谁家的预训练在哪儿卡了壳，那都是压箱底的机密，当着两家死对头的面，谁会真的掏底呀？

按照这个聊法，聊到大会闭幕，也聊不进正题。

于是李东放下茶杯，笑眯眯地打断了雅各布。

“雅各布博士，你问的这些，你们组自己挂出来的技术报告里，就有答案。”

“咱们立个规矩吧。”李东笑着看向了休息室里的众人，“今天在这间屋子里，不管谁提的问题，我的回答，三家一起听。”

“所以……藏着掖着的最吃亏。”

三位首席科学家面面相觑。

几秒钟后，也不知道是谁先把心一横。

反正答案大家都听得见，那还客气什么？

多问的，才是赚的。

“李东教授。”

还是雅各布先开口。

“那我换个问法。”

“千亿级参数的loss曲面，强上全量hessian矩阵纯属做梦，二阶的预条件子连显存都塞不进，只能退化到一阶的adam系硬磨。”

“如果先用您那套算法重排，把参数空间正交化到近似对角阵……”

“预条件子，是不是就能直接降维成逐元素的标量缩放？”
本章未完，请翻下一页继续阅读.........