笔趣阁

繁体 | 简体
笔趣阁 > 我的学习群里全是真大佬 > 第411章 李东教授,真坑人

第411章 李东教授,真坑人(2/3)

tpu平台的负责人说道。

“离线估基检索长度超过三十万词,召回当场就崩盘了。”

“在线估基,每条输入单独跑一遍特征分解,开销是它省下来的缓存的四倍。”

“我们等於花钱,买了个更慢的东西。”

“那就端对端,让模型自己学这组基。”

角落里,deepmind那位年轻研究员开口了。

“训练过了。”

马库斯终於出声。

他面前放着一个本子,正是当初在首尔和李东交流时候记下的思路。

“对特征向量求导,梯度里天然带着特征值间隙的倒数,谱一简合并这个倒数就炸。”

“两万张卡,跑到第六天,损失曲线抽搐了一整晚,天亮的时候,变成一排nan。”

“我们重启了三次,三次死在同一个位置。”

年轻研究员张了张嘴,没再出声。

“跨洋异步那条线呢?”有人问。

“停了。”马库斯翻过一页,“漂移补偿需要沿途的曲率,这一项我们给不出来,跑到第四天的时候损失曲线一切正常,下游评测全线归零。”

“还有缩放律。”预训练总监翻着手里的报表,声音发苦道,“代理模型那组曲线,小规模上确实塌缩成一条母线,漂亮得能进教科书,可放大到真实规模,一万亿词之後,曲线就全散开了。”

“散开的原因,我们说不清是噪声,还是换了区域?

没有定理能回答。”

“zeta那边有解析式兜底,我们这边什麽都没有,只有拿钱烧出来的数据点。”

“说到钱。”

tpu负责人的声音冷了下来。

“这几天我们砍了两个内部项目,压缩了客户侧的容量,财务昨天第三次来问,这两万张卡这个季度的产出是什麽。”

“我特麽现在需要一个能写进报告里的答案。”

屋子里又安静了下来。

很久马库斯合上了那个本子。

“答案就是,路是对的。”

“每一条死路的尽头,都不是思路错了,而是缺一条能将经验谱的扰动界、非平稳算子的有限样本理论、一条能被证明的缩放律统一在一起的定理”

“而想把这条定理补上,就得去找一个站在金字塔尖上的数学家,按着我们的架构,从零定制一套出来。”

他顿了顿,环视了一圈这间屋子。

“而这颗星球上,最有资格干这件事的那个人……”

後面的话他没有说,但是大家都明白他要说什麽。

马库斯靠回椅背,盯着天花板看了几秒,缓缓吐出一句话。

“李东教授,真坑人。”

主位上的戴维朗,从头到尾没怎麽说话。

此刻他看了看表声音听不出情绪。

“散会。”

“各部门按原计划推进主线,李东教授提的那条思路,封存,相关实验全部冻结。”

“什麽时候找到能把那段数学补齐的人,什麽时候解封。”

……

会议室人走光了,戴维朗在空荡荡的会议室里站了一会儿,走到落地窗前,拨通了一个号码。
本章未完,请翻下一页继续阅读.........
『加入书签,方便阅读』