笔趣阁

繁体 | 简体
笔趣阁 > 我的学习群里全是真大佬 > 第399章 李东来了

第399章 李东来了(1/3)

中午休息的时候,主会场外的大厅里。

人群三三两两的凑在一起,也不知道在讨论些什麽,时不时的还会爆发出一阵的老钱笑声。

李东和唐杰站在大厅一角。

“怎麽样,听出门道没有?”

唐杰端着一杯咖啡问道。

李东:“底层范式全在切变道。”

“眼光够毒的呀。”

唐杰有些诧异的说道。

“那你再往深处琢磨琢磨,这帮巨头为什麽不约而同,非要赶在这个节骨眼上改写技术路线?”

李东看着他:“为什麽?”

“撞上data wall(数据墙)了呗。”

“互联网上那些高质量的预训练语料,github开源代码、arxiv论文库、优质百科,早就被各家用爬虫吸干了。”

“万亿参数规模的模型每年胃口都在变大,但是现在大家都没东西喂了。”

“所以你看今天台上讲的那些套路。”

唐杰教授抬了抬下巴。

“在inference端堆算力,靠慢思考平摊成本,这叫避开数据墙。”

“花重金搞rlhf,弄一套刁钻的reward model去给生成的合成数据打分提纯,靠模型自己左右互搏,这叫虚空造数据。”

“说穿了全是被高质量数据枯竭给硬生生逼出来的。”

李东若有所思地点了点头,然後又想到了一个问题。

“那模型架构呢?

顶会的paper全公开了,哪怕只照着公式复现他们不怕别人追上吗?”

“paper这玩意儿,只是个前瞻pr。”唐杰笑了笑说道。

“可真正拉开代差的核心壁垒有两样,paper里从来都不会写半个字。”

“一样是infra,另一样是基於真实交互反馈的数据飞轮。”

“这个护城河一旦转起来,後来的人光靠砸钱买算力,是不可能弯道超车的。”

李东沉默了。

就在这时一个头发花白的老者端着咖啡走了过来,隔着几步就笑着打招呼。

“唐!”

唐杰回头一看,也笑着迎上去握手。

来人是kaist的金教授,做具身智能和机器人方向的,前两年起就一直在用唐杰他们开源的视觉-语言大模型跑端侧部署的控制实验,两人在别的学术论坛也碰过几面。

这一回韩国做东道主,金教授热情得不行,张口就邀请唐杰会後去他们实验室里坐一坐。

客套了几句唐杰很自然地介绍道。

“金教授,给您介绍一下,这位是李东教授。”

“李教授,幸会。”金教授礼貌地伸出手,嘴里默念了一遍这个名字。

李东。

这名字,听着有点耳熟。

就在他暗自琢磨的工夫,唐杰补了一句。

“菲尔兹奖得主。”

金教授握着李东的手,整个人都僵住了。

然後连声音都有哦点变调了。
本章未完,请翻下一页继续阅读.........
『加入书签,方便阅读』