这下好了。
一万个小学生坐在教室里。
只有坐在第一排第一个的那个小学生,在那满头大汗地算题。
算完一步,把纸条递给后面的同学。
剩下的九千九百九十九个小学生干嘛?
全在那干瞪眼,嗑瓜子,聊天打屁!
因为前面的数据没传过来,他们根本没活干!
这就是openAI现在面临的最尴尬的局面。
他们坐拥全世界最牛的算力金矿。
结果却在用一把生锈的小铁锹,一点一点地挖土。
GpU的算力利用率,低得令人发指。
机器全在闲置,电费白交,模型跑得比蜗牛还慢。
这还不算最要命的。
更要命的是,这个单行道架构,脑容量太小了!
伊利亚他们把维基百科上海量的文章打包,一股脑地喂给模型。
希望模型能读懂这些知识。
结果呢?
这模型就像个狗熊掰棒子,掰一个丢一个。
读一两句短话,它还能应付。
比如你喂给它:“今天天气很好。”
它能记住。
但是,如果你喂给它一篇长达几千字的长文章。
等它吭哧吭哧读到文章最后一段的时候。
它早把第一段写的是什么忘得一干二净了!
前面的信息,在长长的序列传递中,全被稀释没了。
伊利亚看着屏幕上模型刚刚生成的测试文本,简直欲哭无泪。
他们刚给模型喂了一大段关于美国历史的资料。
讲的是美国首任总统华盛顿的一生。
喂完之后,伊利亚在对话框里输入了一句提示词,让模型接着往下写。
屏幕上的光标闪烁了几下。
模型慢吞吞地吐出了一行字:
“乔治·华盛顿是一个伟大的人,他带领军队打赢了战争,最后他变成了一只喜欢吃轮胎的猫。”
猫?
还吃轮胎?
!
伊利亚看到这句话,差点一口老血喷在屏幕上。
“这写的什么狗屎玩意儿!”
旁边的几个研究员凑过来看了一眼,一个个全捂住了脸。
没法看。
真的没法看。
这哪是人工智能,这简直就是个人工智障,而且还是脑干缺失那种。
长文本一进去,逻辑全乱套了。
主谓宾根本搭不上边。
“不行,还得改参数。”
一个研究员叹了口气,拖过键盘。
“咱们再加几层LStm网络试试吧,或者把记忆闸门调大一点?”
伊利亚烦躁地抓着头发。
本章未完,请翻下一页继续阅读.........