peopleevents
梁斌penny 2024-11-11 15:51+08:00Z
原微博

回复@图奥曼tm:深度接入大模型数据供应商bayou tech表示,数据的需求还非常旺盛,努力吧同志们。//@图奥曼tm:@梁斌penny 机会来了梁博

@阑夕

来自The Information的猛料:ChatGPT的训练好像卡住了⋯⋯- 先说乐观的,OpenAI的下一代模型GPT-Orion虽然只完成了20%的训练,但它的能力已经和GPT-4持平了;- 但是——没错,但是来了——和GPT-3到GPT-4之间的飞跃进步相比,GPT-Orion的提升要小很多,所以它配不上GPT-5这个命名;- 更坏的消息是,GPT-Orion的成本更高,它对语言的理解更好,但在编码上可能还不如老模型那样可靠;- GPT-Orion的困境可能破坏了AI行业的一个核心假设,即只要有更多的数据和算力,大模型就能以不衰减的速度变聪明;- OpenAI和Meta都开始以底层技术没有突破的前提下开发产品,比如接管个人电脑和浏览器去模拟用户执行真实操作的功能;- 最大的问题在于互联网上的数据早就被用得精光了,GPT-Orion大量依赖合成数据——也就是AI自己生成的内容——来做训练,结果导致了内卷;- 内卷的表现就是烧钱训练出来的新模型越来越像旧模型,原因不难猜到,因为它的数据都是由旧模型提供的,一切学习都在原地踏步;- ChatGPT新尝试的推理链在科研行业表现很不错,很多科学家和数学家都在使用,但因为成本是通用模型的6倍以上,很难被大众市场接受;- OpenAI的股东Ben Horowitz已经开始抱怨,说公司采购GPU的数量持续增长,但根本上的AI智商没有同步提高;- 深度接入主流大模型的数据商Databricks表示,AI在多步骤任务上还有改进空间,但是日常类型的任务,比如情感对话这种,已经没有进展了;- 总结是,大模型进入了平台期,需要想办法获取更多的真实数据,合成数据起不到作用了。* 这篇报道在行业内争议很大,很多从业者都跳出来表示不信谣不传谣,反对AGI虚无主义传播,so⋯⋯兼听则明。

上一页415/995每页 10总共 9943下一页