@量子位
#OpenAI内部模型曝光# 编程能力跻身全球Top50程序员,年底不再有人类对手除了o1/o3,OpenAI另一个尚未公开的内部推理模型曝光了。爆料者正是CEO奥特曼本人。据他透露,与全球顶尖程序员相比,当前这一内部模型的编程能力已达Top50,甚至今年年底将排名第一。而且针对大家近来尤为关注的算力问题,他更是直言:在内部,我们已经达到了GPT 4.5,而达到GPT 5.5并不需要100倍以上的计算能力。除此之外,也是在东京大学的这场对话活动中,奥特曼由AI对教育的影响引出了更多话题,包括AI时代需要何种人才,以及一系列对内部模型进展的爆料。这场对话由东京大学的校长(Teruo Fujii)和执行副校长(Kaori Hayashi,女)主持,OpenAI首席产品官Kevin Weil陪同奥特曼参加。期间,他们畅谈了AI的应用和未来,并和学生进行了面对面问答。以下为重点内容整理&摘录。网页链接
截止目前,这个下周四-五在南京组织的线下课,已经有400多人报名,大部分人的报名信息不详细,就排除掉了,目前大约160人符合报名条件,我们这两天会陆续发参会通知,谢谢大家,会场大概能容纳200人,还有少许空间,请之前报名,没有写自己详细信息的,补充完整,谢谢。
@梁斌penny
《文科生听懂大模型》的课件还在紧张修改中。2天时间,分3个课时讲完。第一天讲Transform架构,就是那张图,每个细节都会讲,一定要磨透,讲不完,理解不了第二天继续讲,核心是这张图。每个部件都会展开讲透。第二天上午讲预训练,SFT和RL的区别和联系,分别担任的角色,已经这三个阶段需要的数据长什么样子;第二天下午讲算力,硬件这块,因为这块内容比较容易招黑,不释放PPT,不释放视频,内部交流讨论。会把英伟达,AMD,华为等国内很多芯片都进行一些介绍,这块可能投资者感兴趣,不感兴趣的,下午就可以撤了。基本上2天时间,模型,数据,算力都介绍到位,也算我为社会做一点微小的贡献了。
前几天分析一个程序,里面有一段代码为了对抗逆向,不仅把信息经过编码后存储,而且还原算法还是用 SIMD 指令写的。很多熟练的漏洞挖掘工能用大脑模拟执行一些代码,但 SIMD 真不好办。人类工作记忆的缓存太小,至少我没办法模拟一个进行矩阵运算的函数。所以过去对这种就只能动态调试。于是我把那段代码的反编译结果丢给大模型,让大模型还原成高可读性的代码,然后再给出一份不用 SIMD 指令实现该算法的代码。大模型给出的两段代码都可以直接编译成功,而且执行结果都和原程序中的完全一样。更令人惊讶的是,那段代码里其实还调用了别的函数,而我当时忘记把那些函数交给大模型了。但大模型竟然猜出了那些函数应该是什么功能,自己凭空补写出来了。在惊讶之余,我仔细看了一下那段代码,又进行了相关信息检索,最后的结论是:一个熟练的程序员,又事先了解相关背景知识,确实可能猜出那些函数的功能。所以这并不是一个灵异的事情,但世界上没有任何程序员可能具有所有背景知识。世界范围内基础程序员岗位的收缩,可能很快就会开始了。
@伯克利_尤洋
MaaS (Model as a Service)在中国短时间内可能是最差的商业模式。阿里云/百度云/腾讯云等相互内卷低价和免费,满血版的DeepSeek R1每百万token官方也只能收到16元。即便H800 GPU打满并且做出一流优化,H800每百万token的成本是约150元,昇腾是约300元。我用的数据是市面上机器的最低租赁价格+少量周边:H800 7.5万/台/月,昇腾2.5万/台/月。并且MaaS品牌会被chatbox和cherry studio等应用前端屏蔽,也无法影响输出内容,没有任何生态或广告的价值。如果满血版的DeepSeek R1每日输出1000亿token,那么每月的机器成本是4.5亿,亏损4亿!用户越多,亏损越多。现金流能撑住吗?除非有免费的机器,但没有长久免费的午餐。