@马少平THU
《艾博士：深入浅出大语言模型》终于交稿了，比预期晚约3个多月，主要原因去年从9月开始被连续安排了两个多月的科普讲座，虽然不是每天都讲，但是写书这件事需要连贯性，一旦中断就不好接上，严重影响进度。除夕下午完成了第一稿，接下来一直做校对，又根据一些建议增加了一些如何使用LLM的内容，昨晚终于交稿了。从名称就可以看出，这本书继承了上本书《艾博士：深入浅出人工智能》的风格，内容从深度学习开始讲起，然后是transformer模型，接下来是GPT1、GPT2、GPT3和ChatGPT，以及BERT的介绍。然后是强化学习和基于人类反馈的强化学习RLHB，最后是提示工程。有关深度学习的内容与前书《艾博士：深入浅出人工智能》有很大的重叠内容，这部分是否要在本书写？还是作为阅读本书的基础？这让我纠结了很长时间，后来根据朋友们和出版社编辑的建议，还是在本书中添加了这部分内容，这样的好处是，读者可以读一本书就可以实现入门大语言模型，因为如果不懂神经网络很难读懂大语言模型。不足就是对于已经懂神经网络的读者来说有些冗余。但从书的系统性来说还是添加了这些内容。并在前面增加了一些书中涉及到的有关向量、矩阵、数学期望等数学知识的介绍，完全做到了“一书在手，入门大模型”的目的。当然本书主要是入门，讲解大语言模型的基本原理，没有涉及最新进展。还不清楚什么时候能正式出版，“我书由(出版)社不由我”了后面有时间的话，我也会将本书全部内容录制成视频。
“梁博，你发的内容挺好，就是太能吹牛了，这个会丢失很多粉丝的，我就没看到那个清华的人像你这么吹牛，真的不好。”答：可能这位同学是新粉丝，我的身世比较惨，早年学习一般，缺乏目标，没有动力，也没有人带，原本打算一生就混日子了。。命运的齿轮竟然从一次吹牛开始了。 高考发挥正常，考上了一所普通学校，虽然是计算机专业，但是学历不高。。进校的第一天，也不知道怎么搞的，就当着众人（包括本班同学和部分高年级同学）吹牛自己要过英语4/6级和软件中级。。于是未来的3年，备受同学老师嘲讽，学习动力非常足，因为要face，后来这些牛都做到了，成为那个学校，那个专业建校建专业以来，第一个完成此壮举的人。。 在学校我又吹了很多牛，比如骑车从连云港回南京，做了很多准备工作，但是出发前拉肚子了，发烧（可能食堂的饭菜问题），有个一起的同学考虑再三放弃了，然后大家都看我的笑话，认为我也会放弃，结果我一个人骑回南京，捍卫了face。 毕业后，其他同学找工作都是能找到就行，我非要找个好的，牛先吹出去，再努力，必能获得免费嘲讽，随后果然找到了当时在南京非常好的单位。后来的考研，也是吹牛要考南大，后来也考上了。。 后面的牛越吹越大，越吹越离谱，有时候自己都忘记了，两次吹的都不一致，后来发现微博上吹牛效果，比现实生活中还好，越吹越上头。 我儿子英语不好，我就怂恿他开学在班上吹牛，自己英语要考第一名，最终他胆怯了， 没有敢吹牛。至今发展缓慢。 说了这么多我就想说一句，无数大佬说过，清华北大不如胆子大，胆子要大一点，步子要大一点，胆量真的很重要，是核心竞争力，吹牛就是非常需要胆量，现在的这些互联网大佬，当年是多么能吹。吹牛真是能给自己目标，增加愉悦感，抵消疲劳，关键是还能拉来大量免费嘲讽，然后为了face，就真能玩命干了。 当然也不是什么都适合吹牛，对员工的承诺，对粉丝抽奖的承诺都是每一件兑现的，最近接的广告不少，今天就抽了吧。转发本条微博的铁粉，今天中午12点抽奖100人，每人50元（看个电影），总金额5000元，谢谢。 抽奖详情
训练芯片的需求要降低，我之前做这个判断还有人嘲讽//@庆丰:“巨型模型、巨额成本，但性能未如预期”，话说如果不是大模型圈最近太卷，这一版估计OpenAI也不着急发了
@宝玉xp
2025 年 2 月 27 日，OpenAI 正式发布了其迄今为止规模最大的 AI 模型——GPT-4.5（代号 Orion）。尽管 OpenAI 表示 GPT-4.5 是该公司有史以来算力和数据规模最大的模型，但这次的性能提升并未像此前 GPT 系列一样带来革命性的飞跃。不仅如此，GPT-4.5 高昂的运行成本和在一些关键基准测试上的表现差强人意，甚至让外界开始怀疑——AI 长期依赖的Scaling Law（规模定律），正在走向终点了吗？巨型模型、巨额成本，但性能未如预期此次 GPT-4.5 发布最引人注目的，莫过于其惊人的成本——每 100 万输入 token 收费 75 美元，输出 token 更高达 150 美元。这意味着 GPT-4.5 的成本是 OpenAI 自己广泛使用的主力模型 GPT-4o 的30 倍，更是竞争对手 Claude 3.7 Sonnet 的25 倍。OpenAI 发言人承认，GPT-4.5 的运行成本之高，使得公司必须重新评估它未来是否适合长期开放 API。如此巨额成本背后，GPT-4.5 的性能究竟如何呢？性能迷雾：优势与劣势并存尽管 OpenAI 将 GPT-4.5 定位为非推理模型（Non-Reasoning Model），但它的表现却出现了明显的两极分化。✅ 明确的性能提升领域：• 事实性问答 (SimpleQA) 基准测试中，GPT-4.5 优于 GPT-4o 和 OpenAI 的推理模型 o1 和 o3-mini，幻觉（hallucination）的频率也明显降低。• 软件开发（SWE-Lancer） 测试中，GPT-4.5 表现优于 GPT-4o 和 o3-mini，在开发完整软件功能时具有更高的可靠性。❌ 性能不及预期的领域：• 在高难度的学术推理类测试（如 AIME 和 GPQA）中，GPT-4.5 表现低于竞争对手 Claude 3.7 Sonnet、DeepSeek R1 和 OpenAI 自家的推理模型 o3-mini。SimpleQA benchmarks.SimpleQA benchmarks.SimpleQA benchmarks.（图片来源：OpenAI）OpenAI’s Swe-Bench verified benchmark.OpenAI’s Swe-Bench verified benchmark.OpenAI’s Swe-Bench Verified benchmark.（图片来源：OpenAI）OpenAI’s SWe-Lancer Diamond benchmark.OpenAI’s SWe-Lancer Diamond benchmark.OpenAI’s Swe-Lancer Diamond benchmark.（图片来源：OpenAI）性能对比之谜：成本 vs 性能提升GPT-4.5 虽然在一些特定任务上确实表现出色，但考虑到成本的激增，性能并未出现对应比例的显著提升。特别是在需要深度推理的任务上，GPT-4.5 远不如更便宜的推理型模型 Claude 3.7 Sonnet 和 OpenAI 的深度推理模型 Deep Research。Devin 公司 CEO Scott Wu 在推特上也指出，GPT-4.5 在涉及架构设计和跨系统交互的任务上表现突出，但在纯粹的代码编写和编辑任务上却逊色于 Claude 3.7 Sonnet。这种性能的细微差别进一步证明，单纯的扩大模型规模，可能已不能带来跨领域全面的性能跃升。从性能到情感智能：“微妙的提升”OpenAI CEO Sam Altman 提到了 GPT-4.5 独特的魅力——它带来了以往模型所缺乏的“人性化”的感觉，虽然在数学、代码等硬核推理领域并不出彩，但在理解人类意图和情感回应方面达到了新的高度。OpenAI 展示了一个情感交流的案例，当用户表示考试失败而难过时，GPT-4.5 给出的安慰更为贴心且符合社交情境：正如 Andrej Karpathy 所言：“每代 GPT 都是微妙的提升，一切都变得更好一点，但无法具体指出哪一项是绝对的突破。”Scaling Law 失效了吗？此次 GPT-4.5 发布最令人关注的一点，在于它似乎验证了 AI 界早有预言的“规模定律的终结”。OpenAI 联合创始人 Ilya Sutskever 曾直言：“我们已经达到了数据的巅峰，传统的预训练方式即将终结。”GPT-4.5 的性能曲线证实了他的预测——随着模型规模继续扩大，其性能的提升不再显著，甚至出现了严重的成本与收益不成比例的现象。市场也开始感受到这一趋势：“DeepSeek R1：我们不再需要大量 GPU 进行预训练；OpenAI GPT-4.5：我们已到 GPU 预训练的尽头。”GPU 算力瓶颈已成新常态，甚至引发了 GPU 供不应求的现象，这背后反映的是产业链面对 AI 规模困境的真实反应。GPT-4.5：AI 发展的分水岭？OpenAI 已明确表示 GPT-4.5 不会成为 GPT-4o 的替代品。相反，它更可能是 OpenAI 向 GPT-5 和未来结合推理模型路线的转折点，象征着公司逐渐告别单纯依赖大规模预训练的时代。总结而言：• GPT-4.5 展示了 AI 在预训练模式下的规模极限。• 性价比问题凸显，纯规模化扩张已无法带来突破性进步。• 情感智能提升明显，可能开启 AI 交互方式新趋势。此次 GPT-4.5 的发布，或许正是 AI 发展道路上的重要里程碑——它提醒着我们，未来的 AI 模型，也许需要的不再只是更多的 GPU 和数据，而是对智能本质的更深入理解。GPT-4.5 的登场，最终是否宣告 AI Scaling Law 的终结，仍有待时间检验。但毋庸置疑的是，AI 产业已站在变革的路口，传统的规模化预训练模式即将迎来一次深刻的反思与变革。GPT-4.5 系统卡片中文版：网页链接注：为了让大家直观感受 GPT-4.5 的能力，所以这篇文章是 GPT-4.5 帮我写的，素材是官方博客、网络新闻、几条推文（Sam 的和 AK 的） ，你感觉到 GPT-4.5 写作能力提升了吗？AI 味浓吗？更好排版：网页链接
今天的盲猜关注列表活动开始啦！//@纸上工程师:有多少证据说多少话。可能没有明确证据证明艾灸能治具体某种病，但目前有证据证明吸入艾灸的烟雾会导致肺结节吗？只能说可能会提高风险。既然循证，就正反两面都要循证。//@t0mbkeeper:因为怕肺结节而不敢艾灸是缺乏顶层思考的结果。虽然艾灸可以导致肺结节，但肺结节也可以用艾灸调理。这样就实现了以艾灸赋能结节，以结节拉通艾灸，从而打通艾灸-结节的全链路，实现了生态闭环。 查看图片
@Fenng
艾灸这事儿，约等于「自愿掏钱吸入高浓度雾霾」。可以最快时间产生肺结节。😂
有些手术是比较野蛮粗暴。实习时候参加过一台大隐静脉剥脱术。主任一声令下，我和另一个壮汉两人合力跟驴一样拽连着剥离器的钢丝绳，然后主任还在那喊劳动号子。//@一个动态类型的幽灵:那，他最后招了吗？（对不起//@安安以迁迁:人体4S店//@superview://@爱上火炉的雪人2011://@沉鱼夫人:“怕溅到脸上” 查看图片 //@不知道叫啥就瞎起个名:骨科医生来解释一下，这是取PFNA髓内钉，旁边医生转头是怕溅到脸上，顺带一提这种徒手取很累的。
@这是在干什么bot
旁边的医生都不敢看了