@黄建同学
这门课不错！DeepLearning.AI Andrew NG（吴恩达）推出了全新课程《Transformer 大语言模型的工作原理》，由《Hands-On Large Language Models》一书的作者 Jay Alammar 和 Maarten Grootendorst 联合开发。 该课程深入探讨了 Transformer 架构的主要组成部分，该架构是大语言模型（LLM）的核心。 Transformer 架构自 2017 年由 Vaswani 等人在论文《Attention Is All You Need》中提出以来，彻底改变了生成式 AI 的发展。 如今，OpenAI、Google、Meta、Cohere 和 Anthropic 等公司的 LLM 都基于该架构的变体。在本课程中，你将学习 Transformer 网络架构的工作原理，建立 LLM 如何处理文本的直观理解，并通过代码示例来演示 Transformer 架构的关键组件。1. 语言数值表示的演变：从词袋模型（Bag-of-Words）到 Word2Vec 嵌入，再到能够在上下文中捕捉词义的 Transformer 架构。2. LLM 如何将输入分解为表示单词或片段的标记（tokens），然后将其发送到语言模型。3. Transformer 的详细结构，包括三个主要阶段：标记化和嵌入、Transformer 块堆栈以及语言模型头。4. Transformer 块的细节，包括计算相关性得分的注意力机制，以及结合训练中学习到的存储信息的前馈层。5. 缓存计算如何加速 Transformer，以及自原始论文发布以来 Transformer 块如何演变并继续被广泛使用。6. 在 Hugging Face Transformers 库中探索最新模型的实现。完成本课程后，米将深入理解 LLM 如何处理语言，并能够阅读描述这些架构的模型论文，理解其中的细节。这种直觉将有助于改进您在构建 LLM 应用程序时的方法。该课程适合任何对理解当今 LLM 所采用的 Transformer 架构内部工作原理感兴趣的人士。课程为初级水平，时长约 1 小时 25 分钟，包括 12 个视频课程和 3 个代码示例。 免费访问：www.deeplearning.ai/short-courses/how-transformer-llms-work/#雷军曾表示会用AI就是机会##ai创造营##程序员# 黄建同学的微博视频
@量子位
#Meta下载盗版书数据训练AI#据Ars Technica消息，Meta最近摊上事了。曝光邮件显示，Meta涉嫌通过torrent（种子）下载并分享81.7TB的盗版书，其中35.7TB的数据来自知名盗版网站Z-Library和LibGen，而这些书籍被用来训练Meta AI。消息一出，Meta工程师Nikolay Bashlykov也坦言，”用公司电脑下种子，确实不太好。“然而，Meta的员工似乎早有防范。他们下载数据时，故意隐藏了自己的真实IP——换掉了原本应该是Facebook的服务器地址。此外，在分享种子文件时，他们还特意调整了设置，限制了“seeding”分享文件的最大数量。进一步调查发现，这种情况很可能是Meta高层默许的，下载盗版书籍的决定实际上是在一次与扎克伯格的讨论后作出的。而扎克伯格则在法庭上坚决否认，并表示“与我无瓜”。Meta训练AI的过程是“合理使用”（fair use），不构成侵权。
@蚁工厂
#你的DeepSeek还在服务器繁忙吗#硅基流动版DeepSeek的几个变化：1. 可能是发现昨天有人乱说（ 图1 ），产品上直接打上了全尺寸满血版的标签 。体验差异可能是api和直接用对话框还是有区别的，参数和System Prompt不一样效果也会差别比较大。2. 增加了只能用用充值金额不能用赠款的模型：Pro/deepseek-ai/DeepSeek-R1，这个会更稳定一些。3. 可以用赠款的模型限制未实名用户每日最多请求此模型 100 次，对普通用户也够了。欢迎用我的邀请链接继续享受 14 元平台配额奖励。 网页链接 #ai创造营#
@黄建同学
随着DeepSrek的火爆🔥🔥🔥，现在数学模型的训练已经开始采用 RL/DeepSeek-R1 方法，但代码生成模型却还没有。原因是什么？缺乏可验证的训练数据，几乎没有可靠的奖励模型。AceCoder这个项目正在改变这一现状🚀1️⃣ 提出了一种自动化流程，能大规模生成高质量、可验证的代码训练数据（instruction, [test cases]）。生成的程序可运行测试用例，计算通过率作为基于规则的奖励信号。2️⃣ 训练出的 AceCode-RM（7B & 32B 奖励模型）在 Best-of-N 采样下，使 Llama-3.1 的表现提升 10%。甚至让 Qwen2.5-coder-7B 逼近 DeepSeek-V2.5，在 HumanEval、MBPP、BigCodeBench 等基准上都有显著提升！3️⃣ 结合 AceCode-RM 和基于规则的奖励信号进行强化学习训练，大幅提升了 Qwen2.5 系列模型的能力。4️⃣ 类似 DeepSeek R1 的训练（跳过SFT直接进行RL），只需 80 步，从 Qwen2.5-coder-base 直接提升 HumanEval-plus 25%、MBPP-plus 6%！这验证了代码模型可以跳过 SFT 直接进入强化学习训练的可能性。项目：github.com/TIGER-AI-Lab/AceCoder/论文：arxiv.org/abs/2502.01718#DeepSeek给电影三体选角##deepseek##ai创造营#
@量子位
#OpenAI内部模型曝光# 编程能力跻身全球Top50程序员，年底不再有人类对手除了o1/o3，OpenAI另一个尚未公开的内部推理模型曝光了。爆料者正是CEO奥特曼本人。据他透露，与全球顶尖程序员相比，当前这一内部模型的编程能力已达Top50，甚至今年年底将排名第一。而且针对大家近来尤为关注的算力问题，他更是直言：在内部，我们已经达到了GPT 4.5，而达到GPT 5.5并不需要100倍以上的计算能力。除此之外，也是在东京大学的这场对话活动中，奥特曼由AI对教育的影响引出了更多话题，包括AI时代需要何种人才，以及一系列对内部模型进展的爆料。这场对话由东京大学的校长（Teruo Fujii）和执行副校长（Kaori Hayashi，女）主持，OpenAI首席产品官Kevin Weil陪同奥特曼参加。期间，他们畅谈了AI的应用和未来，并和学生进行了面对面问答。以下为重点内容整理&摘录。网页链接
《文科生听懂大模型》的课件还在紧张修改中。2天时间，分3个课时讲完。第一天讲Transform架构，就是那张图，每个细节都会讲，一定要磨透，讲不完，理解不了第二天继续讲，核心是这张图。每个部件都会展开讲透。第二天上午讲预训练，SFT和RL的区别和联系，分别担任的角色，已经这三个阶段需要的数据长什么样子；第二天下午讲算力，硬件这块，因为这块内容比较容易招黑，不释放PPT，不释放视频，内部交流讨论。会把英伟达，AMD，华为等国内很多芯片都进行一些介绍，这块可能投资者感兴趣，不感兴趣的，下午就可以撤了。基本上2天时间，模型，数据，算力都介绍到位，也算我为社会做一点微小的贡献了。
不少网友反馈PPT文科生看不懂，PPT肯定要这么写，不这么写喷子一拥而上全上来的，实际讲解会用文科生的语言确保让与会听众理解，会举很多例子，不过这些例子没法写在PPT里面，而且也有一些有理工科基础的人，希望听的更真切一些，请理解我这么写PPT的方式。。另外，说下报名人的情况，大概是4个人群，投资机构的同志，大学老师，个人投资者，老板。因为时间安排在工作日所以基本没有上班的。。
@梁斌penny
有网友问，《文科生听懂大模型》的课件能不能发出来看一下。。我先发第一讲，后面会全部发出来，我写的都是提纲，讲的时候会用很通俗的语言，力求大家都能听懂。这个我给老婆和儿子已经讲过一遍了，能力有高低，听懂的也有不同，总之肯定通俗移动，不要被PPT吓到了。。我们这个大楼的经理听说我要讲这个课，安排了一个容纳150多人的大厅。。他们有几个领导也想来听听，地方换听课席位，我勉强同意了。还有想来的可以找@梁博第二助理 报名，食宿自理，课程免费，地点南京，时间2月20日-21日全天。谢谢。