最近有些粉丝向我咨询了填志愿的问题。比较奇怪的是来咨询的大多是河南考生的长辈。其中有不少家庭背景是农民，孩子考的都不错，挺励志的。其中还有位粉丝说要给我 3000 元咨询费。这些粉丝来找我，主要是觉得我比较懂网络安全。但他们不知道的是，我凑巧参与了很多学科建设工作，他们填的那些志愿里有不少在专业设立的时候我都参与了评审。那些收钱做咨询的人，可能没有一个像我这样既了解学科又了解就业。我如果真想收钱，3000 元肯定是不够的
这个比前一条说的“爱因斯坦懂什么相对论”还厉害，觉得自己比亲历者更了解真相。//@Melbournekillers:“可想而知，当时飞机肯定是忽上忽下，扭来扭去，所以乘客都在骂飞行员”。这个可想而知就很滑稽。正常智商的人都会首先怀疑是否遇到空中湍流、是否有机械故障，而不是骂飞行员…
@t0mbkeeper
我有个亲戚是机长。他曾遇到过和东方航空 5510 空难一样的引擎故障，不过那次他把飞机救回来了，平安降落。可想而知，当时飞机肯定是忽上忽下，扭来扭去。所以乘客都在骂飞行员。但这时候又不能告诉乘客发生了什么，要不然大家一慌乱，更麻烦。降落后，乘客们知道了真相，又全都跑来感谢飞行员，感谢救命之恩。我经常思考这件事。
我有个亲戚是机长。他曾遇到过和东方航空 5510 空难一样的引擎故障，不过那次他把飞机救回来了，平安降落。可想而知，当时飞机肯定是忽上忽下，扭来扭去。所以乘客都在骂飞行员。但这时候又不能告诉乘客发生了什么，要不然大家一慌乱，更麻烦。降落后，乘客们知道了真相，又全都跑来感谢飞行员，感谢救命之恩。我经常思考这件事。
//@刘群MT-to-Death:不太同意这里的观点。DeepSeek-V3能够降低训练成本的几个主要技术是：① 模型架构改进② FP8训练 ③ Multi-token Prediction。这几个技术都是既可以用在训练上，也可以用在推理上的。其中①中的两个架构改进（细粒度MoE和MLA），都是DeepSeek前期论文发表过的工作，是他们自己独创的改进；②FP8训练，一起从来没有人能够在这么大规模的系统上能用这么低精度的参数直接训练，这是非常大的成果，节省的训练算力也是巨大的；当然其他模型训练好以后也可以量化到FP8进行推理，但从来没有能做到直接用FP8训练这么大模型；③MTP的思想虽然不是DeepSeek首次提出的，但他们做了改进并且能够在这么大模型的训练上用起来，这也是第一次。至于蒸馏R1的能力，确实是节省了训练成本，但这个主要是带来长链推理（主要是代码和数学）能力的提高，属于锦上添花，不影响模型的基本能力。至于合成数据、数据配比实验等等，这是现在所有模型训练都要做的事情，没有必要跟训练模型本身所用的时间混为一谈。
@林毅没有v
关于幻方的Deepseek模型目前看到的各位业内大佬在群里的回复：A：幻方这消息纯粹就是断章取义。训练一个671B的moe模型，而且用了fp8的架构，来达到gpu耗时数的下降，幻方在技术上确实牛。但幻方在训这个模型之前，是用了他们自己的r1模型（对标openai o1模型）来生成数据的，这个部分的反复尝试要不要算在成本里呢。且不算前面那笔糊涂账，单就在训练上做降本增效这件事，这不代表推理需求会下降，只代表大厂可以用性价比更高的方式去做模型极限能力的探索。应用端只要有增长的逻辑，推理的需求依然是值得期待的。B：-训练只有一次，推理是无数次。推理需求实质上远大于训练需求，尤其是用户基数大了。- Deepseek是站在巨人的肩膀上，使用大量高质量合成数据。- Deepseek这个统计口径只计算了训练，但数据的配比需要做大量的预实验，合成数据的生成和清洗也需要消耗算力。- Deepseek的模型的MoE每个专家都可以单独拿出来训练，本身相比于dense架构就是省力一些的方案。-人人都超越了GPT 4o，llama 3天天被踩在脚底下，消费者和企业界实际使用用的最多的还是这两个模型。这些宣传的成绩未必可靠。C：1，FP8的训练本身就不怎么耗资源，而且DS这个是“设定”好的大模型训练，就是已经限定了大模型的能力，这样减小了很多不必要的消耗。2，OpenAI和Antropic这样的在训练新东西、新能力，走弯路的消耗量可能百倍千倍于最后那个正确路径。就好像看过几遍答案，水平很一般的学生也能在1小时内把高考数学卷整出满分，或者接近满分。一份试卷做过越多次，速度越快，搞不好30分钟就能满分…DS这个模型加入了很多“设定”因素，就是知道这样有效，有利于提高推理能力。3，模型能力追求的是“通识能力”，为了能考个好成绩，该读的3年书谁也躲不过，现在算力和数据无非就是想卷这个时间缩短。大模型通识能力上限太高了，卷算力才刚开始，谁犹豫，谁质疑，谁掉队。4，另外就是多模态和具身智能的接口。GPT-5难产有个很重要原因就是GPT-5要有开放机器人模态的潜在能力，就是能处理物理世界数据。这玩意儿也是全新的，超越了现在大模型的能力。 总结DeepSeek-V3 的训练时间减少和算力需求降低，主要得益于算法优化、硬件适配和模型架构改进。然而，这并不意味着 AI 训练对算力的要求普遍降低，因为 AI 领域的整体趋势仍然是模型规模和复杂性不断增加。我们的优化是针对特定任务和设计进行的，旨在提高效率的同时保持高性能。
回复@三体-0大史0042:我故意不说的东西，你觉得在评论区问我就会说吗？//@三体-0大史0042:另一个是qwen么？
@t0mbkeeper
这几天很多人都表达了对 DeepSeek 3 训练成本大幅降低的惊叹。但也有人说这是“断章取义”，比如认为他们训练的只是 FP8 精度，强调他们训练用了大量高质量合成数据，并认为得到这些数据的过程所消耗的算力也应该算在训练成本里。看了两边的观点之后我觉得好像都有道理，而我也没有资格在这个问题上做出评价。模型训练是大玩家们的游戏。我们能关注的还是模型应用。实验室的同学已经在测试 DeepSeek 3 了，具体好不好用也还是要用了才知道。另外，今年夏天的时候，我用我自己设定的测试任务测了一下几个大模型。国内的大模型多数都不能完成我的编程任务（微博正文 微博正文）。只有当时的 DeepSeek 2.5 和另外一个能完成。
有意识的操控确实是一种可能性。不过，提速降费之后，民意汹汹起来也还是挺闹心的。八万只绿头蝇，虽然不能咬人，但嗡嗡嗡，嗡嗡嗡，嗡嗡嗡。这时候解释是没用的。爱因斯坦懂什么相对论？调查组知道什么真相？嗡嗡嗡，嗡嗡嗡，嗡嗡嗡。
@祝佳音
熊猫那事儿也挺奇怪。现在官方结论出来了，旅美大熊猫是因为患有皮肤病，不是美国人故意虐待或者不好好养或者水平不行。这很好，但在闹得最沸沸扬扬的时候，我似乎没看到官方给出这样明确的结论——问题是这个结论在当时就应该公开吧？官方有在当时就明确指出这一点么？随着年龄增长，我逐渐了解到的事情就是，或许不是全部，但几乎所有傻逼粉丝，背后都有人试图操控。
这几天很多人都表达了对 DeepSeek 3 训练成本大幅降低的惊叹。但也有人说这是“断章取义”，比如认为他们训练的只是 FP8 精度，强调他们训练用了大量高质量合成数据，并认为得到这些数据的过程所消耗的算力也应该算在训练成本里。看了两边的观点之后我觉得好像都有道理，而我也没有资格在这个问题上做出评价。模型训练是大玩家们的游戏。我们能关注的还是模型应用。实验室的同学已经在测试 DeepSeek 3 了，具体好不好用也还是要用了才知道。另外，今年夏天的时候，我用我自己设定的测试任务测了一下几个大模型。国内的大模型多数都不能完成我的编程任务（微博正文 微博正文）。只有当时的 DeepSeek 2.5 和另外一个能完成。Translate contentt0mbkeeper 的微博你们有没有发现国内一些大模型的测评分数跟使用感受差别很大？看测评的话，编程能力普遍都超过 70 分。其中有些确实不错，但也有的感觉连 48.1 分的 GPT-3.5 都不如。最糟糕的一个甚至连某个 Python 模块能干什么不能干什么都搞不清楚。不知道是不是又发挥了擅于跑分的特长，搞了针对性优化。
收入增加和收入减少的人数比值是0.80。这大大高于我在其他博主的调查里看到的数字，也高于人民银行早先公布的数字。这再次验证了汉语从句和收入正相关。
@t0mbkeeper
大家 2024 年的收入相对 2023 年有什么变化？有房屋出租、投资收益等也都算进去。如果一时算不清的话不算也行，只对比主业收入。