模型增大，我认为啊，一部分是提高精度，比如token的embedding的维数在增加，这个还有潜力增加。而层数提高，前馈神经网络维度提高都是增加记忆能力，这个部分受数据量影响不能无限制增加。 查看图片 //@硅谷陈源博士:ChatGPT 4.5 已经是万亿级别了，问题是训练数据已经快用完了，模型还在不断增大，上限在哪里？//@梁斌penny:现在deepseek算比较大了，满血版整个模型也就700GB，和训练数据比还是小太多了。当然如果加知识库就不好说了。模型本身还是发达压缩，学习到了本质的东西的。
@硅谷陈源博士
对大模型的一点胡思乱想，欢迎行家指教。1. 一直以来，我们习惯把机器学习和大模型看作是对数据的压缩。当模型本身比数据小的时候，这个说法很合理。但现在的大模型越来越大，最终如果参数量甚至超过了训练数据量本身，那它还算是“压缩”吗？还是更像是一种“记忆”？如果模型只是把见过的内容记下来，然后再现，那“智能”到底体现在哪里？是否更像是一种高效的记忆系统，而不是真正具有理解和推理能力的智能系统？2. 当前大模型的评测也存在类似的问题。大家热衷于让大模型“做题”。问题是，随着训练数据也来越大，覆盖的范围越来越广，许多测试题目可能已经包含在训练数据集里，模型在训练中早已见过。结果就是，我们可能不是在评测模型的泛化能力，而是在考它的“记忆力”。这不仅降低了评测的价值，也让模型之间的对比失去了公平性。一个真正有意义的评测体系，应该建立在完全独立、对模型来说全新的问题之上，才能真实地反映出模型的理解、推理和泛化能力。如何创建这样独立的测试数据集呢？#人工智能##大模型##计算机科学##人工智能和大模型的困境#
#零添加酱油12款检出镉7款检出总砷# 1985 版《生活饮用水卫生标准》中镉的限值是 0.010 mg/L。而 2022 版《生活饮用水卫生标准》中自来水中镉的限值是 0.005 mg/L，减小了一半。这次媒体大肆宣扬的某款酱油镉含量 0.011 mg/kg，只是比 1985 版的饮用水标准略高，比 2022 版高出一倍。然而喝水可能一天要喝好几杯，煮饭做汤也要用很多水，但一天吃下去的酱油能有多少？酱油的主要原料是小麦和大豆。如果土壤被镉污染了，种出来的小麦和大豆里就会含有镉，用这些小麦和大豆做出来的酱油也自然有镉，这跟厂家有什么关系？当然，可能有人要说厂家有责任确保所用的小麦是安全的。好，那我们看看 2022 版《食品安全国家标准-食品中污染物限量》。在这一版国标里，镉限量对谷物是 0.1 mg/kg，对豆类是 0.2 mg/kg。也就是说小麦的镉含量不高于 0.1 mg/kg、大豆不高于 0.2 mg/kg 都是符合国标的。用镉限量 0.1 mg/kg 的小麦和镉限量 0.2 mg/kg 的大豆做出镉含量 0.011 mg/kg 的酱油，有什么奇怪的？要是真担心重金属，最重要的是少吃点海鲜和蘑菇，而不是担心酱油。因为按照上述国标，松露、姬松茸镉限量 2 mg/kg，松茸、牛肝菌镉限量 1 mg/kg，海蟹、皮皮虾镉限量 3 mg/kg，贝类、鱿鱼镉限量 2 mg/kg。也就是说，这些食物的镉限量都比媒体拿出来说事儿的酱油的镉含量高出 100 倍以上。不过海鲜可以少吃，但饭总是天天要吃的，所以从很多很多年前开始，我买米买面的时候就会对照污染地图看产地。这是中国地质调查局网站上最新的镉污染地图：
@财联社APP
【国家数据局局长刘烈宏主持召开数据标注领域民营企业座谈会】财联社3月20日电，3月19日上午，国家数据局党组书记、局长刘烈宏主持召开数据标注领域民营企业座谈会，与海天瑞声、数据堂、百度、安徽飞数、小咖邦、乐普通盈、砺英数智、谱蓝科技、希尔贝壳、整数智能等11家民营企业代表座谈交流。刘烈宏表示，下一步，国家数据局将认真研究吸纳本次座谈会上民营企业代表提出的相关意见建议，在政策制定、技术攻关、标准制定等方面重点发力，为数据要素市场化配置改革提供好的政策环境和技术环境，推动数据“供得出、流得动、用得好、保安全”。同时，要加快培育壮大数据标注产业多元化经营主体，形成良好的数据标注产业生态，充分发挥数据要素叠加倍增作用。
蜜雪冰城的定位就是低价，而千禾走的是高端路线。所以同样是被媒体整，舆论对蜜雪冰城的态度和对千禾的态度就很不一样。这回 PuraX 7499 起，所以#人人都买得起#的舆论也很不好看。归根结底，高端产品在舆论场是有原罪的。“原罪”是什么意思？就是你没做错什么，但大部分人看你不顺眼，你犯了让人不顺眼罪，那肯定是你的错。
前几天粉丝群有人说把我的某条微博打印出来装相框里当座右铭了。这让我想起早年曾有一家安全公司把我说的这句话贴墙上激励员工：