peopleevents
梁斌penny 2025-04-20 22:37+08:00Z
原微博

现在deepseek算比较大了,满血版整个模型也就700GB,和训练数据比还是小太多了。当然如果加知识库就不好说了。模型本身还是压缩训练数据了,学习到了本质的东西的。

@硅谷陈源博士

对大模型的一点胡思乱想,欢迎行家指教。1. 一直以来,我们习惯把机器学习和大模型看作是对数据的压缩。当模型本身比数据小的时候,这个说法很合理。但现在的大模型越来越大,最终如果参数量甚至超过了训练数据量本身,那它还算是“压缩”吗?还是更像是一种“记忆”?如果模型只是把见过的内容记下来,然后再现,那“智能”到底体现在哪里?是否更像是一种高效的记忆系统,而不是真正具有理解和推理能力的智能系统?2. 当前大模型的评测也存在类似的问题。大家热衷于让大模型“做题”。问题是,随着训练数据也来越大,覆盖的范围越来越广,许多测试题目可能已经包含在训练数据集里,模型在训练中早已见过。结果就是,我们可能不是在评测模型的泛化能力,而是在考它的“记忆力”。这不仅降低了评测的价值,也让模型之间的对比失去了公平性。一个真正有意义的评测体系,应该建立在完全独立、对模型来说全新的问题之上,才能真实地反映出模型的理解、推理和泛化能力。如何创建这样独立的测试数据集呢?#人工智能##大模型##计算机科学##人工智能和大模型的困境#

上一页100/995每页 10总共 9943下一页