现在deepseek算比较大了,满血版整个模型也就700GB,和训练数据比还是小太多了。当然如果加知识库就不好说了。模型本身还是压缩训练数据了,学习到了本质的东西的。
@硅谷陈源博士
对大模型的一点胡思乱想,欢迎行家指教。1. 一直以来,我们习惯把机器学习和大模型看作是对数据的压缩。当模型本身比数据小的时候,这个说法很合理。但现在的大模型越来越大,最终如果参数量甚至超过了训练数据量本身,那它还算是“压缩”吗?还是更像是一种“记忆”?如果模型只是把见过的内容记下来,然后再现,那“智能”到底体现在哪里?是否更像是一种高效的记忆系统,而不是真正具有理解和推理能力的智能系统?2. 当前大模型的评测也存在类似的问题。大家热衷于让大模型“做题”。问题是,随着训练数据也来越大,覆盖的范围越来越广,许多测试题目可能已经包含在训练数据集里,模型在训练中早已见过。结果就是,我们可能不是在评测模型的泛化能力,而是在考它的“记忆力”。这不仅降低了评测的价值,也让模型之间的对比失去了公平性。一个真正有意义的评测体系,应该建立在完全独立、对模型来说全新的问题之上,才能真实地反映出模型的理解、推理和泛化能力。如何创建这样独立的测试数据集呢?#人工智能##大模型##计算机科学##人工智能和大模型的困境#
//@翻译驴://@程序员邹欣:很多著名学校的课程都公开免费,论文,代码也免费,但是还是有很多人争着去付费上研究生🤔 一定有重要的原因,可以问问 AI 😄//@岸边的澜沧:付费的同学那不是要哭死了
@张岱樾
斯坦福大学把一门价值 5万+ 的AI课程,免费放上了 YouTube完全公开、无注册、无门槛这原本是他们对研究生收费 7570 美元的课程现在人人都能学强烈建议收藏,这是真·知识平权地址:www.youtube.com/playlist?list=PLoROMvodv4rOY23Y0BoGoBGgQ1zmU_MT_#ai正当学# #ai探索计划#
要在这网络五浊恶世建立一个气氛友善的茧房,每个成员都需要抑制住用正确的废话否定别人的欲望。什么叫“用正确的废话否定别人”呢?很多年前我在微博上推荐《默克诊疗手册》。大家看了都觉得很好。这时候有个人用很轻佻的语气跳出来说《默克诊疗手册》不行,知识不如 UpToDate 新。UpToDate 当然新,当然好。由全球数千名各领域的专家维护,根据医学界最新研究成果、临床试验数据、权威指南和专家共识,实时更新内容的在线医学决策支持系统,能不好吗?所以,要说《默克诊疗手册》的知识不如 UpToDate 新那自然是对的。姑且不提 UpToDate 每年要 2000 元订阅费,其内容对没有医学背景的人来说也很难看懂,即便 UpToDate 和《默克诊疗手册》一样免费,其内容和《默克诊疗手册·家庭版》一样通俗易懂,用 UpToDate 来否定《默克诊疗手册》也一样是糟糕的行为。
我妈说她买了一种奶粉,很不错。我一听就警觉起来,问她是不是在直播间买的。她说是的,是“小分子奶粉”,特别好。我说别在直播间买东西,最好是就根本别看直播,不上这个当也得上别的当,如果需要奶粉我来买。然后我给她看了我买的奶粉。我妈一看说就是这种,跟你这个一模一样。我不太信,把奶粉袋子正面反面都给我妈看了,并确认了袋子的颜色、商标的图案。我妈说都一模一样。我说那这个奶粉倒是没问题,不过奶粉没有什么小分子不小分子,胡扯这些肯定是为了卖高价。于是我问我妈她是多少钱买的。她说了个数,然后我给她看了我买的价钱。她买的价钱是我的两倍。
说到这个中医黑,我就想起了: 查看图片 //@闫大夫聊肝病:中医黑居然是个贬义词//@卤煮疫苗:我都懒得去右边主页看关注列表了,连人话都说不明白,可能是因为毒物蓄积太久了//@用户8414814794:沆瀣一气,一丘之貉,说的就是你俩,一对儿中医黑,裴因为被揭露中医黑,被单位开除了,哈哈
@卤煮疫苗
见到@小儿外科裴医生 本尊了