我们再分析下ScaleAI，网友说他们不采集任何数据，数据都是甲方给他，他们标注后再交给甲方，合法。那么请问甲方，都是OpenAI，微软这种牛逼公司，大量显卡，有这个数据为什么不自己打标呢？可能网友又说ScaleAI用的是人工，大厂不想管理这么多人工嫌麻烦，那么ScaleAI就是一个众包打标管理公司，而不是高科技公司，怎么来的这么高估值？当然，可能还有网友会说，ScaleAI就是一家合法合规的公司，绝不采集任何数据，数据打标方面有独到之处，吸引了大厂的订单，美国我不清楚，中国的市场，甲方能不动手尽可能不动手，能不冒险尽可能不冒险，如果有个打标任务，肯定是把采集也包含在里面的，否则干嘛让你打标呢？美国市场我不懂，也许真就合法闭环了。不过OpenAI每次遇到数据纠纷也从来都自己抗了，没把小弟ScaleAI拿出来，这也是事实。先后败诉纽约时报，胜诉Raw Story Media和AlterNet Media。。总之采集这个事情谁干的，现在是个迷，也许ScaleAI真没干吧。。
预训练这种无监督的，是我们数据行业来说，差不多是到头了。但是增量训练和调优（sft）都是机会，这个不会枯竭的，这就是为什么我厂电费这么高的原因。//@古月天H:@梁斌penny 梁博怎么看
@歸藏的AI工具箱
Ilya 罕见发声在 2024 年 Neurips 大会上演讲#AI创造营# “我们所熟知的预训练将会终结”大致介绍了：- 深度学习的演进- 为什么预训练已经达到上限- 未来的发展方向- 对超级智能的思考我转录总结了后面三个部分预训练终结预测的关键论点：1. 预训练终结的必然性演讲者明确表示："预训练将毫无疑问地结束"（Pre-training as we know it will unquestionably end）2. 终结的核心原因：计算力与数据的不平衡发展 a) 计算能力方面持续增长:- 硬件性能不断提升- 算法效率持续改进- 计算集群规模扩大- 这些因素共同推动计算能力的指数级增长b) 数据增长的天然限制:- "我们只有一个互联网"（we have but one internet）- 可用的优质数据是有限的- 演讲者用了一个形象的比喻："数据是AI的化石燃料"（data is the fossil fuel of AI）- 就像化石燃料一样，数据是在特定时期产生的有限资源- 我们已经达到了"峰值数据"（peak data）的状态3. 数据限制的影响- 虽然现有数据仍然可以支持相当长一段时间的发展- 但最终必须面对数据量增长有限的现实- 需要寻找新的解决方案和发展方向行业未来发展方向：1. 主要发展方向a) Agents (智能代理)- 被广泛认为是未来发展方向之一- 演讲者提到"很多人都在谈论agents"- 认为这个方向"最终一定会有所突破"- 但具体细节仍然模糊b) 合成数据 (Synthetic Data)- 被视为一个关键发展方向- 但演讲者指出这是个很大的挑战- 提到"弄清楚这意味着什么是一个大挑战"- 暗示当前对合成数据的理解和应用还不够成熟c) 推理时计算优化- 特别提到了O(1)模型作为例子- 强调在推理阶段优化计算效率的重要性- 这代表了一个更注重计算效率的发展方向2. 生物学启发的新思路演讲者特别分享了一个生物学案例来说明潜在的发展可能：a) 哺乳动物脑体比研究- 展示了不同类型哺乳动物的脑重与体重关系图- 发现常规哺乳动物和非人类灵长类动物遵循相似的比例关系- 但人类祖先（Hominids）展现出不同的缩放指数- 这种差异表明可能存在突破性的发展路径b) 启示- 证明了系统可以找到不同的发展路径- 暗示AI发展也可能出现类似的质变- 当前的扩展方式只是我们找到的第一种方式- 可能存在其他未被发现的发展路径3. 长期展望演讲者对更长远的未来提出了几点思考：a) 质变可能性- 未来系统将具有真正的推理能力- 可能发展出自我意识- 将产生与当前系统质的不同b) 不可预测性- 强调具有推理能力的系统将变得更不可预测- 类比国际象棋AI对人类棋手的不可预测性4. 关键观点- 现有的发展方向都在尝试解决"后预训练时代"的问题- 需要开放思维，接受多样化的解决方案- 强调了探索新路径的重要性- 承认预测未来很困难，各种可能性都存在演讲者的态度是开放但谨慎的，既认可这些方向的潜力，也承认我们对未来的认知有限。他特别强调，我们当前的扩展方式可能只是众多可能性中的一种，未来可能会出现完全不同的发展路径。这种多元化的展望对于AI领域的发展具有重要的启发意义，提醒我们要保持开放的心态，准备迎接可能的范式转换。关于超级智能(superintelligence)的思考：1. 发展趋势与必然性- 演讲者明确指出：超级智能是该领域明显的发展方向- "这显然是我们正在建造的东西"(This is obviously what's being built here)- 强调超级智能将与当前AI有质的区别2. 当前AI系统的特点与局限现状描述：- 拥有令人难以置信的语言模型能力- 在某些评估中表现出超人类水平的性能- 但同时表现出奇怪的不可靠性- 容易混淆或出现错误- 很难调和其超人类表现与不稳定性之间的矛盾3. 未来超级智能的关键特征a) 真正的智能代理(Agentic)特性- 当前系统的代理性很弱，"非常非常轻微的代理性，刚刚开始"- 未来系统将具有真正的代理能力b) 推理能力的特点- 将具备真正的推理能力- 推理能力越强，系统越不可预测- 对比当前深度学习系统： - 当前系统主要复制人类直觉 - 类似于"0.1秒反应时间"的直觉处理 - 相对可预测c) 其他关键特征- 能从有限数据中理解事物- 不会轻易混淆- 可能发展出自我意识- 自我意识被视为世界模型的自然组成部分4. 不可预测性的讨论演讲者特别强调了不可预测性：- 用国际象棋AI作为例子- 即使对最优秀的人类棋手来说也是不可预测的- 这种不可预测性将是超级智能的重要特征5. 影响与挑战- 系统将具备"令人难以置信和惊人的能力"- 将带来与现有系统完全不同的问题和挑战- 演讲者将具体影响留给听众思考："作为练习留给你们想象"6. 对未来的态度- 承认预测未来是不可能的- "各种可能性都存在"- 保持开放但谨慎的态度演讲者的这部分讨论特别强调了未来AI系统与当前系统的质的区别，尤其是在推理能力、不可预测性和自主性方面。他提醒我们需要为这种根本性的变化做好准备，同时也承认我们可能无法完全预测这种转变带来的所有影响。这种思考框架为我们理解和准备AI的长期发展提供了重要的视角。演讲视频：x.com/vincentweisser/status/1867719020444889118
同志们，晚安！ t0mbkeeper的微博视频 Translate content播放视频播放当前时间 00:00/时长 02:19加载完毕: 3.68%媒体流类型 直播试图直播，当前实时播放直播 播放速度0.5x1x（默认）, 选择1.25x1.5x2x倍速高清 1080p高清 720p, 选择标清 480p流畅 360p720p小窗播放试试“小窗播放”，边刷微博边看视频 全屏静音This is a modal window.t0mbkeeper+ 关注 复制视频地址 正在小窗播放中点击展开02:19 9554次观看
@观察者网
【乌消息人士：#俄高级导弹科学家被乌方暗杀#】据乌克兰国际文传电讯社、乌克兰TSN电视台网站当地时间12月12日报道，乌军消息人士称，乌国防情报局在俄罗斯莫斯科郊区刺杀了俄高级导弹科学家米哈伊尔·沙茨基（Mykhailo Shatsky）。消息人士称，沙茨基是在莫斯科郊区科捷尔尼基市附近的库兹明斯基公园被枪杀的。据介绍，沙茨基曾任俄火星设计局软件部门负责人、副总设计师。火星设计局是俄罗斯国家原子能公司的子公司。他将X-59巡航导弹升级到X-69水平，并开发了新型无人机。消息人士指出，沙茨基的同事认为他是将人工智能技术融入俄罗斯无人机、飞机及其他航天器的主要理论家。
云计算对传统IT的冲击。 //@南郭刘勃:转发微博
@包特_ExpEcon
网上色情对结婚率的影响一篇2016年EEJ论文研究了一个神奇的话题：越来越多的年轻男性在网上看小电影是美国结婚率下降的原因吗？作者通过一份美国全国问卷数据的研究，以各地网速作为工具变量分析了这个问题。工具变量回归估计的边际效应大得惊人：年轻男性上网时间每增加一小时，结婚率降低2%以上；看色情电影时间增加一小时，结婚率降低5%以上。。。。。。#论文##经济学##结婚率# Malcolm, M., & Naufal, G. (2016). Are pornography and marriage substitutes for young men?. Eastern Economic Journal, 42, 317-334.