@老Q在上海

前年回福建过年，在泉州的开元寺，讲解员给我们讲一根柱子上有三四个不同宗教的神。因为当时募资的时候，仅靠佛教徒捐款是不够的，于是就扩大募资群体，只要你捐款，不管你信的什么神都给你刻上。这就是中华文明生生不息的源泉，开放包容，务实合作。 ​​​

@西雅图黄都督

o1为什么会突然用中文思考？用o1 pro翻译了这篇文章并分析了原因，看着玩玩。网页链接OpenAI 发布了其首款“推理”AI 模型 o1 后不久，人们就开始注意到一种奇怪的现象。即使用英文提问，这个模型有时也会在“思考”过程中突然切换到中文、波斯语或其他语言。在处理某个问题时——例如“strawberry 这个单词里有几个字母 R？”——o1 会开始其“思考”过程，通过执行一系列推理步骤得出答案。如果问题是用英文写的，那么 o1 的最终回答会用英文。但在得出结论之前，它会在某些步骤中使用其他语言。“[o1] 在思考的中途突然开始用中文思考了，” 一位 Reddit 用户如此表示。“为什么 [o1] 会随机地开始用中文思考？”另一位用户在 X 上发帖问道。“整个对话（超过 5 条消息）都没有用到中文。” Why did o1 pro randomly start thinking in Chinese? No part of the conversation (5+ messages) was in Chinese… very interesting… training data influence pic.twitter.com/yZWCzoaiit— Rishab Jain (@RishabJainK) January 9, 2025OpenAI 尚未对此发表解释，也没有对 o1 的这一奇怪行为做出回应。那么究竟发生了什么呢？AI 专家们也不确定。但他们提出了一些可能的理论。在 X 上，包括 Hugging Face 的 CEO Clément Delangue 在内的几位人士都提到了这样一个事实：像 o1 这样的推理模型在训练时使用了包含大量中文字符的数据集。Google DeepMind 的研究员 Ted Xiao 则表示，包括 OpenAI 在内的一些公司使用第三方中国数据标注服务，而 o1 切换到中文就是“中文语言对推理的影响”的一个例子。“[像] OpenAI 和 Anthropic 这样的实验室，会为科学、数学和编程等博士级别的推理数据使用[第三方]数据标注服务，” Xiao 在 X 的一篇帖子中写道，“出于专家劳动力的可用性和成本原因，这些数据提供商中很多都位于中国。”标注（也称标签或注释）在模型的训练过程中帮助模型理解并解释数据。例如，用于训练图像识别模型的标注可能表现为对图像中每个人、地点或物体的描述性标记或说明。研究表明，存在偏见的标注会导致模型出现偏见。例如，一般的标注者更倾向于将非裔美国人白话英语（AAVE，一些黑人美国人使用的非正式语法）中的短语标记为有毒，这会导致根据这些标注训练的 AI 有害言论检测模型将 AAVE 视为不成比例地有毒。不过，也有其他专家并不认同 o1 使用了中文数据标注所导致的这一说法。他们指出，o1 在进行推理时，同样可能会切换到印地语、泰语或者其他非中文语言。相反，这些专家认为，o1 和其他推理模型可能只是简单地选择它们认为最有效率的语言来完成目标（或者纯粹是在“幻觉”）。“该模型并不知道什么是语言，也不知道不同语言之间的区别，” 阿尔伯塔大学的 AI 研究员兼助理教授 Matthew Guzdial 在接受 TechCrunch 采访时表示，“对它而言，一切都只是文本。”的确，模型并不直接处理单词，它们使用的是“标记（token）”。一个标记可以是单词，比如 “fantastic”；也可以是音节，比如 “fan”、“tas”、“tic”；甚至可以是构成单词的单个字符——例如 “f”、“a”、“n”、“t”、“a”、“s”、“t”、“i”、“c”。与数据标注类似，标记也可能引入偏见。例如，许多将文本转换为标记的转换器都默认一句话中的空格代表一个新单词，但实际上，并不是所有语言都使用空格来分隔单词。AI 初创公司 Hugging Face 的软件工程师 Tiezhen Wang 赞同 Guzdial 的观点，认为推理模型在语言使用上的不一致性，可能是模型在训练过程中形成的关联导致的。“通过包容各种语言的细微差别，我们拓展了模型的世界观，并使其能够从人类知识的全谱系中学习，” Wang 在 X 上发帖写道。“比如说，我更喜欢用中文来做数学，因为每个数字都是一个音节，让计算变得简洁高效。但当涉及到无意识偏见之类的话题时，我会自然而然地切换到英文，主要是因为我最初学习和吸收这些概念时用的就是英文。”Wang 的理论很有可能是正确的。毕竟，模型本质上是概率机器。它们在大量示例上进行训练，学习在做预测时所需的模式，比如在邮件中 “to whom” 通常会在 “it may concern” 之前出现。但非营利组织艾伦人工智能研究所（Allen Institute for AI）的研究科学家 Luca Soldaini 提醒大家，我们并不能百分之百确定这一点。Soldaini 在接受 TechCrunch 采访时表示：“由于这些模型本身的不透明性，对于已部署的 AI 系统出现这种现象，我们无法找到确凿的证据。这也是为什么我们需要 AI 系统构建透明度的诸多理由之一。”在 OpenAI 还未给出答案之前，我们也只能猜测为什么 o1 会用法语来思考歌曲话题，却用中文来思考合成生物学。第二部分：文章中提到的现象成因分析从文中可以看出，o1 模型在推理或回答问题时，偶尔会“随机”切换到中文、波斯语或其他语言，即便对话本身是用英文进行的。文章列举了几种可能性和理论来解释这一现象： 1. 训练数据中含有大量多语言内容 • 文章提到，像 o1 这样的推理模型在训练时，往往会使用包含大量中文（或其他语言）字符的数据集。 • 由于数据的多语言特性，模型在进行推理时，可能会基于训练中学到的某些语言模式或特征，临时切换到其他语言。 2. 第三方数据标注服务的影响 • 有专家指出，OpenAI 以及其他公司可能使用了来自中国的第三方数据标注服务，这些服务在处理博士级别的科学、数学和编程推理数据时，标注中可能大量使用中文，或在标注过程中产生某些语言偏好。 • 这会导致模型在推理时，在某些特定领域（如数学推理）更容易激活中文的语言模式。 3. 模型并不真正理解语言，而是将其视为“符号/标记” • 模型在底层并不直接“识别”单词或语种，而是处理更细粒度的 token（可能是整词、音节或字符）。对模型而言，不同语言只是不同的文本模式。 • 一旦在推理过程中，某种文本模式（例如中文字符或其他语言字符）更符合模型的概率分布，模型就会倾向于输出这些标记。 4. 多语言关联和使用效率 • 有人提出，模型可能会在不同知识或推理场景下，自动切换到“最适合”该场景的语言。 • 正如文中引用的 Hugging Face 工程师所说，他本人做数学更倾向用中文，因为中文数字简短、计算效率高；但讨论无意识偏见等概念时，又更自然使用英文。 • 模型可能在训练时也学习到了类似的多语言关联，当它需要进行某类推理（比如复杂计算）时，就可能“想到”中文。 5. 模型的“幻觉”（Hallucination） • 由于模型本身是大规模统计/概率机器，可能有时只是“随机”地出现语言切换，这并不一定具有真正的逻辑指向，而更接近一种幻觉或意外匹配。 6. 缺乏透明度导致的难以解释 • 文章最后也提到，我们无法确切知道模型内部为何会在某些时刻切换语言，这是由于大模型的不透明性。 • 即使专家们能给出一些合理推测，却难以通过“白箱”方式验证，毕竟大模型的训练过程和参数分布对外界依旧是“黑箱”。因此，综上所述，o1 在推理过程中随机切换到不同语言的成因大概率是多重因素共同作用的结果： • 多语言训练数据本身使得模型具备了在不同语言之间切换的“能力”。 • 数据标注和标记方式在一定程度上偏向中文或其他语言，形成了特定的语言关联。 • 模型的本质属性（基于 token 的概率机制、对语言的“无知”）导致了模型可能出于效率或误差，选择了与问题语言不符的输出。 • 多语言关联和个人偏好（从人类标注或文本样本中学到的偏好）也可能塑造了模型在特定领域使用特定语言的倾向。 • 缺乏公开透明度意味着我们对这一现象暂时只能停留在推测层面，尚无法最终确认内部具体的运作细节。

@兲虎

集采相关的那些有的没的，我建议咱们先放一边我建议先把中成药集体踢出医保，把这个搞完了咱们再去扯皮集采的事儿谁赞成？谁反对？ ​​​

@纪春生在美国

苹果公告：因Tiktok禁令，ByteDance以下产品在美国将于19日之后受到影响，在苹果商店将不能下载或无法更新：TikTokTikTok StudioTikTok Shop Seller CenterCapCutLemon8HypicLark - Team CollaborationLark - Rooms DisplayLark Rooms ControllerGauth: AI Study CompanionMARVEL SNAP ​​​

@奇偶葡萄糖

我服了！ ​​​

@香港商報

【#滑雪赛事男子拿奖金女子仅获毛巾# 国际雪联回应】跳台滑雪世界杯赛预选赛近日在德国举行，比赛结束后，主办方向获得预选赛男子第一名的扬·海尔奖励了3000瑞士法郎（人民币约2.4万元），而女子第一名的德国选手塞琳娜·弗赖塔格只获得了毛巾和洗发水。塞琳娜·弗赖塔格出生于2001年5月19日，德国跳台滑雪运动员。她在2016-2017年国际雪联跳台滑雪阿尔卑斯杯赛中获得总排名冠军，并于2018-2019赛季开始参加世界杯级别的比赛。在2019年北欧青少年世界滑雪锦标赛上，她获得了团体赛银牌和混合团体赛铜牌。2022年，她参加了北京冬奥运会。2023年，她在普拉尼卡世锦赛赢得了两枚金牌。她的父亲和哥哥都曾是跳台滑雪运动员。2024年12月30日，弗赖塔格在德国加尔米施-帕滕基兴举行的跳台滑雪世界杯赛预选赛“两夜锦标赛”中获得第一名，赛后她告诉德国媒体说：“我收到了一个合作商赠送的包，里面有沐浴露、洗发水和四条小手巾。很遗憾，连500欧元左右的钱也没有。”滑雪运动的管理机构国际雪联对此表示，预选赛的女选手不会像男选手一样获得奖金，因为女子项目的观众数量和市场收入比不上男子。他们说女选手除了获得这个礼品包，还有一张周末健康护理券，“当然只是出于好意，但如果将其视为对胜利的正式奖励，可能会让人感到沮丧，这是可以理解的。”在正式比赛中，斯洛文尼亚选手尼卡·普雷夫奇夺得女子冠军，获得4300瑞士法郎（人民币约3.4万元）奖金。奥地利选手丹尼尔·茨乔费尼格获得男子组冠军，奖金为13,000 瑞士法郎（人民币约10万元），是女子冠军的近4倍。（扬子晚报）扬子晚报的微博视频