//@agentzh:好吧，我们的工程师同学昨天测试时乌龙了，当时只压了一个并发的请求 当今天他使用 2048 并发度时，终于总的输入输出吞吐量可以达到 3800 tokens 每秒了。比单并发时的 22.8 tokens 每秒好太多了。不过即便如此，仍然偏贵，和 GPT-4o、Claude 3.5 的 API 花费在同一数量级上，虽然要便宜一两倍的样子。另外，他注意到去掉 sglang 的 --enable-dp-attention 选项，吞吐量更高。
@agentzh
今天我们团队的同学在 8 块 H200 GPU 上面通过 Deepseek 官方推荐的 SGLang 框架跑了一下满血版的 Deepseek V3 671B 大模型。640 多 GB 的模型文件下载就花了十几分钟。好不容易跑起来后，发现压测时，用单并发的请求就把 8 块卡都打满了（见下图一），而输出吞吐量只有不到 22.8 tokens/秒（见下图二）。太惨了。人类手动使用都慢啊，更不用说是 Agent 程序来调用了。难怪 Anthropic 早就训练好了 Claude 3.5 Opus 却一直不放出来，敢情也是模型开销过于昂贵，没有那么多硬件资源对外服务了。不知道 Deepseek 官方的 API 跑的是什么样的模型，肯定至少是 quantized 过的吧？或者同时也蒸馏到了较小的模型。不然，这个成本太高了。#ai创造营##H200##DeepSeek为何一夜爆火#
@互联网的那点事
Google 悄悄修改了 其人工智能伦理原则 允许 AI 用于武器开发、监控系统和军事用途Google 过去的 AI 原则（2018年制定）曾明确承诺：✅ 不开发 可能造成整体危害的技术✅ 不开发 武器 或 会直接伤害人类的技术✅ 不支持 违反国际公认标准的监控技术✅ 不参与 违反国际法和人权的 AI 项目🔹 但在最新修改中，Google 移除了这些承诺，改为：Google 将在 AI 应用中实施“适当的人工监督、尽职调查和反馈机制”，确保与用户目标、社会责任和国际法律一致。这一变化引发了员工和公众的担忧，特别是 Google 曾因参与美国军方无人机项目而引发过公司内部抗议，导致 2018 年设立了这些 AI 伦理原则。Google 解释的理由：AI 发展迅速，需要新规则：过去的 AI 伦理原则已经不符合当下发展趋势。地缘政治压力：AI 竞争正在加剧，尤其是中国和美国的 AI 军备竞赛。商业竞争：微软、OpenAI、亚马逊等公司在军事 AI 领域的扩张，Google 可能不想被甩在后面。官方声明： Google 研究、技术与社会高级副总裁 James Manyika 和 Google DeepMind CEO Demis Hassabis 共同表示：“我们相信民主国家应该在 AI 发展中占据主导地位，并以自由、平等和人权为核心价值观。我们希望 AI 既能保护人类，也能促进全球经济增长并支持国家安全。”但这一说法被许多业内人士和 Google 员工质疑，认为 Google 只是为了商业利益而放弃了 AI 伦理承诺。详细内容：网页链接
@没药花园案件
今天在转发里看到这样一条：大意说张兰做生意被那么多对手坑骗，而她只坑骗大S，我就忍不住笑了。她真的是被别人骗吗？还是她坑骗了别人，别人拿法律武器保护自己的利益？她作为圣基茨和尼维斯（世界上少数和台湾建交，不和中国大陆建交）的公民，总是声称自己是中国企业家，被海外资本坑了。图8，图2而事实是：当年俏江南和另一家中国公司对赌协议输了，急于找人接盘。2012年我国出台禁止公费高消费的规定，俏江南生意大不如前。他们通过财务造假（一家生意已经不大行的餐馆伪造生意兴隆）抬高自己的售价，把80%多的股权以2.8亿美元出售给CVC。CVC老老实实把全部金额打到卖方账上，张兰个人就到账12亿人民币。CVC实际接手俏江南后才发现数据不对，等回过神追讨时，才发现她在收到钱的当月已经全部转移到海外他人名下信托（心虚可见一斑），并且用那个信托名义在美国买豪宅。CVC不在网上口水战，而是用法律说话，由此开始漫漫八年追讨/维权的道路。中国贸仲委做出裁决，要求张兰归还CVC1.4亿美元，但张兰耍赖，说自己名下没钱，怎么办？CVC只能去有她资产的地方到处起诉，要求执行，这个成本代价可想而知。而无论中国香港还是新加坡、美国的法院，都做出了支持CVC的判决。仲裁委员会和法院不看你在网上说什么，看的是专业的数据、证据。另外由于她在香港拒绝披露自己的财产（就是耍无赖，不理法院的命令），被判藐视法庭，一年监禁，所以她不敢去香港。图7（现在不知道有变化没）大家可以读下图2一位经济学博士写的，通俗易懂。以及邓律师写的图3。我们平时分析案件为什么也要参考一个人过去的行为模式和性格品性，因为这是有一定连续性的。一个人善于颠倒黑白，总是吃“假爱国”真流量，既然可以让那么多人相信她们母子被前TD儿媳坑惨了，那么也可以让你们相信她每次都被境外资本坑骗了。可以看看@酸辣粉造贾日记 这个账号，整理了很多东西。
看完了射雕，确实不大行，票房成绩符合实际情况。几点硬伤。1）感觉男主角正面写实镜头太多了，两个女主角正面镜头也很多，有点偶像剧感觉 2）故事交代的节奏有问题，看着看着就走神了，没有快速让人入戏，这个编剧有责任，需要不断设置”期待点“，吸引观众找到答案，或者引人入胜。3）蒙古草原应该有大规模战争场面，旌旗猎猎，号角连营，显示出郭靖不仅有单兵作战能力，还有指挥大兵团作战的能力，这个本来剧情有铺垫的，结果最后彩蛋看到一点，有遗憾，也许被剪掉了。4）最后武打场面感觉恐龙特急克赛号，太夸张了，感觉不真实。5）人物台词太现代化了，缺乏古风，太出戏了，无法让人带入到古代的场景。应该不会拍下一部了，第一步就残了，下一步就不好圈人进来了，太可惜了。两位女主角倒是很漂亮，以后如果好好打磨，还是有前途。
将军难免阵前死，嫖客未必马上风。
运动了！运动了！美利坚知识分子也要上山下乡！都得接受红脖再教育！
@光头怪博士
美国国家科学基金（NSF；美国最大的基础科研资助机构）的副主任说，未来两个月左右，NSF准备进行1/4-1/2现有员工规模的裁员。同时，NSF终止了Career-Life Balance（职业-生活平衡）项目。这是一个为遇到家庭困难，需要请长假的科研人员、博士后、研究生提供Family Leave阶段补贴的非常好的项目，目的就是为了不让更多的处于早期职业阶段的科学工作者因为养育子女或者近亲生病就被迫转行。。。。更加离谱的是，Musk的DOGE（政府效率部门）的“打手”（据报道为一批完全没有公务员经验和接触敏感政府文件资质的年轻人）走进了美国国家海洋与气候管理局（NOAA）。。。然后NOAA著名的公开展示大气CO2含量变化和全球气温等重要气候变化指标的网页就。。。消失了。这些数据目前还可以在UCSD相关科研团队自己的页面上找到。全球气候变化和Anti-Woke有什么关系？不展示CO2数据怎么提高政府效率？同样的，NASA地球科学与应用科学公开资源网页目前也变成了404状态。网页上的信息显示“所有的内容再重新上线前都将被审核”。每天打开新闻，即便仅仅关注科研和教育领域，看到的都是一种之前未曾想象过的“礼崩乐坏”。这种所谓的“矫枉过正”和“减员增效”，我认为可以不夸张的认为是美国极端保守主义与少数Ultra-Rich沆瀣一气推动的一场由内而外的夺权运动。我们可以在很多很多领域里批评、指责、甚至鞭笞美国政府的种种行径、分析美国各种社会问题背后的原因。但如果仅限于联邦政府对基础科研的支持、对STEM领域的扶持，放眼美国NSF、NASA、DOE、NIH、NOAA、甚至农业部等等机构，真的依然是世界范围内值得学习的榜样，有很多很多可取之处，在“官僚管理”的严谨和效率+效果上有很不错的平衡。以前我试着谈过我对DOE体系下评审流程中“官僚”部分的理解，指出过只有在我自己参与到大科学项目的推动后，才能慢慢理解其中很多看似官僚得不行的流程和形式的意义。对这套科研体制的破坏、对科学数据的掩盖、对科学工作者的打击，可以清晰地反映出背后政策制定者和执行者的底色，也能透露出这些人的恐惧。出于个人价值观，我毫不掩饰我对Trump政府和其背后的美国宗教保守势力的厌恶。但我的确不曾预料到，一个靠互联网起家、靠高端制造业发达、靠科技创新企业成为无数人偶像的角色，会扯下自己所有的伪装，成为保守主义和反科学主义的代言人和先锋。这其中绝不是蠢，必须是恶。成色极高的恶。更令人遗憾的是，这份恶中溢出的污水，注定要漫出美国。。。