有网友问我抖音公开的那个什么Wide & Deep双塔模型是怎么一回事。。这个东西是2016年谷歌推出的,也是我博士毕业以后的事情了。。我刚刚现场学习了一下,其实不复杂。Wide处理简单线性特征;Deep处理复杂非线性特征。双塔呢一个是用户塔,一个是内容塔。用户的各种特征不断的提纯,宽(wide),深(Deep)模型得到的向量相加。训练过程中. 如果一个用户A看了内容B那么模型优化目标就是:P(用户A的wide部分 + 用户A的Deep 部分 + 内容B的wide部分+内容B的Deep部分) = 1预测过程,有新用户来请求的时候,就拿热门内容和一些方法搞一些预测内容,然后那这个模型算下概率分,得分高的入选。。应该是比较基本的打法,我也是搞了30分钟,现场学习了下,不一定对,仅供参考。方便大家给领导吹牛什么的,够用了。
@新浪财经
【#加密货币拉升近20万人爆仓#】11月8日周六,比特币突然拉升,截至北京时间22时50分,比特币涨逾2%,一度涨至102000美元,而以太坊则大涨超6%,狗狗币涨近10%,多只加密货币产品跟涨。CoinGlass数据显示,加密货币全球共有近20万人爆仓,爆仓资金近5亿美元。前几日,比特币曾连续跳水,一度下探至99008美元/枚,是6月末以来首次跌破10万美元大关。北京市社会科学院副研究员王鹏向记者表示,展望加密货币后续走势,当前机构参与多,或削弱极端波动。短期内,第四季度行情多空交织,机构需求、降息预期有望带来提振,但美国政府收紧加密监管、大量加密交易平台和数字货币涌现导致竞争加剧,对技术升级的存疑,也会抑制涨势。有分析师表示,比特币保持在98000美元的水平至关重要。失去它很容易将价格推到90000美元至74000美元之间。如果丢失这些关键支撑位,可能会在70000-60000美元区域进行更深的调整。(21世纪经济报道)
用 AI 发现代码中的漏洞已经没什么稀奇了。但是在密码学库,尤其是经过多轮人工审计的 Web3 社区的密码学库里还能发现漏洞,这就让我们对 AI 能力边界的认知又扩大了一圈。有趣的是:Sam Altman 的 Worldcoin 项目也用了这个密码学库。网页链接
现在美国AI公司把算力储备看作是拿AGI门票的首要门槛,我理解,这是错误的,你看Ds,Kimi都用较低的算力预算就完成了模型迭代。真正核心的是数据,特别是东方数据。。东方数据具有特别的思辨,又不失灵活。美国AI公司一直看不上中文数据,而且我的感觉可能恰恰是这个地方是美国AI大模型瘸腿的一环。除此之外,合成数据的生成方面,这个里面学问极大,老美那边太迷信原始数据,大量原始数据,大力出奇迹,但是在合成数据方面非常鄙视,这个里面我们国内大模型花样玩得不要太好,很多合成数据是非常复杂的流程获得的,提取和萃取了人类和已知最强模型思维能力深处最精华的部分。这方面我可以说美国AI公司差距极大,具体例子我不好举,免得叫洋人学去了。最后,在推理数据的获得方面,这个是目前最前沿的了,我们传统的认为搞点题库,搞点代码就能提高推理能力了,那是1.0时代了,现在早就净化到非常高的水平了,可以说推理能力的不断提高,是把模型最后的能力都榨干的最必要的一步。这方面中国大模型公司花样玩的不是一般的超凡脱俗。btw,老黄说中国搞AI的100万人,美帝2万人,有点夸大了,我们还真不是靠人海战术取胜,实在是中国工程师太聪明了。。
“假装”是人类生存的基本能力之一。搞 AI 的人假装 AI 不会导致一些人失业,会因 AI 而失业的一些人也假装 AI 不会导致自己失业。反正变化不会一夜之间完成,是逐渐的,一个百分比一个百分比地进行。公开场合说一些漂亮话,大家都能收获到心灵的平静。与之类似又不太一样的是,很多人不理解人形机器人这个方向,觉得又难又贵又没必要,工业机器人没必要做成人形,农业机器人没必要做成人形,甚至家庭服务机器人都没必要做成人形。从业者们有很多说法,比如:现有工具、工作环境都是为人类设计的,所以人形机器人能直接上手,等等。这个模糊的说法看起来很有道理,但禁不住细想。你可以让他们举个实际的例子:具体是什么场景?具体是哪些工具?这个场景为什么只有两条腿的才能适应?这个工具为什么只有五根手指才能操作?这个工具多少钱?重新生产机器人专用的工具有多贵?然后你就会发现,那套说法好像不太立得住。但是,人会假装,钱不会假装。为什么有那么多钱都往人形机器人这个方向涌呢?因为所有从业者都在假装自己将来不会给机器人装上性器官,并因此迎来巨量订单。
@猫叔在硅谷
去年谷歌花了27亿美元收购了AI创业公司Character,创始人Noam Shazeer因此个人入账7.5亿-10亿美元。他本来是谷歌元老级别的前100号员工,2020年因为自己的AI Chatbot项目Meena不受高层重视而愤然辞职创业。谷歌收购之后,Shazeer重新回归,担任工程副总裁和DeepMind Co-Lead ,负责开发谷歌Gemini。不过,他成为新闻焦点是因为个人政治立场:他是个直言不讳的保守派,来自一个犹太移民家庭(和布林相似)。过去一年时间,他在跨性别、加沙问题等社会问题上多次在内部论坛发表自己的保守派看法,在谷歌左派为主的员工内部引发争议和愤怒。他支持以色列政府,认为只有男女两个性别,否认跨性别权益。但在目前的政治大环境下,以及AI市场竞争需求,谷歌不敢也不可能对他有什么施压(多年前有员工因为类似言论被谷歌辞退),但出于安抚其他员工,谷歌悄悄删掉了他在内网的帖子。