怎么海外大厂也不顾robots协议了呢//@八大山债人:感觉快抓捕爬虫公司了。。。@梁斌penny 。。#债见# 。。。//@安澜堂懒猫:够讨厌的，真的。
@blackorbird
去中心化社交网络项目Diaspora的开发者近日透露，其论坛、维基和项目网站的流量中，有70%来自AI公司的网络爬虫。开发者表示，在过去60天内，Diaspora的网络资产共接收到1130万次请求，平均每秒2.19次请求。其中，OpenAI的gptbot爬虫占据了24.6%的流量，亚马逊的爬虫占17.1%，Anthropic和Meta的爬虫分别占4.3%和2.2%。相比之下，Google和Bing等传统搜索引擎的爬虫仅占0.14%的流量。开发者对此表示强烈不满，指出这些AI公司的爬虫无视robots.txt协议，试图索引每一个页面的细微变化，并且频繁切换IP地址，绕过User Agent字符串的封锁。开发者认为，这种行为无异于对互联网的分布式拒绝服务（DDoS）攻击，给服务器带来了不必要的负担，并可能影响正常用户的访问体验。原话：“看起来我的服务器正在为这些该死的 LLM 训练机器人做 70% 的工作，这些机器人除了一遍又一遍地爬行该死的互联网之外，什么都做不了。哦，当然，他们不会只抓取一个页面一次，然后继续前进。哦，不，他们每 6 小时回来一次，因为哈哈为什么不呢。他们也不在乎一丝不苟，因为他们为什么要这样做。最棒的是：他们爬行了最愚蠢的页面。最近，ChatGPT 和亚马逊同时抓取了 wiki 的整个编辑历史。我的意思是 - 他们为每个页面上所做的每一次更改编制了索引。通常峰值超过 10req/s。当然，这让 MediaWiki 和我的数据库服务器非常不高兴，导致负载峰值，并给人类用户带来有效的停机时间/缓慢。”确实有这个问题在，融合LLM的AI爬虫类项目(Crawl4AI、ScrapeGraphAI、LLM Scraper)可以自学习反爬，很恐怖。
昨天儿子上了一周国际学校回家和我说了个事情，非常值得思考，他和一个公认水平不行的同学下棋，结果同学赢了，去各寝室吹牛，但是没有一个人相信他，反而嘲讽他是不是明明自己输了，但是口头上宣布胜利，像个小丑一样。。。我儿子因为从小和我下棋，棋理精通，班上基本没有对手，但是这次明明是真的输了，却没有人相信。这就让我想到了，其实群众只愿意相信他相信的东西。富人带个假表，也会被认为是真表，我就是带个真表，也会被认为是假的。。有时候群众的信任和认可，可能真不是那么重要，自己舒服，自己认可就行了。另一方面取得了什么成就，没必要马上吹嘘，实力在，慢慢就会被认可的。。
不要拿教义当挡箭牌。//@来去之间:教义里面有这规定么…//@晓虎webo :有人说是倒退回到了中世纪。我看中世纪也没有这样的规定吧。
@凤凰网
【#阿富汗塔利班禁止女性在公共场合说话#】#阿富汗塔利班禁止女性听到彼此声音# 阿富汗塔利班再一次颁布新的法令，禁止阿富汗女性在公共场合说话，就算是女性之间也不能听到对方的声音，标志着塔利班针对女性的限制措施进一步严苛。这项新的禁令还禁止女性在没有男性监护人陪同的情况下离开家，并要求女性必须佩戴口罩和面罩，同时还要求电视或广播女性新闻主播在电视广播中必须佩戴口罩，且禁止女性医护人员同患者的男性亲属交谈等。 凤凰网的微博视频
带大家复习一下烤红薯原则：微博正文 //@llllllllllllIl:反正以我的审美，刘晓庆就没好看过，从芙蓉镇到现在
@t0mbkeeper
最近刘晓庆这个久违的名字又被大家提起来了。年轻人可能不熟悉，我带你们回顾一下：
回复@允二君:微博正文 //@允二君:细说最后一段
@t0mbkeeper
最近刘晓庆这个久违的名字又被大家提起来了。年轻人可能不熟悉，我带你们回顾一下：
最近刘晓庆这个久违的名字又被大家提起来了。年轻人可能不熟悉，我带你们回顾一下：
中年男人反诈指南：如果尚未失去正常功能，就要对自己有正确认知。//@IrrElephant:基于峰哥给到的信息，想起tk的这条微博@t0mbkeeper 查看图片
@峰哥亡命天涯
我进入乌克兰的第一天就被绑架团伙盯上了，他们知道我有钱。我的踪迹怎么泄漏的呢？因为我刚到酒店就发了酒店的门口的照片，大家还记得吧？一辆极氪小轿车，泄漏了酒店名字“尊贵罗斯酒店”。他们全程蹲在酒店门口跟踪我，在餐厅用Emily引诱我加联系方式，在酒吧里用高加索人引诱我去小包间（没上当）；利用酒吧女郎引诱我去酒店过夜（拒绝了，没上当）；利用Emily跟我表白（没上当）…以上种种陷阱我都没踏入，他们甚至想污蔑我拍摄了导弹发射装置，要冒充乌克兰安全局来抓我。我利用Emily一直向他们传递误导信息，比如我去了哈尔科夫，但是我告诉Emily我去第聂伯罗，他们连夜开车到第聂伯罗抓我，扑了个空。我这十天，一直在利用Emily误导这群绑架犯…期间坚持拍摄视频8期，做了直播6场，我本来第一时间就可以跑出乌克兰，但是我不想被这伙人影响工作。我目前在摩尔多瓦，也不是完全安全的，等我回国再跟大家详细说明情况。