公司动态

Meta爬虫涌入创作者网站,主机资源被耗尽

圣地亚哥儿童绘本作家切尔西·保卢斯称,Meta爬虫对其网站发起55万余次访问,耗尽主机资源,网站一度不稳定。她通过主机商代码和Cloudflare人机验证临时拦截,但问题仍未妥善解决。

发布于 · 更新于 · 来源:IT之家 · 机器人筛选
示意图
IT之家11月3日消息,圣地亚哥儿童绘本作家、插画师切尔西·保卢斯向Business Insider表示,Meta爬虫对其网站发起55万余次访问,耗尽网站主机资源,她不得不与主机服务商SiteGround一起排查故障。保卢斯称,10月24日收到主机商CPU资源已用掉80%的预警,随后在安全面板发现每秒多次访问请求,IP归属Meta达拉斯节点,标识为“Meta External Agent”。她修改robots.txt并配置防火墙,但规则生效需时间,主机商提供的隐藏配置文件代码仅临时生效,本周中旬另一款“Meta Web Indexer”爬虫又将资源占用拉满。 Meta发言人称网站运营方有权通过robots.txt等工具管控爬虫行为,并称尊重站点所有者设置的规则。SiteGround邮件截图显示其服务器侧防护已在限制爬虫请求,但截至周一保卢斯网站仍不稳定,她删除了Instagram主页链接,并尝试Cloudflare免费人机验证工具拦截。她表示无力升级流量配额,因为爬虫不带来收入,并呼吁Meta设置约束机制。以上信息来自原始来源,由AI整理。
查看原始来源

相关资讯