WELCOME欧洲杯
NEWS 新闻中心
当前位置:新闻中心

Title
AI公司不断开发新爬虫绕过阻拦 网站运营跟不上

发布时间:2024-08-05 13:02:34    作者:小编    点击量:

  在网路建立的早期,大家有了一个不成文的协议,即一个名为“robot.txt”的文本文件——也就是拦截列表中将决定谁能够访问你的网站,这主要针对机器人/爬虫。一般网站主要面向搜索引擎开放,以让搜索引擎带来流量。但这个不成文的约定正在被人工智能公司打破。

  已经有许多网站为了保护权益正在试图阻止一家名为 Anthropic 的 AI 公司抓取网站内的内容。然而随着该公司不断开发新的爬虫,来不及更新“robot.txt”文件的网站成了被盗用资源的受害者。

  根据 404 Media 采访跟踪网络爬虫和抓取工具网站的 Dark Visitors 运营者,他在帮助其他网站运营者更新“robot.txt”期间发现,现状非常混乱。匿名运营着说道:“代理生态系统瞬息万变,因此网站所有者基本不可能手动跟上。”

  拿 Anthropic 距离,一些热门网站例如路透社等在 robot.txt 中组织了“ANTHROPIC-AI”和“CLAUDE-WEB”两个爬虫,他们曾由 Anthropic 的 Claude AI 聊天机器人使用,但目前该公司最活跃的爬虫实际上是“CLAUDEBOT”,因此这些网站都不会阻拦该爬虫。其他数百个复制粘贴拦截列表的网站也未能阻止该公司。

  404 Media 采访了许多网络行业从业者,他们均表示面对 AI 公司的这种行为,鼓励网站积极屏蔽此类机器人/爬虫。网络安全公司 StackAware 首席执行官 Walter Haydock 就表示支持在“robot.txt”中添加大量的可能屏蔽对象,并说道:“如果它们最终不存在,那么阻止它们也不会产生任何影响。”

  他还表示该屏蔽列表说到底也不过是互联网的一个约定俗成,“阻止 AI 公司的代理依赖于 AI 公司尊重 robot.txt 文件,并且你还需要知道所有的 AI 抓取代理。对于大多数公司来说,这种情况的可能性很低,因此我预计更多的创作者会将他们的内容转移为付费观看,以防止无限制的抓取。”

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  广东:女方临时变卦提高彩礼钱,男方定亲队伍被拒之门外,两位年轻人就此分手

  爸爸周末要加班,小棉袄不让爸爸走,所以在门口哭泣“必须带到单位,让领导给看着”

  8月4日,河北(发布),萌娃练跆拳道,这是打起醉拳了?“往那一站跟个小手办似的,生怕他把自己绊倒”,...

  原来是这些原因,让你无法找到心中的热爱 前些天在北大授课的Vlog来啦,希望对你有价值

  NIP零封RA拿首胜;LOL解说杯无Doinb,潜心Rank冲至千分王者

返回列表

联系我们

contact us
Copyright © 2012-2023 欧洲杯(买球)下单平台 版权所有  ICP备案编号:蜀ICP备17024175号