Bot流量首超人类 五年将达1000:1，Cloudflare以“内容归你规则由你”赋能智能体互联网

Cloudflare正以“内容归你，规则由你（Your Content, Your Rules）”的核心理念，赋能自主智能体互联网的有序发展，为网站所有者提供内容控制权解决方案。

近期，该公司监测到互联网上的Bot流量已首次超过人类流量，按当前发展速度，五年内该比例将突破1000:1。随着AI代理与爬虫流量的激增，网站所有者对自身内容免受未经授权使用的诉求日益迫切。

作为核心举措之一，Cloudflare推出的内容信号政策在传统robots.txt协议基础上升级，新增search（用于构建搜索索引）、ai-input（用于输入AI模型）、ai-train（用于训练或微调AI模型）三类内容用途分类。网站所有者可通过如“Content-Signal： search=yes， ai-train=no”的简洁指令，明确划定内容使用权限，实现允许搜索引擎抓取内容、却禁止用于AI训练的精细化管控。

针对不遵守规则的AI爬虫，Cloudflare还开发了AI Labyrinth功能，利用蜜罐技术生成由AI创建的无限虚假页面迷宫，以技术性手段对违规行为进行约束。

即将退休的互联网奠基者温顿·瑟夫在劳德学院主办的开放前沿大会上表示：“多方来源的各类智能体相互交互的智能体模式，必然会催生可组合性的需求，同时也要求系统具备互操作性与统一标准。”

市场有风险，投资需谨慎。本文为AI基于第三方数据生成，仅供参考，不构成个人投资建议。