ChainCatcher 消息，研究機構 Shoal Research 發布報告稱，Cloudflare 網絡上機器人約佔 HTML 內容 HTTP 請求的 60%，人類為 38.2%。Cloudflare CEO Matthew Prince 曾預測機器人流量將在 2027 年超過人類，隨後宣佈智能體流量增長已使機器人超過人類流量。

報告稱，AI 應用將用戶留在聊天界面並總結內容，而非導流回原站。AI 爬蟲抓取與回訪比例遠高於 Googlebot，ClaudeBot 過去一年平均每回訪一次抓取約 4200 頁。Pew 研究顯示，AI 摘要使點擊率從 15% 降至 8%。

robots.txt 與內容換流量模式難以維持。訴訟與私人授權為權宜之計。按請求付費分為帶密鑰的封閉市場，以及使用 HTTP 402 和穩定幣的開放協議如 x402 和 MPP。多數網站仍免費提供或屏蔽。