賽博菩薩開始收費了，搜索引擎白嫖的日子結束了

　　炒股就看金麒麟分析師研報，權威，專業，及時，全面，助您挖掘潛力主題機會！

（來源：果殼）

今年7月，一家叫Cloudflare的公司發佈了一則公告，讓X直接炸了鍋。

新規則，新費用，是時候對AI收費了｜Cloudflare

公告中最引人關注的部分｜Cloudflare

這則公告意味着什麼？

博主@iyici_評論道：「那個所有網站都在用的驗證碼公司，要屏蔽所有人都在用的搜索引擎。」

舊金山著名科技作家兼編輯Charles Petersen認為，這是互聯網的末日，他在X發推文説「RIP萬維網（1993-2026）。」

@iyici_的評論原文｜X.com

為什麼這家大多數人都沒聽過的技術公司的一條公告，能引發這麼大的震盪？因為這家公司做了一個很可能改變互聯網生態的決定：

它要幫網站向AI收「過路費」了。

賽博菩薩：你不認識它，但你天天在用它

這個Cloudflare到底是干什麼的？

Cloudflare是全球最大的網絡基礎設施服務商之一，CDN和DDoS防護市場份額長期位居前列。你可以簡單地理解為，它是網站的「前置倉」和「護城河」。

舉個例子，你是一箇中國的小網站站主，如果來自新加坡、美國和日本的用户訪問你的網站，每次都直接從中國服務器上獲取圖片、腳本、內容，就會特別慢。於是你把自家網站接入Cloudflare，它在全球有很多節點，會把常用內容緩存到離用户最近的服務器上，這樣其他國家的用户訪問你的網站速度一下就提高了。

而因為用户訪問你的網站時，先訪問的是Cloudflare的節點，它就也能同時提供針對惡意攻擊、異常流量機器人的防護服務。

還是覺得抽象？那你肯定見過下面這個圖標：

點一下這個按鈕，停頓四五秒左右，網站才能打開：這就是Cloudflare的人機驗證服務在工作，坊間俗稱「五秒盾」。它通過分析用户的鼠標移動軌跡、點擊頻率等行為模式，判斷你是真人還是機器人。

現在，Cloudflare每秒處理約1.02 億次HTTP請求，全球大約20%的網站用了它的服務，從個人博客到Discord、LinkedIn這樣的互聯網巨頭都是它的服務對象。它的服務範圍覆蓋125個國家和地區，95%的全球網民，平均延迟不超過50毫秒。

這就是為什麼它有什麼風吹草動，互聯網世界就要大震盪。2025年11月，Cloudflare發生過一次大規模宕機，持續約6小時，直接導致X、ChatGPT、Spotify、Uber、Discord等一大堆網站和服務同時癱瘓。

那這次它到底定了個什麼規矩？

Cloudflare要干什麼？

簡單來説，Cloudflare的新規就是這麼一句話：2026年9月15日起，所有使用Cloudflare服務的網站將默認屏蔽「混合AI爬蟲」。

「混合AI爬蟲」又是什麼？

爬蟲就是自動抓取網頁內容的機器人程序，搜索引擎之所以能搜到網頁，就是因為它們放出了大量爬蟲在網上抓取網頁內容，建立索引，然后提供給用户。

Google、Bing、百度們二十多年來一直都這麼干。

后來AI來了，AI訓練需要大量數據，於是OpenAI等大模型公司也開始大量依賴爬蟲。今年年初，AI Agent走紅，讓Codex、Kimi work等任何AI工具幫你查個信息，背后也是某個爬蟲在替你跑腿去網頁上抓內容。

比如這個樣子｜via Kimi Work

現在，AI爬蟲已經佔據了互聯網的半壁江山。按照Cloudflare 的官方數據，2026年6月，所有非人類流量（包括搜索引擎爬蟲、AI爬蟲等）佔比達到了網頁總流量的57.4%。換句話説，今天互聯網上「看」網頁的，超過一半已經不是人了。

於是從2025年開始，Cloudflare上線了「AI爬蟲控制（AI Crawl Control）」功能，允許網站主手動屏蔽AI爬蟲。同時還推出了「Pay Per Crawl（按次付費）」機制。AI爬蟲想訪問內容，必須在請求中附帶支付意圖，否則直接拒絕訪問。到2025年年底，該功能已累計攔截超過4160億次機器人請求。

這個功能對OpenAI的GPTBot、Anthropic的ClaudeBot這些純AI爬蟲很好使——但碰到Google就卡住了。

Google有一個叫「AI概覽」（AI Overviews）的功能：用户搜索時，Google不再只給鏈接，而是直接在結果頁頂部生成一段AI總結的來自其他網站的答案。問題在於，這個功能生成摘要時，用的不是單獨的AI爬蟲抓來的數據，而是直接調用搜索索引——也就是説，它跟搜索共用同一個Googlebot，這個爬蟲就叫「混合AI爬蟲」。

網站主一旦屏蔽Googlebot，AI概覽確實擋住了，但自己的網站也從Google搜索結果里消失了，流量更少。不屏蔽？那AI概覽繼續白拿你的內容。

單個網站主面對這種兩難局面，確實很難和Google這樣的大佬直接談判，於是Cloudflare成了那個站出來的大哥。

9月新規針對的就是這個混合爬蟲，政策直接一刀切：從之前的網站主手動屏蔽升級為默認屏蔽，逼迫Google做出選擇，要麼停止渾水摸魚，要麼就承擔搜索內容大幅度下降的結果。

據媒體報道，在上線封殺混合爬蟲政策的同時，Cloudflare也正在跟Google談判，要求它把AI概覽爬蟲從搜索爬蟲中分離出來，讓網站可以只擋AI概覽、保留搜索流量。

Google沒同意。它擔心一旦分開，大量網站會直接屏蔽AI概覽爬蟲。

那Cloudflare為什麼要下這麼重的手？因為AI爬蟲的出現，正在改變已經運行了幾十年的互聯網邏輯。

正在改變的萬維網

過去三十年，互聯網的信息搜索是這樣運轉的：你搜「怎麼做紅燒肉」，搜索引擎給你十個鏈接，你點進第一個美食博客，瀏覽內容，退出。

這個過程中，網站寫內容，搜索引擎派爬蟲來抓，用户搜索到點進去；網站和搜索引擎都獲得流量，靠廣告或關聯鏈接變現，廣告主獲得更有效的投放。皆大歡喜。

這套默契能維持三十年，基本是建立在一種心照不宣的等價交換上，我讓你免費抓我的內容，你給我免費流量，誰也不欠誰。

當搜索引擎有了AI，一切都變了。

你搜「怎麼做紅燒肉」，Google不再只是給你十個鏈接。它直接把食譜、步驟、注意事項總結好，放在搜索結果最上面。用户看完答案就走了，不點進任何網站。

Google照舊獲得流量，可網站主的流量沒了。

Cloudflare2025年年中公佈過一組各廠商爬蟲的「爬取回流比」：Google約10:1（抓10個網頁，帶來1個訪客），OpenAI是3700:1，Anthropic則達到了驚人的500000:1。換句話説，Google至少還往回帶一點流量，AI公司幾乎是純白拿。

學術研究也印證了這個變化。

2026年的一項研究發現，超過一半（51.5%）的搜索查詢會觸發Google AI 概覽。

皮尤研究中心的數據顯示，沒有AI概覽的搜索頁面，用户點擊鏈接的比例為15%。有 AI 概覽時直接降到 8%；而AI概覽引用的鏈接呢……點擊率僅有可憐的1%。

已經有平臺在真金白銀地虧錢。

2025年9月，美國出版集團Penske Media把Google告上了法庭。Penske Media旗下有《滾石》《好萊塢報道》《公告牌》這些響噹噹的媒體品牌，每月訪客超過1.2億人，很大一塊收入來自網站訪問。然而，自打Google推出AI概覽之后，Penske Media靠關聯鏈接賺到的收入跌了超過三分之一。

這不只是大洋彼岸的故事。小紅書在2025年推出了一個叫「問一問」的AI搜索功能，邏輯跟Google AI概覽一模一樣：在搜索頂端直接顯示AI的整理結果。

這帶來的影響和Google也如出一轍：過去，用户搜關鍵詞，瀏覽一篇篇筆記，自己篩選信息；現在用户提問，AI整合相關筆記內容，直接給出答案。用户不再一篇篇點進筆記去看，博主失去了被看到、被關注、被轉化的機會。

據媒體報道，小紅書內部最初只讓「問一問」覆蓋1%-2%的搜索請求，理由是「老闆怕影響面太大」，后來才放到3%-4%。顯然平臺自己也清楚，這件事對創作者多衝擊有多大。

舊時代結束，新時代開始

Cloudflare和Google的這場博弈，目前還沒有答案。但有一件事是確定的：互聯網運轉了三十年的「免費內容換流量」默契，已經回不去了。

其實中文互聯網早就走過這條路。你在百度上搜不到微信公眾號的文章，搜不到小紅書的內容。並不是搜索引擎技術做不到，而是平臺主動築了牆，把內容圈在自己的生態里。現在Cloudflare幫網站築「付費牆」，不讓AI白拿內容。方法不同，但結果一樣。

如果越來越多網站屏蔽AI爬蟲，AI搜索能獲取的優質內容會越來越少，給出的答案質量會下降；而網站失去搜索流量也難以維持，最終就是兩邊一起塌，出現「內容荒漠」。

AI搜索確實方便，三秒鍾一個答案。但所有的總結都建立在有人寫過原文的基礎上。如果那些人寫不下去了，AI能總結的東西，也會越來越少。這筆賬，迟早有人得付。

作者：谷子

編輯：翻翻