Newsletter

每次抓取付費革命:出版商如何將 AI 流量賺錢

Il patto Google funzionava: crawler gratuiti in cambio di traffico referral. L'AI lo distrugge: rapporto crawl-to-refer devastante—Anthropic 38.000:1, OpenAI 1.700:1—con 80% crawling AI per training modelli e zero click verso editori. Cloudflare game-changer (luglio 2025): prima azienda infrastruttura internet a bloccare crawler AI per default su ogni nuovo dominio + marketplace Pay Per Crawl dove editori richiedono compensi diretti. TollBit pioniere monetizzazione già genera $71M/anno con traffico esploso 2.75M→13M accessi bot/giorno, CPM $15 = $195K/giorno. Pricing due livelli: summarization vs syndication rate. Soglie convenienza: <50K visite/mese meglio accesso libero strategico; 100K $75-750/mese; 1M+ $750-10K/mese implementazione immediata. DataDome rileva traffico AI triplicato 6 mesi (2.6%→8.2%), Skyfire costruisce rete pagamenti agenti AI ($8.5M). Commercio AI-to-AI proiezione $46B prossimi 3 anni. Non più "permetti/blocca" ma terza opzione: "fai pagare".

從網路免費收集內容的時代即將結束。以下是新平台如何將非付費訪客的人工智能機器人轉化為真正的客戶。

問題:當 AI 違反與出版商的協定時

Google 模式:有效的平衡

二十多年來,網路的運作是基於一個不成文的協定:Google 和其他搜尋引擎免費索引出版商的內容,在他們的網頁上顯示片段和摘要,但回報是將大規模的流量傳回原始網站。出版商接受這種「使用」他們內容的方式,因為他們可以獲得知名度、讀者人數,進而獲得廣告收入。

Google News 將這種模式發揮得淋漓盡致:它從數千個來源彙整新聞、顯示頭條新聞和簡短摘錄,但每次點擊都會將使用者帶到原始網站。雙贏的平衡,讓數位資訊生態系統得以持續發展。

AI 打破平衡

現在想像一下,當您經營一個新聞網站時,會發現每天都有數以千計的 AI 機器人掃描您的文章,使用內容來餵飼他們的範本,並提供完整的答案給使用者,卻從未將流量傳回您的網站。AI不會產生連結,也不會產生點擊:它會直接回應。歡迎來到 2025 年的現實世界。

根據 Cloudflare 的資料顯示,到 2025 年中,80% 的 AI 抓取活動將用於訓練模型,而對出版商的轉介(尤其是來自 Google 的轉介)則大幅減少。運作了二十年的模式正在崩潰:Google 本身的 AI 總覽,為原始網站帶來的流量越來越少。爬行與轉介的比率顯示出令人震驚的數字:Anthropic 每傳送一個訪客到網站的爬行比率為 38,000 次,而 OpenAI 則達到 1,700:1 。

但如果機器人可以成為付費客戶,而不只是內容的免費消費者呢?現在是時候進行新的交易了:如果人工智慧無法再像 Google 一樣保證回流量,至少必須為存取內容付費。

解決方案:每次抓取付費和 AI 微支付

Cloudflare 開啟舞蹈

2025 年 7 月、 Cloudflare 宣佈成為第一家預設封鎖 AI 爬蟲的網際網路基礎建設公司,同時推出「Pay Per Crawl」系統。新聞內容?每個在 Cloudflare 註冊的新網域,現在都會被明確詢問是否要允許 AI 爬蟲存取內容。

但真正改變遊戲規則的是市場,在這個市場中 出版商可以每掃描一頁每掃描一次他們的網頁,就可以向 AI 公司收取費用。不再只是「允許」或「封鎖」,而是第三個選擇:「收費」。

TollBit:人工智能微額支付先驅

甚至在 Cloudflare 之前、 TollBit 就已經開始建立此基礎設施。該初創公司最近在 2400 萬美元的 A 輪融資。TollBit 創建了一個平台,讓人工智能機器人可以直接付款給網站使用其內容。

TIME 和 Adweek 是首批試用此模式的客戶。發現 AI 代表了具有特定需求的新客戶類別。

數字:您到底能賺多少錢?

TollBit 預測

根據詳細分析,TollBit 每年已經可以為其出版合作夥伴帶來約 7100 萬美元的收入。就是這樣:

  • 流量呈指數級成長:TollBit 客戶網站的 AI 殭屍流量每季成倍成長
  • 2024 年第四季:每日 275 萬次的機器人存取
  • 2025 年第 1 季:650 萬次點閱
  • 2025 年第 2 季預測:1,300 萬次存取

以內容網站一般 CPM 為 15 美元計算,TollBit 生態系統每天的潛在收入為 195,000美元,每年超過 7,100 萬美元。

定價模式

TollBit 建議兩種定價等級:

  • 總結率: 適用於想要總結內容的機器人
  • 聚合率:對於想要顯示完整文章的機器人而言,聚合率要高得多

差異可能很大,因此對於高級和專門的內容而言,這是一個特別有吸引力的模式。

來自實地的實際資料

TollBit 對 160 個網站的分析顯示 AI 公司在 2024 年第四季平均掃描200 萬次。每個頁面平均被掃描 7 次。

TollBit 的共同創始人 Toshit Panigrahi 解釋說:「這些人工智能平台所產生的殭屍流量,幾乎等同於已存在 20 年的搜尋引擎的殭屍流量,這實在令人難以置信。」

演進中的生態系統

DataDome:保護與貨幣化

DataDome 已與與 TollBit 及其他平台合作,提供整合式解決方案:即時防護惡意殭屍,並將符合規定的殭屍盈利化。

他們的資料顯示,人工智能流量在短短六個月內增加了兩倍,從佔所有已驗證殭屍流量的 2.6% 增加到 8.2%。

天火:人工智能支付網路

天火代表了一種不同的方法透過為自主 AI 代理建立整個支付網路。以 籌集了 850 萬美元與 DataDome 等公司合作,Skyfire 的目標是成為 AI 經濟的標準支付基礎設施。

對出版商的影響:機會與挑戰

混凝土的優點

  1. 新的收入來源:超越傳統廣告的多樣化
  2. 細緻的控制:能夠選擇讓哪些機器人進入,以及以何種價格進入
  3. 可見性 完整詳細的儀表板顯示誰存取內容以及存取次數
  4. 直接補償: 不經廣告中介即時付款

現實的挑戰

  1. 採用有限:並非所有 AI 公司都會同意付款
  2. 定價複雜:難以確定每種內容類型的正確價值
  3. 執行:許多機器人將繼續忽略規則(從 2024 年的 3.3% 到 2025 年 3 月的 13)
  4. 所需規模:微額支付只有在高交易量時才顯得重要

出版商的現實預測

便利的臨界點:封鎖不一定有好處

在分析這些數字之前,必須強調的是,Pay Per Crawl 並非對每個人都很方便。對於流量有限的網站而言,允許 AI bots 免費存取在策略上可能更具優勢:可增加內容在 AI 系統中的可發現性,與新興平台建立關係,並將網站定位為「AI 友好型」,以迎接未來的商機。

直接貨幣化只有在數量證明管理複雜性和實施成本合理時才具有吸引力。

適用於小型網站 (每月 10K 次造訪)

  • 估計機器人流量:500-1,000 AI 次/月
  • 潛在收入:5-50 美元/月(取決於 CPM 和接受率)
  • 影響:幾乎沒有影響,通常保持開放以提高能見度較佳
  • 建議:監控並評估策略性免費存取

適用於中型網站 (每月 100K 次造訪)

  • 估計機器人流量:每月 5,000-15,000 次 AI 存取
  • 潛在收入:$75-750/月
  • 影響:開始考慮貨幣化的臨界點
  • 建議:試用優質付費內容

適用於大型出版商 (每月超過 1M 的造訪人次)

  • 估計機器人流量:50,000-200,000+ AI 存取/月
  • 潛在收入:$750-10,000+/月
  • 影響:潛在可觀的新業務線
  • 建議:建議立即執行

內容授權的未來

Stack Overflow 的執行長 Prashanth Chandrasekar完美地總結了:「為 LLM 提供動力的社群平台應該為他們的貢獻獲得報酬,這樣他們才能重新投資於他們的社群」。

隨著 AI-to-AI 貿易預計在未來三年內將達到 460 億美元的規模。出版商若能及早在這個生態系統中定位,將可獲得顯著的競爭優勢。

結論:是時候採取行動了?

按抓取付費 "不再是科幻小說,而是現實操作。對於出版商而言,問題不在於這種模式是否能站穩腳根,而在於他們是否以及何時能適應以獲取價值。

La verità scomoda: non tutti dovrebbero monetizzare subito. Per siti con traffico limitato (<50K visite/mese), mantenere accesso libero ai bot AI può essere più vantaggioso strategicamente, costruendo visibilità e relazioni per future opportunità. La soglia di convenienza per la monetizzazione diretta si raggiunge generalmente con volumi di traffico significativi.

預測顯示大中型出版商的潛在收入極具吸引力,尤其是優質內容和大量流量的出版商。然而,成功與否取決於以下能力:

  1. 評估您的便利性臨界值(數量相對於管理複雜性)
  2. 選擇 策略 正確(免費存取、完全封鎖或貨幣化)
  3. 選擇合適的平台(Cloudflare、TollBit 或整合解決方案)
  4. 具競爭力但有利可圖的定價
  5. 保持內容品質,證明微額付費是合理的
  6. 不斷監控和優化方法

對於擁有大量流量且願意嘗試的出版商而言,2025 年可能是人工智慧不再只是成本,而終於成為商機的一年。對於其他人來說,現在可能是建立基礎以在未來抓住這個機會的時候。

主要來源: