Cloudflare ra mắt tính năng "pay per crawl": Cho phép chủ website thu phí các crawler AI

[TenHoshi]

Mới đây, Cloudflare đã công bố tính năng "pay per crawl", cho phép các chủ sở hữu website tính phí khi các crawler AI (các bot thu thập dữ liệu) truy cập nội dung của họ.

Tính năng này tích hợp trực tiếp vào hạ tầng web hiện có, dựa trên các chuẩn HTTP và cơ chế xác thực sẵn có. Khi một crawler AI yêu cầu truy cập nội dung, chúng sẽ phải gửi thông tin thanh toán thông qua header của request để được trả về mã thành công (HTTP 200). Nếu không, website sẽ trả về mã lỗi 402 Payment Required, kèm thông tin về mức phí yêu cầu.

Điểm nổi bật là Cloudflare sẽ đứng vai trò Merchant of Record (đơn vị xử lý thanh toán chính thức), đồng thời cung cấp hạ tầng kỹ thuật hỗ trợ toàn bộ quy trình này.

Theo Cloudflare, "pay per crawl" giúp xây dựng một mô hình bền vững hơn cho các website vốn đang bị các AI model "thu hoạch" dữ liệu miễn phí mà không tạo ra giá trị kinh tế cho người sở hữu.

Tuy nhiên, cộng đồng cũng bày tỏ nhiều ý kiến trái chiều:

• Nhiều người lo ngại AI sẽ tìm cách lách luật, giả danh người dùng thật hoặc thay đổi user-agent để trốn phí.
• Một số cho rằng đây là bước đi tích cực để hạn chế việc AI khai thác dữ liệu mà không mang lại lợi ích cho chủ website.
• Có ý kiến so sánh với cách mô hình quảng cáo hoặc SEO đã từng bị lạm dụng và cho rằng đây có thể trở thành "cuộc đua vũ trang" mới giữa các bot và hệ thống bảo vệ.

Về lâu dài, nếu được triển khai rộng, "pay per crawl" có thể mở ra một thị trường vi mô (microtransaction) mới: các tác nhân thông minh (AI agents) tự động thương lượng, trả phí để thu thập dữ liệu chất lượng cao nhằm trả lời người dùng tốt hơn.

 

[TenHoshi]

1.​

WentTheFox:
Time to set up a website that advertises a $0.01 price per crawl then forces a redirect to different pages within itself until the budget is exhausted.

→ Hài kiểu "troll bot", set giá cực rẻ rồi chơi trò "lòng vòng" hết tiền

2.​

Noch_ein_Kamel:
If you pay 5 cent you can read my totally relevant answer to your comment? How would you like to pay?

→ Hài kiểu cà khịa: "Muốn đọc comment của tôi? Xin mời quẹt thẻ 5 cent!"

3.​

eyebrows360:
I don't know, let me just take this Buzzfeed quiz to find out.
~ 3 minutes later ~
I am: MegaHAL.

→ Pha này chơi trò "Buzzfeed quiz" tự nhận mình là bot MegaHAL, kiểu châm biếm AI model xưa cũ, khá vui.

4.​

LessonStudio:
I should generate a billion yards of AI crap. Then turn this feature on.

→ Cà khịa: "Mình tạo một đống content rác AI, xong bật pay per crawl để hốt tiền từ bot."

5.​

Sockoflegend:
This was my second thought, bot traps. My first thought was spoofing the user agent.

→ Kiểu đùa "kế hoạch lớn": đầu tiên nghĩ giả user-agent, sau nghĩ bẫy bot luôn.

6.​

AlienRobotMk2:
They say half the traffic is bot these days. I'm guessing 40% is bots trying to hack and spam Wordpress. Maybe the same people making the plugins are writing the bots?

→ Hài kiểu mặn: "Có khi mấy ông viết plugin chống spam chính là mấy ông viết bot spam luôn."

7.​

big_like_a_pickle:
Then they wouldn't have been stymied by this blatantly obvious hurdle.
ITT -- Devs who have no clue what Cloudflare actually does or how they do it.

→ Đùa kiểu "vỗ mặt": "Ai cũng nghĩ họ hack được Cloudflare dễ như ăn bánh."

 

[TenHoshi]

Phân tích: Cloudflare "Pay per crawl" — Có đáng để anh em quan tâm?​

Bối cảnh​

Hiện nay, website chỉ có 2 lựa chọn chính:

• Mở toang cửa cho AI crawler "ăn chùa"
• Hoặc dựng tường (block hoàn toàn)

Nhưng giờ, Cloudflare đưa ra con đường thứ 3: "Thu phí khi AI crawl".

Cách hoạt động​

Ý tưởng chính​

• Khi crawler AI request content:
  • Nếu trả tiền → HTTP 200 (truy cập thành công)
  • Nếu không → HTTP 402 Payment Required, trả kèm giá

Cloudflare đứng vai trò Merchant of Record, xử lý thanh toán, bảo mật, kiểm tra chữ ký request (Web Bot Auth), tránh giả mạo crawler.

Publisher toàn quyền quyết định​

• Allow: Cho crawl miễn phí
• Charge: Bắt trả phí
• Block: Từ chối luôn

Có thể định giá cố định trên toàn site hoặc ngoại lệ cho crawler cụ thể.

Tích hợp thanh toán​

• Crawler phải đăng ký, dùng chữ ký Ed25519, kèm header xác thực.
• Hỗ trợ hai cách:
  • Reactive (phản ứng): Gửi request → nhận HTTP 402 → nếu đồng ý giá → gửi lại với header "crawler-exact-price".
  • Proactive (chủ động): Ngay từ đầu gửi "crawler-max-price" → nếu khớp giá → truy cập luôn.

Lợi ích​

Với publisher, content creator​

• Kiểm soát chặt quyền truy cập: Không sợ bị AI "ăn cắp" nội dung rồi trả lời user mà không ghi nguồn.
• Tạo doanh thu mới: Nội dung độc quyền, data premium → biến traffic bot thành tiền.
• Thông điệp rõ ràng cho AI: "Bạn muốn dùng? Trả tiền đi."

Với SEOer & dev​

• Giảm rủi ro mất traffic không công: Thay vì để AI dùng content, xào nấu, trả lời hết khiến user không vào web, giờ có thể thu phí hoặc chặn.
• Xây dựng chiến lược nội dung song song: Vừa cho SEO truyền thống (Googlebot vẫn crawl free), vừa kiểm soát AI bot riêng.

Thách thức & Lo ngại​

• AI bot lớn (Google, OpenAI...) sẽ trả tiền thật chứ? Hay lách luật?
• Một số crawler có thể giả danh user-agent để tránh phí → Cloudflare đã có biện pháp chữ ký, nhưng cuộc chơi mèo vờn chuột còn dài.
• Mất "exposure" miễn phí nếu quá siết.

Tầm nhìn xa hơn​

Cloudflare nhấn mạnh đây mới chỉ là bước khởi đầu, dọn đường cho tương lai "agentic web" — nơi agent AI có ngân sách, tự đi mua content, trả phí, và dùng để synthesize báo cáo, pháp lý, nghiên cứu y khoa...

Tóm lại: "Okie" không?​

Okie, nếu:​

• Bạn có content giá trị cao, cần kiểm soát, hoặc không muốn bị "hút" cho AI Overview.
• Bạn sẵn sàng trade-off giữa thương hiệu lan tỏa miễn phí và kiểm soát chất xám.

Cần cân nhắc, nếu:​

• Bạn sống nhờ traffic miễn phí (ví dụ: site review, blog kiếm từ affiliate).
• Website còn mới, cần AI giúp lan tỏa thương hiệu.

🗣 Kết cho anh em SEO & dev​

Cloudflare "pay per crawl" giúp content không còn chỉ là "mồi SEO", mà trở thành tài sản có thể bán trực tiếp cho AI.
Nó mở ra thời kỳ "content = hàng hóa số", phải trả phí mới được khai thác.

"Viết bài xịn xò, AI muốn ăn? Nộp tiền nhé!"