Website Có Đang Chặn AI Bot? Cách Kiểm Tra Nhanh

Trong bối cảnh AI Search (ChatGPT, Google AI Overview, Claude, Perplexity…) ngày càng trở thành nguồn traffic mới, nhiều website đầu tư vào GEO – Generative Engine Optimization nhưng lại không hề biết rằng: Website của mình đang bị chặn AI Bot bởi Cloudflare hoặc robots.txt.

Điều này khiến:

Nội dung không thể xuất hiện trong câu trả lời của AI

Mất cơ hội traffic từ AI Search

Chiến lược GEO gần như vô hiệu

Bài viết này sẽ hướng dẫn bạn cách kiểm tra và xử lý vấn đề này một cách hệ thống.

Mục lục

I. DẤU HIỆU WEBSITE ĐANG BỊ CHẶN AI BOT

Một số dấu hiệu phổ biến: Nội dung không bao giờ được AI (ChatGPT, Gemini, Claude) trích dẫn

Kiểm tra robots.txt thấy các dòng như:

User-agent: GPTBot

Disallow: /

User-agent: Google-Extended

Disallow: /

User-agent: ClaudeBot

Disallow: /

hoặc có thêm: Content-Signal: search=yes, ai-train=no kèm chú thích: # BEGIN Cloudflare Managed content

Đây là dấu hiệu Cloudflare đang quản lý và chặn AI bot.

II. CÁCH KIỂM TRA WEBSITE CÓ ĐANG CHẶN AI BOT

Bước 1: Kiểm tra file robots.txt

Truy cập: tenmiencuaban .com/robots.txt

Nếu thấy:

GPTBot = Disallow

Google-Extended = Disallow

ClaudeBot = Disallow

meta-externalagent = Disallow

=> Website đang bị chặn AI bot.

Bước 2: Kiểm tra trong Cloudflare Dashboard

Vào: Security → Bots → AI Bots / Bot Management

Kiểm tra:

AI Bot blocking = ON hay OFF

Content Signals = ON hay OFF

Bot Fight Mode = ON hay OFF

=> Rất nhiều website bật sẵn mà chủ site không hề biết.

Bước 3: Kiểm tra log crawl (nâng cao)

Nếu có server log:

Tìm user-agent: GPTBot, ClaudeBot, Google-Extended

Nếu không thấy request nào → khả năng cao đang bị block

III. CÁCH XỬ LÝ TỐI ƯU CHO WEBSITE ĐANG LÀM GEO

Cấu hình robots.txt đề xuất:

User-agent: *

Allow: /

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Content-Signal: search=yes, ai-train=no

User-agent: GPTBot

Allow: /

User-agent: Google-Extended

Allow: /

User-agent: ClaudeBot

Allow: /

Hiệu quả:

Google Search index bình thường

AI Search có thể trích dẫn website

Vì vậy, với các website đang triển khai Generative Engine Optimization (GEO), việc đầu tiên cần làm không phải là viết thêm content, mà là: Đảm bảo AI bot có thể truy cập và hiểu nội dung website của bạn. Good luck!