Bốn hãng AI lớn thống nhất một tín hiệu robots.txt để từ chối huấn luyện AI

Ảnh minh họa AI, không phải ảnh chụp màn hình hay giao diện thật.

Ngày 30/10/2026, bốn hãng AI lớn là OpenAI, Google, Microsoft và Anthropic cùng tuyên bố sẽ tôn trọng một tín hiệu robots.txt chung, cho phép chủ website từ chối việc nội dung của mình được dùng để huấn luyện mô hình AI. Đây là lần đầu tiên các hãng AI phương Tây lớn nhất cùng đứng sau một cơ chế từ chối chung, thay vì mỗi hãng dùng một quy tắc riêng khiến chủ website phải cấu hình nhiều lần.

Trước đây, một website muốn chặn huấn luyện AI phải khai báo riêng cho từng trình thu thập dữ liệu, chẳng hạn Google-Extended của Google hay các quy tắc riêng của OpenAI và Anthropic. Cách làm này vừa tốn công, vừa dễ sót, đặc biệt với các trang nhỏ không có đội kỹ thuật chuyên trách. Tín hiệu chung mới được kỳ vọng sẽ rút gọn toàn bộ việc đó thành một nhóm quy tắc duy nhất trong tệp robots.txt, tệp mà các công cụ tìm kiếm và trình thu thập dữ liệu vẫn đọc khi truy cập website.

Token __usage_ai-training hoạt động như thế nào

Tín hiệu mới là một token chính sách có tên __usage_ai-training, được đặt ở dòng User-Agent trong tệp robots.txt. Chủ website muốn từ chối toàn bộ chỉ cần thêm hai dòng: User-Agent: __usage_ai-training và Disallow: /. Website cũng có thể chỉ từ chối một phần, bằng cách dùng Disallow cho thư mục không muốn chia sẻ và Allow cho thư mục vẫn cho phép, chẳng hạn thư mục thông cáo báo chí.

Điểm quan trọng cần hiểu rõ là token này chỉ kiểm soát quyền huấn luyện, không kiểm soát việc thu thập dữ liệu. Bản nháp nêu rõ đây không phải chỉ thị về hành vi thu thập, tức trình thu thập vẫn có thể ghé thăm và lưu trữ tạm trang web, nhưng không được dùng nội dung đó để huấn luyện mô hình. Nói cách khác, từ chối huấn luyện không đồng nghĩa với việc biến mất khỏi kết quả tìm kiếm, và cũng không ngăn nội dung xuất hiện trong câu trả lời AI lấy dữ liệu trực tiếp từ web.

Microsoft là hãng đi xa nhất trong nhóm khi bổ sung thêm một lớp kiểm soát riêng cho grounding, tức bước lấy nội dung web trực tiếp để đưa vào câu trả lời của chatbot, khác với việc huấn luyện mô hình. Microsoft cũng cho biết các thẻ cũ như NoArchive và NoCache sẽ được thay thế, và website dùng các thẻ đó nên chuyển sang cơ chế mới trước ngày 1/3/2027. Google cho biết nếu website dùng token chung mà không khai báo riêng Google-Extended, Google sẽ hiểu đó là từ chối Google-Extended.

Lịch triển khai khác nhau và giới hạn của một bản nháp

Dù tuyên bố chung được đưa ra cùng ngày, lịch triển khai của bốn hãng không giống nhau. Anthropic cho biết đã bắt đầu triển khai hỗ trợ token mới. OpenAI cho biết sẽ triển khai trong những tháng tới mà không cam kết ngày cụ thể. Microsoft đặt mục tiêu bắt đầu tôn trọng tín hiệu từ ngày 1/2/2027, khi trang được thu thập lại. Google chỉ cho biết sẽ hỗ trợ trong năm 2027, chưa nêu thời điểm chi tiết.

Sự chênh lệch này có ý nghĩa thực tế: việc thêm token vào robots.txt hôm nay chưa có hiệu lực ngay tại hầu hết các hãng. Các quy tắc riêng đang dùng, như Google-Extended, vẫn là cơ chế có hiệu lực thực tế cho tới khi tín hiệu chung được triển khai. Chủ website vì vậy nên giữ nguyên các quy tắc cũ song song với token mới, thay vì xóa quy tắc cũ ngay sau tuyên bố chung.

Một giới hạn quan trọng khác là văn bản đứng sau tín hiệu này mới chỉ là một bản nháp cá nhân gửi tới Nhóm làm việc về tùy chọn AI của tổ chức IETF, do Kevin Kelley của Anthropic làm tác giả, ngày 30/10/2026 và hết hạn ngày 3/5/2027 nếu không được cập nhật. Bản nháp cá nhân không có tư cách chính thức trong quy trình chuẩn của IETF và không được tổ chức này xác nhận. Điều đó có nghĩa tín hiệu chung hiện dựa vào cam kết tự nguyện của từng hãng, chứ chưa phải một chuẩn bắt buộc có cơ chế xử phạt.

Chủ website và người làm nội dung nên làm gì ngay

Với chủ website, bước thực tế nhất lúc này là thêm token __usage_ai-training vào robots.txt, đồng thời giữ nguyên mọi quy tắc riêng đang có hiệu lực. Việc này giúp website sẵn sàng khi các hãng lần lượt triển khai, mà không mất lớp bảo vệ hiện tại. Với website có nhiều loại nội dung, nên cân nhắc từ chối theo thư mục thay vì chặn toàn bộ, vì nội dung công khai như thông cáo báo chí hay tài liệu hướng dẫn có thể vẫn muốn được AI trích dẫn hoặc lập chỉ mục.

Với người làm nội dung, cần phân biệt rõ ba việc khác nhau: chặn huấn luyện, chặn lập chỉ mục tìm kiếm và chặn trích dẫn trong câu trả lời AI. Tín hiệu mới chỉ giải quyết việc đầu tiên. Nếu mục tiêu là không muốn nội dung xuất hiện trong câu trả lời AI, chủ website cần thêm các kiểm soát riêng cho grounding hoặc trích dẫn, thay vì kỳ vọng token huấn luyện sẽ làm thay việc đó.

Một giới hạn cuối cùng cũng cần nói thẳng: cập nhật robots.txt không xóa nội dung đã thu thập trước đó khỏi tập dữ liệu hay mô hình đã huấn luyện. Tín hiệu chung chỉ có tác dụng với các lần huấn luyện trong tương lai, sau khi hãng triển khai và thu thập lại trang. Vì vậy, đây là bước tiến đáng ghi nhận về sự phối hợp, nhưng chưa phải giải pháp toàn diện cho tranh cãi về dữ liệu huấn luyện AI.

Nguồn tham khảo: OpenAI; Google; Microsoft; Anthropic