Google và OpenAI cùng công bố kế hoạch tôn trọng một tín hiệu robots.txt dùng chung để website thể hiện lựa chọn về dữ liệu huấn luyện AI. Nhưng cơ chế này vẫn đang được hoàn thiện, chưa phải tiêu chuẩn bắt buộc và không đồng nghĩa với việc nội dung được bảo vệ khỏi mọi hoạt động thu thập.
Trong nhiều năm, chủ website muốn hạn chế nội dung bị dùng để huấn luyện mô hình AI phải tự quản lý danh sách crawler và quy tắc riêng cho từng nhà cung cấp. Cách làm đó không quá khó với một website lớn có đội kỹ thuật, nhưng nhanh chóng trở thành gánh nặng với nhà xuất bản nhỏ: phải theo dõi nhiều tên bot, hiểu các chính sách khác nhau và cập nhật cấu hình mỗi khi một nền tảng thay đổi.
Ngày 30/10/2026, Google và OpenAI cùng công bố kế hoạch hỗ trợ một tín hiệu chung trong robots.txt, dựa trên công việc của nhóm AI Preferences thuộc Internet Engineering Task Force (IETF). Ý tưởng là website có thể thể hiện lựa chọn về việc sử dụng nội dung cho huấn luyện AI bằng một cơ chế thống nhất, thay vì phải viết các quy tắc riêng cho từng công ty. Đây là thay đổi đáng chú ý vì nó đưa quyền lựa chọn của nhà xuất bản vào một điểm cấu hình vốn đã quen thuộc với người vận hành web.
OpenAI cho biết sẽ tôn trọng tín hiệu chung trong những tháng tới, đồng thời nhấn mạnh các quy tắc crawler hiện tại vẫn tiếp tục có hiệu lực. Google nói họ dự kiến hỗ trợ cơ chế này cùng các nhà cung cấp AI khác trong năm 2027. Cả hai thông báo đều thể hiện định hướng triển khai, không phải xác nhận rằng mọi hệ thống đã hỗ trợ ngay tại thời điểm công bố.
Tín hiệu chung không đồng nghĩa với một tiêu chuẩn đã hoàn tất
Một chi tiết cần phân biệt là công việc đang diễn ra trong nhóm IETF không đồng nghĩa cơ chế đã trở thành tiêu chuẩn Internet bắt buộc. Search Engine Journal cho biết tín hiệu này xuất phát từ một Internet-Draft do một cá nhân tham gia nhóm AI Preferences đề xuất; bản nháp như vậy là đầu vào cho quá trình thảo luận kỹ thuật, không tự động đại diện cho một tiêu chuẩn đã được IETF thông qua.
Sự khác biệt này quan trọng với đội vận hành website. Một dòng cấu hình chỉ có tác dụng thực tế khi crawler của nhà cung cấp nhận biết và tự nguyện tuân thủ nó. robots.txt vốn là một giao thức điều phối hành vi crawler, không phải lớp xác thực hay cơ chế kiểm soát truy cập. Nó không mã hóa nội dung, không ngăn một bên truy cập trực tiếp vào máy chủ và cũng không thể buộc những crawler không tham gia sáng kiến phải làm theo.
Vì vậy, không nên xem tín hiệu chung như một công tắc bảo vệ tuyệt đối. Nó hữu ích nhất khi được nhiều nhà cung cấp lớn triển khai nhất quán, công bố rõ cách diễn giải và duy trì khả năng kiểm tra. Nếu mỗi hãng hiểu cùng một chỉ thị theo cách khác nhau, chủ website vẫn phải đọc tài liệu riêng và kiểm tra hành vi thực tế của crawler.
Huấn luyện và grounding không phải lúc nào cũng là một lựa chọn
Một điểm phức tạp hơn nằm ở cách các nền tảng sử dụng nội dung. Huấn luyện mô hình là một mục đích; grounding — truy xuất nội dung từ web để tạo câu trả lời có căn cứ — lại là một mục đích khác. Một nhà xuất bản có thể không muốn bài viết trở thành dữ liệu huấn luyện, nhưng vẫn muốn nội dung xuất hiện trong kết quả tìm kiếm hoặc câu trả lời có trích dẫn để tiếp tục nhận lượt truy cập.
Thông báo của Google cho biết tín hiệu chung sẽ được diễn giải cùng các quy tắc Google-Extended hiện có; nếu website không khai báo riêng Google-Extended, Google dự kiến xem lựa chọn từ chối huấn luyện theo tín hiệu chung như một lệnh chặn Google-Extended. Điều này có thể ảnh hưởng đến cách nội dung được dùng trong các sản phẩm AI của Google, nên chủ website cần đọc kỹ hướng dẫn chính thức trước khi triển khai. OpenAI thì nói các điều khiển crawler hiện tại vẫn được giữ nguyên và tín hiệu chung không thay thế chúng.
Sự khác biệt giữa các mục đích sử dụng cho thấy một chuẩn chung mới chỉ giải quyết phần giao tiếp ban đầu. Để chủ website thực sự có quyền lựa chọn chi tiết, các nhà cung cấp còn phải làm rõ liệu họ tách biệt huấn luyện, lập chỉ mục, truy xuất và hiển thị nội dung như thế nào. Nếu tất cả bị gom vào một lựa chọn duy nhất, nhà xuất bản có thể phải đánh đổi giữa việc hạn chế huấn luyện và khả năng được tìm thấy.
Việc nên làm lúc này
Với website đang vận hành, bước hợp lý không phải là vội thay toàn bộ robots.txt theo một cú pháp chưa được triển khai đồng loạt. Trước hết, hãy giữ lại các quy tắc crawler đang hoạt động, kiểm tra tài liệu chính thức của từng nền tảng và theo dõi thời điểm họ xác nhận hỗ trợ. Khi cơ chế chung có hướng dẫn ổn định, đội kỹ thuật nên thử trên môi trường kiểm soát, kiểm tra xung đột giữa quy tắc chung và quy tắc riêng, rồi mới áp dụng trên toàn site.
Về dài hạn, tín hiệu dùng chung là một bước tiến có ý nghĩa: nó giảm chi phí cấu hình cho nhà xuất bản và tạo cơ sở để nhiều bên nói cùng một ngôn ngữ về quyền sử dụng nội dung. Nhưng quyền kiểm soát trên web không thể chỉ dựa vào một dòng văn bản. Nó cần sự tuân thủ minh bạch, khả năng kiểm chứng và cách phân biệt rõ giữa việc huấn luyện mô hình với việc đưa nội dung vào câu trả lời có truy xuất nguồn.
Nguồn tham khảo
- OpenAI — Making it easier for websites to express AI training preferences
- Google Search Central — Supporting a shared AI training control for websites
- Search Engine Journal — Google, Microsoft & OpenAI Plan To Honor Shared AI Training Opt-Out
