Tệp robots.txt là gì?

Tệp robots.txt cho trình thu thập dữ liệu của công cụ tìm kiếm biết các trang hoặc tệp mà trình thu thập dữ liệu có thể hoặc không thể yêu cầu từ trang web của bạn. Tệp này chủ yếu dùng để ngăn trình thu thập dữ liệu gửi quá nhiều yêu cầu cho trang web của bạn; tệp không phải là cơ chế để ẩn một trang web khỏi Google. Để ẩn một trang web khỏi Google, bạn nên sử dụng thẻ hoặc chỉ thị noindex hoặc bảo vệ trang của bạn bằng mật khẩu.

Tệp robots.txt dùng cho mục đích gì?

Tệp robots.txt chủ yếu dùng để quản lý lưu lượng truy cập của trình thu thập dữ liệu vào trang web của bạn và đôi khi để ẩn trang khỏi Google, tùy thuộc vào loại tệp:

Tôi sử dụng dịch vụ lưu trữ trang web

Nếu sử dụng dịch vụ lưu trữ trang web, chẳng hạn như WIX, Drupal hoặc Blogger, bạn có thể không cần (hoặc có thể) chỉnh sửa tệp robots.txt của mình trực tiếp. Thay vào đó, nhà cung cấp của bạn có thể hiển thị mục cài đặt trang hoặc một cơ chế khác để cho công cụ tìm kiếm biết có nên thu thập dữ liệu trang của bạn hay không.

Để xem liệu Google đã thu thập dữ liệu trang của bạn chưa, hãy tìm kiếm URL trang trong Google.

Nếu bạn muốn ẩn (hoặc bỏ ẩn) trang của mình, hãy thêm (hoặc xóa) yêu cầu đăng nhập trang và tìm hướng dẫn về việc sửa đổi chế độ hiển thị của trang trong công cụ tìm kiếm trên máy chủ lưu trữ trang web của bạn, ví dụ: wix ẩn trang khỏi công cụ tìm kiếm

Hiểu được những hạn chế của robots.txt

Trước khi tạo hoặc chỉnh sửa robots.txt, bạn nên biết các giới hạn của phương pháp chặn URL này. Đôi khi, bạn có thể muốn xem xét các cơ chế khác để đảm bảo URL của bạn không thể tìm thấy trên web.

• Hướng dẫn trong robots.txt chỉ là lệnh
  Các hướng dẫn trong tệp robots.txt không thể ép buộc hành vi của trình thu thập dữ liệu trên trang web của bạn; thay vào đó, những hướng dẫn này hoạt động như lệnh đối với trình thu thập dữ liệu truy cập vào trang web của bạn. Mặc dù Googlebot và các trình thu thập dữ liệu web có uy tín khác tuân thủ hướng dẫn trong tệp robots.txt, các trình thu thập dữ liệu khác có thể không. Vì vậy, nếu bạn muốn bảo vệ thông tin an toàn khỏi trình thu thập dữ liệu web, tốt hơn bạn nên sử dụng các phương pháp chặn khác, chẳng hạn như bảo vệ các tệp riêng tư bằng mật khẩu trên máy chủ của bạn.
• Trình thu thập khác nhau phân tích cú pháp khác nhau
  Mặc dù trình thu thập dữ liệu web có uy tín sẽ thực hiện theo lệnh trong tệp robots.txt, mỗi trình thu thập có thể phân tích lệnh theo cách khác nhau. Bạn nên biết cú pháp thích hợp để xử lý các trình thu thập dữ liệu web khác nhau vì một số trình thu thập có thể không hiểu được hướng dẫn nhất định.
• Google vẫn có thể lập chỉ mục một trang bị chặn bởi robots.txt nếu trang được liên kết từ những trang web khác
  Mặc dù Google sẽ không thu thập dữ liệu hoặc lập chỉ mục nội dung bị chặn bởi robots.txt, chúng tôi vẫn có thể tìm thấy và lập chỉ mục một URL không được phép nếu URL được liên kết từ những nơi khác trên web. Kết quả là địa chỉ URL và có thể các thông tin công khai khác như văn bản liên kết trong các liên kết đến trang vẫn có thể xuất hiện trong kết quả tìm kiếm của Google. Để chặn URL của bạn xuất hiện trong kết quả của Google Tìm kiếm, bạn nên bảo vệ các tệp trên máy chủ của mình bằng mật khẩu hoặc sử dụng thẻ meta noindex hay tiêu đề phản hồi (hoặc xóa trang hoàn toàn).

Kiểm tra một trang để xem có lệnh chặn trong robots.txt không

Bạn có thể kiểm tra xem một trang hoặc tài nguyên có bị chặn bởi quy tắc robots.txt hay không.

Để kiểm tra lệnh noindex, hãy sử dụng công cụ Kiểm tra URL.

* Nguồn: Google Search Console