Chặn lập chỉ mục tìm kiếm bằng 'noindex'
Bạn có thể chặn một trang xuất hiện trong Google Tìm kiếm bằng cách bao gồm một thẻ meta noindex (ngăn lập chỉ mục) trong mã HTML của trang hoặc bằng cách trả về tiêu đề 'noindex' trong yêu cầu HTTP. Vào lần tới, khi thu thập dữ liệu trang đó và thấy thẻ hay tiêu đề, Googlebot sẽ xóa hoàn toàn trang đó khỏi kết quả của Google Tìm kiếm, bất kể các trang web khác có liên kết đến trang đó hay không.
Lưu ý quan trọng! Để chỉ thị noindex có hiệu lực, trang không được bị chặn bởi tệp robots.txt. Nếu trang này bị chặn bởi một tệp robots.txt, trình thu thập dữ liệu sẽ không bao giờ thấy chỉ thị noindex và trang vẫn có thể xuất hiện trong kết quả tìm kiếm, ví dụ nếu các trang khác liên kết đến trang.
Sử dụng noindex rất hữu ích nếu bạn muốn chặn truy cập vào gốc máy chủ của bạn, vì chỉ thị này cho phép bạn kiểm soát truy cập vào trang web của bạn theo cơ sở từng trang.
Triển khai noindex
Có hai cách để triển khai noindex: dưới dạng thẻ meta và dưới dạng tiêu đề phản hồi HTTP. Chúng có hiệu lực tương đương, nhưng bạn có thể chọn phương thức thuận tiện hơn dựa trên mức độ kiểm soát của bạn đối với máy chủ của mình và quá trình xuất bản cụ thể của bạn.
Thẻ < meta >
Để chặn không cho hầu hết trình thu thập dữ liệu web của công cụ tìm kiếm lập chỉ mục một trang trên trang web của bạn, hãy đặt thẻ meta sau vào phần thuộc trang của bạn:
Để chặn chỉ trình thu thập dữ liệu web Google lập chỉ mục trang:
Bạn nên lưu ý rằng một số trình thu thập dữ liệu web của công cụ tìm kiếm có thể phân tích lệnh noindex theo cách khác. Vì thế có thể trang của bạn vẫn xuất hiện trong kết quả tìm công cụ tìm kiếm khác.
Giúp chúng tôi phát hiện thẻ meta của bạn
Chúng tôi phải thu thập dữ liệu trang của bạn để thấy được thẻ meta. Nếu trang của bạn vẫn xuất hiện trong kết quả, có thể là do chúng tôi đã không thu thập dữ liệu trang web của bạn từ khi bạn thêm thẻ. Bạn có thể yêu cầu Google thu thập lại dữ liệu trang của mình bằng cách sử dụng công cụ Tìm nạp như Google. Một lý do khác có thể là tệp robots.txt của bạn đang chặn URL này khỏi trình thu thập dữ liệu web của Google, vì thế chúng tôi không thể nhìn thấy thẻ. Để bỏ chặn trang khỏi Google, bạn phải chỉnh sửa tệp robots.txt của bạn. Bạn có thể chỉnh sửa và kiểm tra robots.txt của mình bằng cách sử dụng công cụ Trình kiểm tra robots.txt.
Tiêu đề phản hồi HTTP
Thay vì thẻ meta, bạn cũng có thể trả lại tiêu đề X-Robots-Tag có giá trị noindex hoặc none trong phản hồi của mình. Dưới đây là ví dụ về phản hồi HTTP với tiêu đề X-Robots-Tag trong đó hướng dẫn các trình thu thập dữ liệu không lập chỉ mục một trang:
HTTP/1.1 200 OK (…) X-Robots-Tag: noindex (…)
Đọc thêm về tiêu đề phản hồi noindex.
TIẾP THEO: CHỌN KHÔNG THAM GIA HIỂN THỊ TRÊN GOOGLE+ VÀ CÁC THUỘC TÍNH KHÁC CỦA GOOGLE
* Nguồn: Google Search Console