Danh mục này liệt kê các URL mà Google không thể đi theo, cùng với một số nguyên nhân kèm theo. Dưới đây là một số lý do tại sao Googlebot không thể theo được URL trên trang web của bạn:

Flash, JavaScript, nội dung hoạt động

Một số tính năng như JavaScript, cookie, ID phiên, khung, DHTML hoặc Flash có thể khiến các công cụ tìm kiếm khó thu thập dữ liệu trang web của bạn. Kiểm tra những điều sau:

• Hãy sử dụng trình duyệt văn bản như Lynx để kiểm tra trang web của bạn vì có nhiều công cụ tìm kiếm có thể xem trang web của bạn như Lynx. Nếu các tính năng như Javascript, cookie, ID phiên, khung, DHTML hoặc Flash giúp bạn xem tất cả các trang web của mình trong một trình duyệt văn bản thì trình thu thập thông tin của công cụ tìm kiếm có thể gặp sự cố khi thu thập dữ liệu trang web của bạn.
• Sử dụng Tìm nạp như Googlebot để xem chính xác cách trang web của bạn xuất hiện với Google.
• Nếu bạn sử dụng trang động (ví dụ: nếu URL của bạn chứa ký tự ?) , bạn cần biết rằng không phải tất cả trình thu thập thông tin của công cụ tìm kiếm đều thu thập dữ liệu trang tĩnh và trang động. Nói chung, chúng tôi khuyên bạn nên đặt các tham số ngắn và sử dụng chúng một cách thận trọng. Nếu bạn chắc chắn về cách các tham số hoạt động cho trang web của mình, bạn có thể cho Google biết cách bạn nên xử lý các tham số đó.

Chuyển hướng

• Nếu bạn đang chuyển hướng vĩnh viễn từ trang này đến trang khác, hãy đảm bảo rằng bạn đang trả lại mã trạng thái HTTP đúng (301 di chuyển vĩnh viễn).
• Hãy sử dụng liên kết tuyệt đối thay vì liên kết tương đối ở bất cứ đâu có thể. (Ví dụ: khi liên kết đến trang khác trong trang web của bạn, liên kết đến www.example.com/mypage.html thay vì chỉ mypage.html).
• Thử đặt mọi trang trên trang web của bạn có thể truy cập được từ ít nhất một liên kết văn bản tĩnh. Nói chung, hãy giảm thiểu số lần chuyển hướng cần thiết để đi theo liên kết từ trang này đến trang khác.
• Chọn chuyển hướng của bạn hướng đến trang chính xác! Đôi khi chúng tôi phát hiện thấy chuyển hướng tự hướng đến chính mình (dẫn đến lỗi vòng lặp) hoặc đến URL không hợp lệ.
• Không đưa URL được chuyển hướng vào Sơ đồ trang web của bạn.
• Giữ URL của bạn ngắn nhất có thể. Đảm bảo rằng bạn không tự động gắn thông tin (chẳng hạn như ID phiên) vào URL chuyển hướng của bạn.
• Đảm bảo rằng trang web của bạn cho phép các bot tìm kiếm thu thập dữ liệu trang web mà không cần ID phiên hoặc đối số theo dõi đường dẫn của chúng qua trang web.

* Nguồn: Google Search Console