Sử dụng Tìm nạp như Google cho các trang web

30/11/2019

Công cụ Tìm nạp như Google giúp bạn kiểm tra cách Google thu thập dữ liệu hay hiển thị URL trên trang web của bạn. Bạn có thể sử dụng Tìm nạp như Google để xem liệu Googlebot có thể truy cập vào một trang trên trang web của bạn, cách nó hiển thị trang và liệu có tài nguyên trang nào (chẳng hạn như hình ảnh hay tập lệnh) bị chặn với Googlebot hay không. Công cụ này mô phỏng một quá trình thu thập dữ liệu và thực thi hiển thị như trong quá trình thu thập dữ liệu và hiển thị bình thường của Google và hữu ích để gỡ lỗi các vấn đề trên trang web của bạn.

Mở Tìm nạp như Google cho các trang web

Chạy tìm nạp

  1. Trong hộp văn bản, nhập vào phần đường dẫn của một URL trên trang web của bạn mà bạn muốn Googlebot tìm nạp, liên quan đến gốc trang web. Việc để trống hộp văn bản sẽ tìm nạp trang gốc của trang web. Ví dụ: nếu sản phẩm hiện tại là http://example.com, yêu cầu đối với stores/indiana/1234.html sẽ tìm nạp http://example.com/stores/indiana/1234.html
    Hạn chế tìm nạp:
    • Các URL được tìm nạp bị hạn chế trong trang web hiện tại: ví dụ: nếu sản phẩm trong Search Console hiện tại là http://example.com bạn không thể tìm nạp URL từ https://example.com hoặc http://m.example.com.
    • Quá trình tìm nạp không gửi bất kỳ cookie, thông tin đăng nhập hay thông tin trạng thái nào khác.
    • Tìm nạp sẽ không theo chuyển hướng. Nếu bạn tìm nạp một trang có chuyển hướng, bạn sẽ phải theo chuyển hướng theo cách thủ công như được miêu tả trong phần miêu tả trạng thái tìm nạp "Được chuyển hướng" dưới đây.
  2. Nếu muốn hãy chọn bạn muốn thực hiện tìm nạp như loại Googlebot nào. Điều này ảnh hưởng đến trình thu thập dữ liệu thực hiện tìm nạp và cũng ảnh hưởng đến hiển thị cho yêu cầu Tìm nạp và hiển thị.
    1. Máy tính để bàn [Mặc định] -
      • Đối với trang web, sử dụng trình thu thập dữ liệu Googlebot.
      • Đối với tin tức, sử dụng trình thu thập dữ liệu Googlebot (không phải Googlebot News).
      • Đối với hình ảnh, sử dụng trình thu thập dữ liệu Googlebot Images.
      • Đối với video, sử dụng trình thu thập dữ liệu Googlebot Video.
      • Đối với các trang có mã AdSense, sử dụng trình thu thập dữ liệu Google AdSense.
      • Đối với các trang đích quảng cáo, sử dụng trình thu thập dữ liệu Google AdsBot.
    2. Di động: Điện thoại thông minh
      • Hiện tại - Sử dụng phiên bản hiện tại (nhưng sẽ sớm được thay thế) của trình thu thập dữ liệu Google Smartphone.
      • Sắp tới - Sử dụng phiên bản mới nhất của trình thu thập dữ liệu Google Smartphone.
  3. Nhấp vào Tìm nạp hoặc Tìm nạp và hiển thị:
    • Tìm nạp: Tìm nạp một URL được chỉ định trong trang web của bạn và hiển thị phản hồi HTTP. Không yêu cầu hoặc chạy bất kỳ tài nguyên liên quan (như hình ảnh hay tập lệnh) nào trên trang. Đây là một quy trình tương đối nhanh chóng mà bạn có thể sử dụng để kiểm tra hoặc gỡ lỗi các vấn đề đáng ngờ về kết nối mạng hay bảo mật với trang web của bạn và xem yêu cầu thành công hay thất bại.
    • Tìm nạp và hiển thị: Tìm nạp một URL được chỉ định trong trang web của bạn, hiển thị phản hồi HTTP và cả hiển thị trang theo một nền tảng nào đó (máy tính để bàn hoặc điện thoại thông minh). Quy trình này yêu cầu và chạy tất cả các tài nguyên trên trang (như hình ảnh và tập lệnh). Sử dụng quy trình này để phát hiện sự khác biệt giữa cách Googlebot nhìn thấy trang của bạn và cách người dùng nhìn thấy trang của bạn.
  4. Yêu cầu sẽ được thêm vào bảng lịch sử tìm nạp, với trạng thái "đang chờ xử lý". Khi yêu cầu được hoàn tất, hàng sẽ hiển thị trạng thái thành công hay thất bại của yêu cầu và một số thông tin cơ bản. Nhấp vào bất kỳ hàng tìm nạp không thất bại nào trong bảng để biết thêm chi tiết về yêu cầu, bao gồm dữ liệu và tiêu đề phản hồi HTTP nguyên bản và (đối với Tìm nạp và hiển thị) một danh sách các tài nguyên bị chặn và giao diện trang được hiển thị.
  5. Nếu yêu cầu thành công và chưa đến bốn tiếng, bạn có thể yêu cầu Google thu thập lại dữ liệu và có thể lập chỉ mục lại trang được tìm nạp và bất kỳ trang nào có liên kết trên trang được tìm nạp nếu muốn.

Bạn có giới hạn hàng ngày là 10 lần tìm nạp.

Trạng thái tìm nạp yêu cầu

Bảng lịch sử tìm nạp trên trang chính hiển thị 100 yêu cầu tìm nạp gần đây nhất. Để xem chi tiết về lần tìm nạp đã hoàn thành, hãy nhấp vào hàng tương ứng trong bảng lịch sử tìm nạp. Các trạng thái tìm nạp yêu cầu sau có thể được hiển thị:

  • Hoàn thành: Google đã liên lạc và thu thập dữ liệu trang web của bạn thành công và có thể nạp được tất cả các tài nguyên được tham chiếu bởi trang. Nhấp vào bảng để xem thêm chi tiết về kết quả tìm nạp.
  • Một phần: Google nhận được phản hồi từ trang web của bạn và tìm nạp URL, nhưng không thể tiếp cận tất cả các tài nguyên được tham chiếu bởi trang vì chúng bị chặn bởi tệp robots.txt. Nếu đây chỉ là yêu cầu tìm nạp, hãy thực hiện tìm nạp và hiển thị. Kiểm tra trang được hiển thị để xem có tài nguyên quan trọng nào bị chặn mà có thể ngăn Google phân tích nghĩa của trang đúng cách hay không. Nếu tài nguyên quan trọng bị chặn, hãy bỏ chặn tài nguyên trên tệp robots.txt mà bạn sở hữu. Đối với tài nguyên bị chặn bởi tệp robots.txt mà bạn không sở hữu, hãy liên hệ với chủ sở hữu trang web tài nguyên và yêu cầu họ bỏ chặn các tài nguyên này khỏi Googlebot. Xem miêu tả danh sách các lỗi tìm nạp tài nguyên.
  • Chuyển hướng: Máy chủ phản hồi với chuyển hướng. Công cụ Tìm nạp như Google không theo chuyển hướng. Mặc dù trình thu thập dữ liệu thực tế của Google theo chuyển hướng, công cụ Tìm nạp như Google lại không làm như vậy. Bạn phải theo chuyển hướng bằng cách thủ công:
    • Nếu chuyển hướng đến cùng một sản phẩm, công cụ hiển thị nút cho phép nhanh chóng theo chuyển hướng bằng cách điển URL chuyển hướng vào hộp tìm nạp.
    • Nếu URL chuyển hướng đến một sản phẩm khác mà bạn sở hữu, bạn có thể nhấp vào "Theo" để tự động điền vào hộp URL, sau đó sao chép địa chỉ URL, chuyển đổi chế độ xem sang trang web mới rồi dán URL vào hộp tìm nạp.
    Bạn có thể kiểm tra phản hồi HTTP trên trang chi tiết tìm nạp để xem chi tiết chuyển hướng. Tìm mã lỗi HTTP để tìm hiểu thêm. Chuyển hướng có thể được kích hoạt bởi máy chủ hoặc thẻ meta hay JavaScript trên chính trang đó.
  • Loại lỗi cụ thể... Bất kỳ lỗi tìm nạp loại tài nguyên nào cũng có thể áp dụng với một yêu cầu tìm nạp cho toàn bộ trang và có thể được hiển thị trong cột trạng thái. Ví dụ: Không tìm thấy hoặc Không thể truy cập.

Lỗi tìm nạp tài nguyên

Nếu trạng thái yêu cầu tìm nạp là Một phần, hãy nhấp vào yêu cầu để mở trang chi tiết yêu cầu. Bảng trên trang sẽ liệt kê bất kỳ lỗi nào gặp phải. Thường các lỗi xảy ra là do tài nguyên bị chặn trên trang. Các lỗi nguồn tài nguyên sau đây có thể xảy ra trong yêu cầu tìm nạp:

Danh sách lỗi tìm nạp tài nguyên

Trạng thái Giải thích Ghi chú và các bước tiếp theo

Không tìm thấy

Không tìm thấy tài nguyên (mã phản hồi HTTP 404 hoặc 410)

Lỗi này chỉ ra rằng bạn có thể thấy mã lỗi HTTP 404 khi bạn truy cập vào trang của bạn bằng cách sử dụng trình duyệt web.

Không được phép

Googlebot không được phép truy cập trang (ví dụ, nếu trang yêu cầu mật khẩu).

Lỗi này chỉ ra rằng bạn có thể thấy mã lỗi HTTP 403 khi bạn truy cập vào trang của bạn bằng cách sử dụng trình duyệt web.

Không tìm thấy DNS

Google không thể truy xuất tài nguyên vì không tìm thấy tên miền.

Đảm bảo bạn nhập tên miền đúng (ví dụ: www.example.com) để Google có thể tìm thấy máy chủ trang web của bạn.

Bị chặn

Máy chủ của tài nguyên đang chặn truy cập vào Googlebot bằng tệp robots.txt.

Tài nguyên bị chặn có thể ảnh hưởng đến cách Google hiểu trang và xếp hạng của trang đối với các truy vấn cụ thể. Tài nguyên bị chặn có giá trị Mức độ nghiêm trọng ước tính tầm quan trọng của tài nguyên đối với cách Google hiểu trang:

  • Thấp Tài nguyên bị thiếu ít ảnh hưởng đến việc hiển thị trang.
  • Trung bình Tài nguyên bị thiếu có ảnh hưởng nhất định đến việc hiển thị trang; kiểm tra trang được tìm nạp để xem phần bị thiếu hay khác biệt so với trang thực tế có quan trọng đủ để ảnh hưởng đến cách Google hiểu trang hay không.
  • Cao Tài nguyên bị thiếu ảnh hưởng đáng kể đến trang được hiển thị, và sẽ có thể thay đổi cách Google lập chỉ mục trang của bạn.
  • -- (Gạch ngang kép) Lỗi không phải là tài nguyên bị chặn.

Bạn có thể sửa lỗi này bằng cách cập nhật tệp robots.txt của bạn. Nếu địa chỉ sản phẩm của bạn là ở cấp miền gốc (ví dụ: www.example.com, không phải www.example.com/my_site/), bạn có thể sử dụng công cụ Trình kiểm tra robots.txt để chẩn đoán vì sao URL bị chặn khỏi Google.

Tệp robots.txt không truy cập được

Googlebot không thể truy cập tệp robots.txt của máy chủ tài nguyên. Khi điều đó xảy ra, Google tránh tải bất kỳ tài nguyên nào từ máy chủ đó.

Để giải quyết vấn đề này, hãy đọc bài viết trong Trung tâm Trợ giúp của chúng tôi về cách tạo và kiểm tra tệp robots.txt.

Không truy cập được

Máy chủ tài nguyên mất quá nhiều thời gian để trả lời hoặc từ chối yêu cầu.

Kiểm tra xem máy chủ có đang hoạt động không.

Tạm thời không truy cập được

1) Tìm nạp như Google hiện không thể tìm nạp URL của bạn vì máy chủ mất quá nhiều thời gian để trả lời.

HOẶC

2) Tìm nạp như Google đã hủy tìm nạp của bạn vì có quá nhiều yêu cầu liên tiếp được thực hiện đến máy chủ cho các URL khác nhau.

Lưu ý rằng URL không phải không thể truy cập được với tất cả công cụ của Google--nó chỉ không truy cập được với công cụ mô phỏng Tìm nạp như Google.

Lỗi

Lỗi không xác định ngăn Google hoàn thành tìm nạp.

Nếu lỗi này xảy ra một lần nữa, chúng tôi yêu cầu bạn đăng trong Diễn đàn trợ giúp quản trị trang web của chúng tôi.

* Nguồn: Google Search Console