Tác nhân người dùng APIs-Google
APIs-Google là tác nhân người dùng được các API của Google sử dụng để gửi thông báo đẩy. Các nhà phát triển ứng dụng có thể yêu cầu các thông báo này để không phải liên tục thăm dò máy chủ của Google nhằm tìm hiểu xem liệu các tài nguyên họ quan tâm có gì thay đổi không. Để đảm bảo rằng không ai lạm dụng dịch vụ này, Google yêu cầu các nhà phát triển chứng minh rằng họ sở hữu miền trước khi cho phép họ đăng ký một URL với một miền là nơi họ muốn nhận tin nhắn.
Cách APIs-Google truy cập trang web của bạn
APIs-Google gửi mỗi thông báo đẩy bằng cách sử dụng yêu cầu HTTPS POST. Nếu yêu cầu không thành công do một điều kiện lỗi mà có thể là tạm thời, APIs-Google sẽ gửi lại thông báo. Nếu yêu cầu vẫn không thành công, APIs-Google sẽ tiếp tục thử lại—dựa trên lịch trình đợi hàm mũ—tối đa là vài ngày.
Tần suất mà APIs-Google truy cập vào trang web của bạn thay đổi theo số lượng yêu cầu thông báo đẩy được tạo ra cho máy chủ trên trang web của bạn, theo tốc độ cập nhật các tài nguyên được giám sát và số lần thử lại xảy ra. Kết quả là, các mô hình lưu lượng truy cập của APIs-Google có thể nhất quán trong một số trường hợp, nhưng trong các trường hợp khác, lưu lượng truy cập có thể rời rạc hoặc tăng vọt.
Kích hoạt APIs-Google cho trang web của bạn
APIs-Google sử dụng HTTPS để cung cấp thông báo đẩy, vì vậy nó yêu cầu trang web của bạn phải có chứng chỉ SSL hợp lệ. Chứng chỉ không hợp lệ bao gồm:
- Chứng chỉ tự ký.
- Chứng chỉ được một nguồn không đáng tin cậy ký.
- Chứng chỉ đã bị thu hồi.
Tránh các yêu cầu thử lại không cần thiết bằng cách đảm bảo rằng ứng dụng của bạn được thiết kế tốt và phản hồi kịp thời với các thông báo (trong vài giây).
Ngăn APIs-Google gọi trang web của bạn
APIs-Google không thu thập dữ liệu web một cách ngẫu nhiên; bạn phải đăng ký để nhận thông báo đẩy cho một API để được gọi. Vì vậy, bạn có thể làm một trong hai điều để ngăn không cho API-Google gọi trang web của bạn:
- Hủy đăng ký nhận thông báo. Nếu bạn quản trị một miền có miền phụ hoặc các địa chỉ URL được sở hữu hoặc quản lý riêng, một trong các chủ sở hữu miền phụ có thể đã thiết lập một ứng dụng sử dụng thông báo đẩy. Nếu bạn muốn chặn APIs-Google, hãy liên hệ với bất kỳ người nào có thể đã thiết lập một ứng dụng như thế và yêu cầu họ vô hiệu hóa ứng dụng.
- Sử dụng robots.txt. Tác nhân người dùng chỉ định trong tệp robots.txt là
APIs-Google
- APIs-Google không tuân theo lệnh củaGooglebot
. Có thể có chậm trễ nhỏ trước khi APIs-Google phát hiện ra thay đổi đối với tệp robots.txt của bạn. Nếu APIs-Google tiếp tục gửi thông báo tới trang web của bạn vài ngày sau khi bạn đã chặn nó trong robots.txt, hãy kiểm tra xem robots.txt có ở đúng vị trí không.
Xác minh người gọi
Nếu bạn nghi ngờ rằng bạn đang nhận được các yêu cầu giả mạo, bạn có thể xác minh rằng một bot truy cập vào máy chủ của bạn thực sự đang gọi từ google.com. Tìm kiếm nhật ký của bạn cho bất kỳ địa chỉ IP nào tự xác định là tác nhân người dùng APIs-Google
; phép tra cứu DNS ngược phải là miền googlebot.com hoặc google.com.
* Nguồn: Google Search Console