Bộ nhớ đệm Nginx không hoạt động cho trình thu thập thông tin

Tôi đã sử dụng bộ nhớ đệm Nginx trong nhiều năm nhưng gần đây nhận thấy một sự cố mà tôi nghi ngờ đã xảy ra trong nhiều năm.

Nếu tôi truy cập một trang chưa bao giờ được truy cập trước đó, tất nhiên tôi sẽ bị lỗi bộ nhớ cache, hãy làm mới trang và bây giờ nó là một lần truy cập bộ nhớ cache.

Tuy nhiên, tôi nhận thấy khi các trình thu thập dữ liệu như Bingbot hoặc Googlebot thu thập dữ liệu trang web, các trang mà chúng thu thập dữ liệu không bao giờ được lưu vào bộ nhớ cache, chúng luôn bị lỗi bộ nhớ cache cho đến khi tôi truy cập chúng theo cách thủ công.

Có cài đặt nào đó trong Nginx ngăn lưu lượng bot từ các trang lưu vào bộ đệm không?

FYI Tôi không đối xử khác với bot với người dùng trong cấu hình Nginx của mình.

Đây là một mẫu cấu hình của tôi.

    bật proxy_socket_keepalive;
    proxy_redirect tắt;
    proxy_cache Google-Cache;
    bật proxy_cache_revalidate;
    proxy_ignore_headers Hết hạn kiểm soát bộ đệm;
    lỗi proxy_cache_use_stale hết thời gian cập nhật http_500 http_502 http_503 http_504;   
    bật proxy_cache_background_update; 
    bật proxy_cache_lock;


   proxy_cache_valid 200 206 304 306 301 302 404 410 300 giây;