Ngày tốt,
Tôi đã thấy rất nhiều câu hỏi như thế này nhưng tôi chưa thấy câu hỏi nào tương tự như tình huống của mình. Tôi không chắc liệu đây có phải là nơi phù hợp hay tốt nhất để hỏi hay không.
Vấn đề tôi gặp phải là tôi có một tập lệnh Python, sử dụng Selenium, để gửi yêu cầu tới một trang web. Đối với mọi thứ tôi đã thử, tôi không thể tìm ra vấn đề nằm ở đâu.
Đây là tình huống cụ thể:
Tôi có hai giọt Digital Ocean đang chạy trong cùng một khu vực. DO1 chứa tập lệnh python của tôi, sử dụng selen để .get(URL) một tài nguyên.
DO2 chứa máy chủ proxy vớ5 của tôi. Thiết lập với ssh -f -N -D 0.0.0.0:1080 máy chủ cục bộ.
Bây giờ nếu tôi chạy như sau:
- yêu cầu DO1 https://www.google.com với không proxy = Không có vấn đề, yêu cầu ~0,8 giây
- yêu cầu DO1 https://www.google.com với proxy = Không có vấn đề gì, yêu cầu ~1,1 giây
Bây giờ là vấn đề.
Khi tôi sử dụng DO1 để yêu cầu một trang web khác (https://mywebsite2.ru/) thông qua proxy, phải mất ~3 phút để phản hồi. Nó có phản hồi, nó siêu chậm, giống như nó bị nerf vậy. Và đó là một giọt hoàn toàn mới.
Proxy sẽ xuất ra, 3 lần cho mỗi yêu cầu kênh X: mở không thành công: kết nối không thành công: Hết thời gian kết nối
Tôi đã thử tạo proxy trên một giọt mới ở khu vực khác - hiệu ứng tương tự.
Nếu tôi thử và sử dụng DO1 để yêu cầu trực tiếp, vấn đề tương tự. Phải mất ~3 phút để trả lời.
Bây giờ tôi nghĩ rằng bản thân các IP có thể bị nhiễm độc. Nếu tôi sử dụng DO1 để Xoăn cùng một trang web, tôi nhận được kết quả ngay lập tức. Nếu tôi sử dụng DO1 để Xoăn trang web thông qua proxy, tôi nhận được kết quả ngay lập tức.
Selenium không có tiêu đề trình duyệt được đính kèm theo yêu cầu, theo mặc định, tôi không tin rằng curl sẽ làm như vậy. Tôi cũng đã thử thay đổi những thứ xung quanh.
Vì vậy, tôi không chắc làm thế nào để giải quyết vấn đề này. (1) Tôi không chắc điều gì có thể gây ra sự giảm sức mạnh trong tập lệnh python và (2) Tôi không chắc mình có thể thử và khám phá điều gì vào lúc này để tìm ra vấn đề.
Hy vọng tôi có thể được chỉ đúng hướng.
