wget: Chỉnh sửa các liên kết bị hỏng trong khi thu thập thông tin trước khi truy cập chúng

user136036

15:50, 19/04/2023

Tình huống:
Tôi muốn phản ánh một trang web cũ. Trang web này đang hoạt động https://example.com/website/. Trang web sử dụng các liên kết tuyệt đối đến http://www.example.com/website/.

Vấn đề:
Vì bất kỳ lý do gì, wget không thể truy cập https://www.example.com (thư mục www.), kết nối sẽ hết thời gian chờ - không biết tại sao, nó hoạt động tốt trong trình duyệt (không thể cuộn tròn btw).

Phương pháp khả thi:

Yêu cầu quên viết lại các liên kết trước khi theo dõi chúng trong khi nó vẫn đang thu thập thông tin.
Làm cho wget hoạt động với www. thư mục.

Để có thể làm cho .www hoạt động, tôi đã thử đặt tác nhân người dùng thành FF: --header="Chấp nhận: text/html" --user-agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:95.0) Gecko/20100101 Firefox/95.0" nhưng điều đó đã không làm việc.

Vì vậy, bằng cách nào đó, tôi cần phải viết lại các liên kết trên trang web đó trong khi thu thập dữ liệu.

0 + 0

quên đi

Gerald Schneider

16:17, 19/04/2023

Không thể với wget thuần túy. Tìm hiểu lý do tại sao nó hết thời gian.

Hồi đáp

vaizki

21:43, 19/04/2023

Các liên kết đến các URL `https:` hoặc `http:` cũng vậy.. bạn đang nói về cả hai.

Hồi đáp

user136036

05:10, 21/04/2023

Tôi không biết làm thế nào tôi có thể tìm ra lý do tại sao www. không hoạt động. gỡ lỗi wget/curl không đưa ra gợi ý nào. Các liên kết đến http: nhưng điều đó không thực sự quan trọng vì HSTS thực thi https:. Máy chủ hoạt động tốt với https, cũng như trên www. thư mục. Nếu tôi chạy cùng một lệnh wget từ PC ở nhà, nó sẽ tải xuống mọi thứ như mong đợi (trong câu hỏi của tôi, tôi chạy wget từ máy chủ của mình - nhưng đó cũng không phải là khối IP, vì công cụ không phải www. hoạt động (tôi thường thu thập dữ liệu `https: //example.com/site/` không có vấn đề gì)).

Hồi đáp

Phan Văn Trường

Câu hỏi này là trong các ngôn ngữ khác:

EN: wget: Edit broken links while crawling before visiting them

TH: wget: แก้ไขลิงก์เสียขณะรวบรวมข้อมูลก่อนเข้าชม

RO: wget: Editați linkurile rupte în timp ce accesați cu crawlere înainte de a le vizita

RU: wget: редактируйте неработающие ссылки во время сканирования перед их посещением

VI: wget: Chỉnh sửa các liên kết bị hỏng trong khi thu thập thông tin trước khi truy cập chúng

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.