Nén các tệp đầu vào từ rsync trước khi ghi vào đĩa

Tôi cần tải các tệp văn bản lớn từ một máy khác thông qua liên kết 10Gb, các tệp được tạo bởi phần mềm bên ngoài/nguồn đóng mà tôi không có quyền truy cập để thay đổi (ví dụ: để nén các tệp đầu ra)

Hiện tại, việc sử dụng mạng và đĩa IO là 100% trên các máy này (máy nguồn và máy đích) nên hệ thống bị tắc nghẽn.

Nếu máy nguồn có thể nén các tệp văn bản ngay từ đầu thì sẽ không có vấn đề gì cả, nhưng tôi không có quyền truy cập vào máy nguồn (các tệp được rsync-ed tới máy đích mà tôi có quyền truy cập)

Có điều gì ở máy đích mà tôi có thể làm để ít nhất giảm áp lực lên đĩa của máy đích không.

Tôi nảy ra một ý tưởng nực cười, đó là: để có một ổ đĩa ánh xạ bộ nhớ tạm thời với vài GB, hãy gắn nó làm thư mục đầu vào của rsync từ máy nguồn, sau đó viết chương trình để nén một vài tệp văn bản mỗi lần, ghi tệp đầu ra đã nén (kích thước nhỏ hơn 10 lần so với tệp gốc) vào ổ cứng và xóa các tệp gốc khỏi ổ đĩa được ánh xạ bộ nhớ.

Có một công cụ đã làm điều này?! Bất kỳ khuyến nghị khác?

Tôi đang sử dụng Ubuntu 18.04.

Trân trọng

Có điều gì ở máy đích mà tôi có thể làm để ít nhất giảm áp lực lên đĩa của máy đích không.

Khi đĩa IO là nút cổ chai, tất nhiên giải pháp rõ ràng là "lấy đĩa nhanh hơn".

Ngoài ra, khi bạn có một số dung lượng CPU dự phòng: một số hệ thống tệp Linux hỗ trợ nén "trong suốt" trong đó trình điều khiển hệ thống tệp thực hiện nén nhanh trong khi ghi dữ liệu vào bộ lưu trữ khối bên dưới và giải nén khi dữ liệu được đọc lại. Sau đó, bạn không phải thay đổi bất cứ điều gì ở cấp ứng dụng.

• BTRFS https://btrfs.readthedocs.io/en/latest/Compression.html
• ZFS zfs đặt nén=bật <STORAGE>
• Có vẻ như bạn sẽ không sử dụng NTFS trên hệ thống Linux, nhưng nó được hỗ trợ với tính năng nén trong suốt trên Linux. https://en.wikipedia.org/wiki/NTFS-3G