Cách nhanh nhất để phân phối một tệp lớn giữa một nhóm máy là gì?

Hãy tưởng tượng bạn chạy một dịch vụ có tính song song cao yêu cầu bạn phải đồng bộ hóa một tệp lớn (giả sử là 100 GB) giữa nhiều máy (giả sử là 100) một cách thường xuyên và bạn muốn phân phối dữ liệu này càng nhanh càng tốt. các quy trình mà tệp xuôi dòng có thể bắt đầu thực hiện công việc của nó.

Việc gửi liên tục đến máy một, rồi máy hai, rồi máy ba, v.v., rất dễ viết kịch bản, nhưng rất tốn thời gian và rất lãng phí: tại bất kỳ thời điểm nào, 98 máy đều không hoạt động.

trang wikipedia này mô tả một số thuật toán khác nhau để phát dữ liệu tới nhiều máy. Có bất kỳ tiện ích shell nào sử dụng chiến lược thông minh hơn ngây thơ để thực hiện thao tác phát này trên một tệp thông thường không?

Nếu chúng ở trên cùng một mạng, bất kỳ phần mềm FTP mutlicast nào cũng sẽ hoạt động (nhanh hơn bittorrent): uftp, udpcast và súng phun lửa đều có sẵn trong apt.