Không rõ liệu bạn muốn giữ các đối tượng không nén trong S3 hay nội dung của bộ chứa vẫn đang thay đổi.
Một tùy chọn bạn có là sử dụng khoảng không quảng cáo S3. Nó không phải là ngay lập tức, nhưng nó sẽ tự động tạo danh sách các đối tượng trong bộ chứa và ghi danh sách đó vào bộ chứa S3 (cùng một bộ chứa hoặc bộ chứa khác).
Bạn có thể đọc danh sách này thành một tập lệnh nhỏ (bất cứ thứ gì bạn cảm thấy thoải mái) và để nó hoạt động với một đối tượng tại một thời điểm. Sử dụng S3 CLI để kéo đối tượng xuống, sau đó nén nó bằng các công cụ OS/script.
Tôi thực sự khuyên bạn nên xây dựng thứ gì đó kiểm tra xem đối tượng nén đã tồn tại chưa để bạn có thể khởi động lại quy trình nếu nó không thành công hoặc đối tượng mới được thêm vào mà không phải xử lý lại mọi thứ.
Nếu bạn đang ghi đối tượng nén trở lại S3, hãy cân nhắc sử dụng phiên bản EC2 hoặc Lambda. Với Lambda, bạn có thể cần sử dụng một luồng tệp để nén tệp một cách nhanh chóng thay vì kéo tệp xuống. Bạn sẽ có thể tìm thấy các ví dụ về điều này cho ít nhất là Python, nếu không phải là các ngôn ngữ được hỗ trợ khác.
--
Một lời cảnh báo, hãy tính toán sơ bộ về chi phí này. Nhận yêu cầu khá rẻ, nhưng truyền dữ liệu ngoài có thể tốn kém. Ngoài ra, nếu bạn đang sử dụng bất kỳ loại lưu trữ nào ngoài Tiêu chuẩn, thì có thể sẽ có chi phí truy xuất đi kèm với nó.
