Công nghệ tốt cho hoạt động hàng loạt quy mô lớn trên nhiều tệp S3 trong AWS Batch với phiên bản Spot

Tôi có một kho dữ liệu văn bản khổng lồ được lưu trữ trong hàng triệu tệp trên S3. Rất phổ biến là tôi muốn thực hiện một số thao tác trên từng tệp trong số đó, thao tác này chỉ sử dụng tệp đó và tạo một tệp mới từ tệp đó. Thông thường, tôi sử dụng DataBricks của công ty mình cho việc này, nhưng nó bị khóa đến mức khó triển khai mã phức tạp ở đó.

Tôi đã cân nhắc sử dụng AWS Batch với Phiên bản dùng ngay thay thế cho DataBricks cho một số công việc này. Tôi chắc chắn muốn sử dụng nhiều nút, bởi vì nút đơn lớn nhất sẽ không có khả năng hoàn thành công việc trong khung thời gian hợp lý. Tất nhiên, có những công nghệ như Apache Spark được thiết kế cho điện toán phân tán, nhưng tôi (a) không tự tin vào khả năng thiết lập cụm Spark của riêng mình và (b) không tin rằng Spark cần thiết cho một hệ thống đơn giản như vậy công việc tính toán phân tán. Về cơ bản, tất cả những gì tôi cần là các nút giao tiếp với những tệp mà chúng dự định làm việc, những gì chúng đã hoàn thành và khi nào chúng tắt.Sẽ rất đơn giản, nếu tẻ nhạt, để duy trì tất cả thông tin đó trong cơ sở dữ liệu và tôi không cần dịch tất cả dữ liệu của mình sang một hệ thống tệp phân tán khác.

Có một công nghệ hiện có tốt cho loại trường hợp sử dụng này?