Lưu trữ khối lượng công việc không nhất quán trong Azure

Trong công ty của chúng tôi, chúng tôi có rất nhiều thuật toán cần xử lý các tập dữ liệu lớn. Thời gian để chạy các thuật toán này khác nhau từ vài phút đến hàng giờ. Chúng cũng cần được chạy đặc biệt từ nhiều lần trong một tuần đến mỗi tháng một lần. Chúng tôi muốn kích hoạt các thuật toán này bằng một sự kiện chẳng hạn như tệp tải lên trong bộ nhớ Azure blob hoặc và lệnh gọi API.

Để giải quyết vấn đề này, tôi bắt đầu xem xét việc xử lý các tác vụ được xếp hàng đợi trong Azure. Lúc đầu, tôi nghĩ rằng các chức năng của Azure có thể là một giải pháp tốt vì nó trả tiền khi bạn sử dụng.Vấn đề với điều này là chúng không dành cho các hoạt động kéo dài. Vì vậy, tôi bắt đầu tìm kiếm ở nơi khác. Tôi đã tìm thấy hai lựa chọn thay thế khá tốt là Azure WebJobs hoặc Jobs in Azure Kubernetes Services. Vấn đề với cả hai là họ vẫn cần một máy chủ đang hoạt động mặc dù không có gì đang chạy trên chúng. Điều này có thể khá tốn kém đối với các tác vụ chỉ cần chạy mỗi tháng một lần.

Do đó, câu hỏi của tôi là: có tồn tại giải pháp nào trong Azure để lưu trữ các công việc chạy dài mà không cần máy chủ chuyên dụng chạy 24/7 không?

Tách thành phần gửi công việc khỏi các công nhân xử lý chúng. Có lẽ quá trình gửi được triển khai như với Hàng đợi và Hàm Azure, tải các đầu vào lên bộ lưu trữ ở đâu đó và tạo một con trỏ tới đó. Một phần của chức năng là mở rộng quy mô công nhân từ con số 0, có thể thông qua VM Scale Sets.

Có thể là một số công việc phát triển, nếu không sử dụng hệ thống lập lịch công việc hiện có.

Hoặc, dành chi phí để chạy Kubernetes mọi lúc. Có, AKS yêu cầu chạy ít nhất một nút. Có thể đáng giá, đặc biệt nếu nó cũng chạy các ứng dụng vùng chứa khác.

Có lẽ một giải pháp khác cho những gì John đã đề xuất là sử dụng máy ảo Azure Spot: https://azure.microsoft.com/en-us/services/virtual-machines/spot/