Cơ sở hạ tầng AWS tốt nhất để chạy quá trình di chuyển dữ liệu từ một máy chủ SQL sang mongoDB là gì?

Tôi có một số terabyte dữ liệu trong hệ thống cũ chạy máy chủ SQL của chúng tôi. Phiên bản mới hơn của chúng tôi chạy trên MongoDB. Chúng tôi đang di chuyển dữ liệu này sang MongoDB. Chúng tôi có các tập lệnh python được viết và xác minh, tất cả chuyển động dữ liệu diễn ra bình thường.

chúng tôi đã làm điều này trên một máy thấp hơn có 4 lõi, nếu chúng tôi làm điều đó trên máy lớn hơn, nó sẽ rất đắt. AWS Lambda có thời gian xử lý 15 phút, quá trình này mất hơn 24 giờ để hoàn tất một lần lặp. Các chức năng bước AWS hứa hẹn điều đó, nhưng không chắc liệu nó có đúng hay không.

Bạn không thể thực hiện "mongoexport" cục bộ, xuất sang S3 (hoặc thiết bị AWS Snowcone vật lý), sử dụng phiên bản EC2 để "mongoimport", sau đó chạy tập lệnh của bạn để thực hiện bất kỳ cập nhật nào kể từ khi kết xuất?

Về cách chạy phiên bản này, có thể bạn sẽ không cần phải sử dụng phiên bản EC2 giao ngay, đặc biệt nếu bạn sử dụng phiên bản này ngoài giờ cao điểm của khu vực - có thể là cuối tuần. Nếu công việc của bạn không thể bị gián đoạn thì EC2. Một m5.xlarge có 4 lõi / RAM 16 GB có giá 0,2 đô la mỗi giờ, trong vài ngày giá đó là 10 đô la.

Tôi cũng sẽ chỉ ra rằng 3TB ở tốc độ 100Mbps sẽ mất 2,6 ngày để gửi, nhưng ở tốc độ 800Mbps sẽ mất 7 giờ - nhưng việc duy trì băng thông đó có thể khó khăn nếu không có DirectConnect. Tốt nhất bạn nên sử dụng một AWS Snowcone đó là một thiết bị vật lý mà bạn sao chép dữ liệu để sau đó gửi tới AWS.

Tôi khuyên bạn nên sử dụng Dịch vụ di chuyển cơ sở dữ liệu AWS để di chuyển từ MongoDB đến Tài liệu AWSDB, đây là phiên bản MongoDB của họ với một tên khác. DMS sẽ di chuyển dữ liệu, sau đó bạn chỉ cần trỏ ứng dụng của mình vào phiên bản mới và tắt phiên bản cũ.