Tham gia Đăng nhập
Điểm:0
Aditya Agarwal avatar Server

Sự cố đồng bộ hóa dữ liệu từ Amazon RDS sang Amazon S3

lá cờ ai
Aditya Agarwal

Tôi đang cố gắng đồng bộ hóa các binlog trong RDS mysql DB với Amazon S3 trong thời gian thực để truy vấn bằng Amazon Athena. Tôi đã thử sử dụng debezium làm trình kết nối nguồn cho Apache Kafka connect- kafka lưu trữ dữ liệu truyền phát từ RDS và kết xuất sang S3- https://debezium.io/documentation/reference/1.6/architecture.html

Tuy nhiên, vấn đề với điều này là khi chúng tôi truy vấn dữ liệu trong s3 bằng cách sử dụng athena, chúng tôi có thể truy vấn bất kỳ phần chèn nào vào db của rds nhưng mọi cập nhật cho bảng dường như đang tạo mục nhập kép với cả trường cũ và trường mới.

Làm thế nào để chúng ta vượt qua điều này? Có cách tiếp cận thay thế nào mà chúng tôi có thể sử dụng để đồng bộ hóa dữ liệu giữa rds và s3 trong thời gian thực không?

49
0 + 0
lá cờ ar
OneCricketeer
Các câu hỏi về Debezium nên được hỏi trên StackOverfow
0
Hồi đáp
lá cờ VietNam
Phan Văn Trường
Câu hỏi này là trong các ngôn ngữ khác:

Đăng câu trả lời

Hầu hết mọi người không hiểu rằng việc đặt nhiều câu hỏi sẽ mở ra cơ hội học hỏi và cải thiện mối quan hệ giữa các cá nhân. Ví dụ, trong các nghiên cứu của Alison, mặc dù mọi người có thể nhớ chính xác có bao nhiêu câu hỏi đã được đặt ra trong các cuộc trò chuyện của họ, nhưng họ không trực giác nhận ra mối liên hệ giữa câu hỏi và sự yêu thích. Qua bốn nghiên cứu, trong đó những người tham gia tự tham gia vào các cuộc trò chuyện hoặc đọc bản ghi lại các cuộc trò chuyện của người khác, mọi người có xu hướng không nhận ra rằng việc đặt câu hỏi sẽ ảnh hưởng—hoặc đã ảnh hưởng—mức độ thân thiện giữa những người đối thoại.