Bản nâng cấp MySQL của Ubuntu 20.04.2 đã làm hỏng dữ liệu của chúng tôi...làm cách nào để khắc phục?

Có phải vấn đề với ứng dụng Django không?

Không. Cũng không chắc tại sao ai đó lại đánh giá thấp điều này. Phiếu phản đối chỉ dành cho "không hiển thị bất kỳ nghiên cứu hoặc nỗ lực nào, không rõ ràng hoặc không hữu ích." Không ai trong số đó áp dụng. Tôi đã thực hiện nghiên cứu và điều tốt nhất tôi tìm thấy là: https://stackoverflow.com/questions/11436594/how-to-fix-double-encoded-utf8-characters-in-an-utf-8-table Nhưng một truy vấn SQL duy nhất khác xa với một giải pháp thực tế. Việc nâng cấp lên Ubuntu đã nâng cấp MySQL lên v8.0 và thay đổi các bảng cũng như dữ liệu trong đó theo cách bị hỏng.

Lý do tôi hỏi về việc sử dụng Django là vì một số hệ thống, chẳng hạn như hệ thống đó, có những kỳ vọng rất đặc biệt từ công cụ DB dựa trên cấu hình kết nối. Bạn nói rằng điều này đang xảy ra với *một* hệ thống, không phải tất cả, vì vậy giả định là một ứng dụng cứng nhắc cần được cập nhật. UTF8 (trong MySQL 5.x trở xuống) không được dùng để thay thế cho Utf8mb4, nhưng cần phải xây dựng lại bảng để chuyển đổi các bảng cơ sở dữ liệu cũ thành bộ ký tự hiện tại. Khi câu hỏi đặt ra, không có đủ chi tiết để đưa ra bất kỳ đề xuất cụ thể nào

Nó gần như chắc chắn không chỉ giới hạn trong một ứng dụng. Đây chỉ là một ứng dụng mà chúng tôi nhận thấy cho đến nay có xu hướng sử dụng Unicode (đặc biệt là biểu tượng cảm xúc). Dữ liệu được tuần tự hóa trong cơ sở dữ liệu (mà chúng tôi thực hiện RẤT NHIỀU) và trình giải tuần tự hóa đang chặn dữ liệu vì MySQL đang trả về các ký tự UTF-8 được mã hóa kép. Bản thân việc sử dụng ứng dụng khách MySQL cho thấy dữ liệu được mã hóa kép (nghĩa là không có vấn đề gì với ứng dụng).

Vấn đề là bất kỳ ai chạy MySQL trong Ubuntu Server LTS 18.04 và nâng cấp lên 20.04 và có các bảng trong cơ sở dữ liệu của họ với bộ ký tự 'utf8' sẽ gặp phải cùng một vấn đề. Do đó, hoàn toàn phù hợp và hữu ích và cần một bản sửa lỗi đang hoạt động.

Được rồi, sau khi vật lộn với điều này trong nhiều giờ, tôi có một giải pháp MỘT PHẦN: Trước tiên, hãy chuyển đổi bộ ký tự của bảng thành `utf8mb4` thông qua `ALTER TABLE tablename CONVERT TO CHARACTER SET utf8mb4`. Sau đó, đối với mỗi cột bị ảnh hưởng, hãy sử dụng truy vấn SQL từ bài đăng SO để thay đổi dữ liệu trong cột. Trước tiên, hãy làm tất cả những điều đó trong một tập hợp các bảng cơ sở dữ liệu được nhân bản, riêng biệt để tránh vô tình làm mọi thứ trở nên tồi tệ hơn. Nhưng như tôi đã nói, đây là một giải pháp tạm thời, từng phần *xuất hiện* để làm cho dữ liệu hợp lệ nhưng còn lâu mới đạt được câu trả lời. Tôi sẽ cần xây dựng một công cụ để xác định mức độ phổ biến của vấn đề.

Được rồi, sau RẤT NHIỀU thời gian nữa, tôi đã xử lý tất cả dữ liệu của chúng ta. Phương pháp trên hoạt động, loại. Tôi *rất* khuyên bạn nên xuất dữ liệu của mình bằng kết nối `utf8`, thực hiện nâng cấp MySQL, chỉ thay đổi các trường có ký tự Unicode, sau đó khôi phục dữ liệu bị hỏng từ dữ liệu đã xuất (tức là quá trình xuất của bạn là chính xác, MySQL đôi khi thực hiện sai). Bởi vì https://stackoverflow.com/questions/11436594/how-to-fix-double-encoded-utf8-characters-in-an-utf-8-table SẼ làm hỏng hoàn toàn dữ liệu ở đâu đó trong cơ sở dữ liệu! Xử lý hàng triệu hàng dữ liệu là cách tôi biết điều đó là đúng.

Câu hỏi này là trong các ngôn ngữ khác: