Postgresql 13 - Tăng tốc pg_dump lên 5 phút thay vì 70 phút

Bảng lớn nhất của chúng tôi chứa dữ liệu hình ảnh thô ở dạng tạm biệt cột.

Khi chúng tôi thực hiện một SAO CHÉP đơn giản từ psql trên bảng này sang tiêu chuẩn, khá nhanh (1 hoặc 2 phút), nhưng lại rất chậm với tệp pg_dump. Phải mất ~ 60 phút.

Vì vậy, điều tra này tôi tình cờ thấy điều này thảo luận. Có thể thấy rằng quá trình nén pg_dump khá chậm nếu dữ liệu đã được nén giống như với dữ liệu hình ảnh ở định dạng bytea. Và nén bên ngoài pg_dump(-Z0) thì tốt hơn.

Ngoài ra, chúng tôi thấy rằng chúng tôi có thể sử dụng cpu đa lõi của mình (-j10 và pigz). Vì vậy, bây giờ chúng tôi đang làm điều đó như thế này:

$ pg_dump -Z0 -j 10 -Fd database_name -f dumpdir
$ tar -cf - dumpdir | pigz > dumpdir.tar.gz
$ rm bãi chứa

Thời gian đã giảm từ ~70 phút xuống còn ~5 phút. Khá tuyệt.

Bạn có thể khôi phục nó như thế này:

$ pigz -dc dumpdir.tar.gz | tar -C dumpdir --strip-components 1 -xf -
$ pg_restore -j 10 -Fd -O -d database_name dumpdir