Tôi có bản cài đặt ceph-rgw với một nhóm lớn (~60 triệu đối tượng) và 16 osds, chỉ mục nhóm được chia thành 997 phân đoạn. Trong môi trường này, danh sách thư mục đơn mất hơn 30 giây:
$ time rclone lsd t:xô/không/tồn tại/đường dẫn/ --contimeout=1h --timeout=1h
thực 0m34.816s
Điều này rất khó chịu và có thể khách hàng (ví dụ: bản thân rclone) thực hiện thao tác list-dir trước PUT để kiểm tra/xác minh điều gì đó. (Ngăn khách hàng gửi list_objects/list_bucket không phải là một lựa chọn tốt)
Nhật ký của trình nền rgw bình thường.Một phần của nhật ký là:
08:57:45.267+0000 7f0492db2700 1 ====== bắt đầu yêu cầu mới req=0x7f05039a9620 =====
08:57:45.267+0000 7f0492db2700 20 req 412648 0,000000000 giây miền cuối cùng/miền phụ nhóm= miền= in_hosted_domain=0 in_hosted_domain_s3website=0 s->info.domain= s->info.request_uri=/bucket
08:57:45.267+0000 7f0492db2700 10 req 412648 0,000000000s yêu cầu chuẩn = GET
08:57:45.267+0000 7f0492db2700 2 req 412648 0.000000000s s3:list_bucket xác minh thông số op
08:57:45.267+0000 7f0492db2700 2 req 412648 0.000000000s s3:list_bucket tiền thực thi
08:57:45.267+0000 7f0492db2700 2 req 412648 0.000000000s s3:list_bucket đang thực thi
08:57:45.267+0000 7f0492db2700 20 req 412648 0.000000000s s3:list_bucket RGWRados::Bucket::List::list_objects_ordered lần thử bắt đầu 1
08:57:45.267+0000 7f0492db2700 10 req 412648 0.000000000s s3:list_bucket RGWRados::cls_bucket_list_ordered: :bucket[e6fb9c7c-74a2-4819-a0ed-none740d4eb590c.47515/"prefix="startup]/" tồn tại/đường dẫn/" num_entries=1001, list_versions=0, expand_factor=1
08:57:45.271+0000 7f0492db2700 10 req 412648 0,004000000s s3:list_bucket RGWRados::cls_bucket_list_ordered yêu cầu từ mỗi trong số 997 phân đoạn cho 8 mục để có tổng số 1001 mục
08:58:07.495+0000 7f04efe6c700 10 librados: Đối tượng quay lại từ cuộc gọi r=0
08:58:08.779+0000 7f04cd627700 4 rgw rados thread: không có đồng nghiệp, thoát
08:58:18.803+0000 7f0492db2700 2 req 412648 33.535980225s s3:list_bucket hoàn thành
08:58:18.803+0000 7f047bd84700 2 req 412648 33.535980225s s3:list_bucket op status=0
08:58:18.803+0000 7f047bd84700 2 req 412648 33.535980225s s3:list_bucket http status=200
08:58:18.803+0000 7f047bd84700 1 ====== req done req=0x7f05039a9620 trạng thái op=0 http_status=200 độ trễ=33,535980225s ======
08:58:18.803+0000 7f047bd84700 1 con thú: 0x7f05039a9620: 192.168.1.1 - rgwuser [10/Nov/2021:08:57:45.267 +0000] "GET /bucket?delimiter=%!F(MISSING)&max-keys= 1000&prefix=non%!F(MISSING)tồn tại%!F(MISSING)path%!F(MISSING) HTTP/1.1" 200 413 - "rclone/v1.57.0" - độ trễ=33,535980225s
Chi tiết môi trường là: Phiên bản Ceph: 16.2.5 Được cài đặt với rook, Mỗi OSD có kích thước khoảng ~4T với thiết bị Siêu dữ liệu SSD 256G.
