Có thể lưu trữ cơ sở dữ liệu trên một máy chủ, nhưng dữ liệu thực tế trên một máy chủ khác không?

Chúng tôi đang lên kế hoạch thực hiện nghiên cứu AI bằng HPC. HPC này sẽ sử dụng bộ dữ liệu mà chúng tôi đã tạo. Các tập dữ liệu này là các tập con khá lớn của toàn bộ tập dữ liệu (~1TB). Tất cả dữ liệu chúng tôi đã thu thập từ các thử nghiệm sẽ được lưu trữ trong cơ sở dữ liệu SQL. Chúng tôi muốn sử dụng các truy vấn SQL để tìm nạp các tập hợp con có liên quan từ cơ sở dữ liệu có liên quan tại một thời điểm nhất định - vì vậy, chúng tôi đã phát triển một dịch vụ RESTful, cho phép mọi người gửi các truy vấn được làm sạch.

Có một số hạn chế hiện đang tạm dừng quá trình thiết lập của chúng tôi.

Chúng tôi có một máy chủ lưu trữ cho dịch vụ RESTful, nhưng việc sử dụng dung lượng lưu trữ ~1TB trên đó là giải pháp cuối cùng và chúng tôi muốn tìm một cách thay thế để thực hiện mọi việc. Tôi tự hỏi liệu có thể lưu trữ cơ sở dữ liệu trên một máy chủ nhưng dữ liệu thực tế lại nằm trên một máy chủ khác không? Vì vậy, khi nhà nghiên cứu gửi truy vấn đến dịch vụ RESTful, máy chủ SQL sẽ chọn tệp nào sẽ gửi, trả chúng về dịch vụ restful, dịch vụ restful sẽ trả về các liên kết tải xuống cho tất cả các bộ dữ liệu.

Hiện tại, chúng tôi đang sử dụng MySQL để lưu trữ dữ liệu và một phiên bản Flask để cho phép các nhà nghiên cứu gửi các thử nghiệm mới và tìm nạp chúng.

Có ba thành phần ở đây

• Flask, đang phục vụ API REST của bạn,
• mysqld, là phiên bản cơ sở dữ liệu đang chạy và
• các tập tin dữ liệu quản lý bởi cá thể cơ sở dữ liệu đó.

Không có lý do tại sao Flask nên chia sẻ một máy chủ với hai máy chủ còn lại và rất nhiều lý do bảo mật tốt tại sao nó không nên. Sẽ hoàn toàn hài lòng khi được cung cấp đúng ConnectionString để kết nối với một phiên bản mysql đang chạy trên một máy chủ khác.
Đây có lẽ là nơi tốt nhất để "phân chia" kiến ​​trúc của bạn.

Phiên bản cơ sở dữ liệu và các tệp dữ liệu của nó phải "gần" với nhau nhất có thể, tức là càng ít "ngăn đường" và làm mất ổn định cơ sở dữ liệu của bạn càng tốt. (Thật vậy, tôi sẽ đi xa hơn và đề xuất rằng bạn nên coi chúng là một thực thể duy nhất, cơ sở dữ liệu và hoàn toàn quên "tệp" đi).

Có một máy chủ cơ sở dữ liệu với các thiết bị đĩa kèm theo là được.

Để tôi hỏi bạn một câu - bạn nghĩ bất kỳ SAN nào từng được xây dựng là gì? Mạng vùng lưu trữ có nghĩa là dữ liệu nằm trên một máy khác, mục đích được xây dựng cho mục đích đó. ISCSI là một giao thức để hiển thị lưu trữ dựa trên khối (tức là đĩa ảo, không phải chia sẻ tệp). Tại sao bạn nghĩ rằng nó tồn tại?

Vì vậy, câu trả lời rõ ràng là có.

Vì vậy, về cơ bản, bạn muốn có dữ liệu của mình trên SQL-Server và một SQL-Server khác lấy dữ liệu từ SQL-Server "chính" để chèn, cập nhật, chọn, v.v.?

Nếu đó là trường hợp, sau đó có. Bạn có thể liên kết cơ sở dữ liệu từ một máy chủ khác với Máy chủ MySQL của mình.