Thiết lập cụm Hadoop 4 nút (1 chính, 3 công nhân) trên cả AWS và GCP. Tuy nhiên trải nghiệm thì Network egress khá cao cho cả 2 nền tảng.
Ứng dụng cụm AWS: Hadoop, Yarn
Ứng dụng cụm GCP: Hadoop, Yarn, Hive
AWS dẫn đến 244,027GB ($21,96). Điều này đã được 'tha thứ' sau khi giải thích với bộ phận hỗ trợ AWS. Tuy nhiên, không có thông tin về lưu lượng truy cập để ngăn chặn sự cố trong tương lai được cung cấp. Do đó, vì không có tín dụng nào trên AWS nên đã phải gỡ cụm xuống.
GCP: cùng một vấn đề, nhưng ít nhất là với giới hạn tín dụng.
Có thể liên quan: đã nhận được 'khả năng vi phạm dịch vụ' do các cuộc tấn công DDOS từ cả AWS và GCP. Gần đây, đã nhận được nó từ GCP trong khi thiết lập Kerberos trên cụm.
Cho đến nay:
- Định cấu hình các nút để giao tiếp với nhau bằng cách sử dụng internal-ips (trước đây là bên ngoài-ips).
- Quy tắc tường lửa chỉ dành cho các cổng có liên quan.
- Đóng tất cả các tab trình duyệt giao diện người dùng cho các ứng dụng (Hive, HDFS, Yarn) khi không sử dụng.
- Đã yêu cầu hỗ trợ AWS để được trợ giúp về các phương pháp hay nhất và thông tin về lưu lượng truy cập. Đã nhận được rất nhiều liên kết trên tài liệu AWS chủ yếu về thiết lập cảnh báo thanh toán (không phải cấu hình hoặc khắc phục sự cố).
- Hỗ trợ GCP rất hữu ích. Thanh toán GCP rất đơn giản. Đã yêu cầu hỗ trợ Kỹ thuật qua trò chuyện - đang chờ xử lý.
Bất kỳ trợ giúp nào về cách theo dõi lưu lượng truy cập đến từ đâu.
Cập nhật:
Trong khi chỉ làm việc trên hai trong số các nút thiết lập Kerberos, có vẻ như tôi đã tiêu hết 100 đô la tín dụng còn lại của mình (khi đi ra lần nữa) và không thể truy cập dự án của mình trừ khi nâng cấp lên tài khoản đầy đủ.
