Một trong những tính năng hấp dẫn nhất của khuôn khổ Hadoop là sử dụng phần cứng hàng hóa . Tuy nhiên, điều này dẫn đến sự cố DataNode thường xuyên trong một cụm Hadoop. Một tính năng nổi bật khác của Hadoop Framework là dễ mở rộng quy mô phù hợp với sự tăng trưởng nhanh chóng về khối lượng dữ liệu . Vì hai lý do này, một trong những nhiệm vụ phổ biến nhất của quản trị viên Hadoop là Uỷ ban (Thêm) và sự tan rã (Loại bỏ) Các nút dữ liệu trong một cụm Hadoop.
Kiểm tra và gỡ bỏ các nút trong một cụm Hadoop:
Sơ đồ trên cho thấy quy trình từng bước để giải mã DataNode trong cụm.
Nhiệm vụ đầu tiên là cập nhật ‘ loại trừ ‘Tệp cho cả hai HDFS (hdfs-site.xml) và MapReduce (mapred-site.xml).
Tệp 'loại trừ':
cách đặt đường dẫn java
- cho người theo dõi công việc chứa danh sách các máy chủ cần được loại trừ bởi trình theo dõi công việc. Nếu giá trị trống, không có máy chủ nào bị loại trừ.
- cho Namenode chứa danh sách các máy chủ không được phép kết nối với Namenode.
Đây là cấu hình mẫu cho tệp loại trừ trong hdfs-site.xml và mapred-site.xml:
hdfs-site.xml
dfs.hosts.exclude
/ home / hadoop / loại trừ
thật
mapred-site.xml
mapred.hosts.exclude
/ home / hadoop / loại trừ
thật
Ghi chú: Tên đường dẫn đầy đủ của các tệp phải được chỉ định.
Tương tự, chúng tôi có các tệp ‘bao gồm’:
- cho người theo dõi công việc chứa danh sách các nút có thể kết nối với JobTracker. Nếu giá trị trống, tất cả các máy chủ đều được phép.
- cho Namenode chứa danh sách các máy chủ được phép kết nối với Namenode. Nếu giá trị trống, tất cả các máy chủ đều được phép.
Các ' dfsadmin 'Và' mradmin Lệnh 'làm mới cấu hình với các thay đổi để làm cho chúng biết về nút mới.
Các ' nô lệ 'Trên máy chủ chính chứa danh sách tất cả các nút dữ liệu. Điều này cũng phải được cập nhật để đảm bảo bất kỳ vấn đề nào trong quá trình bắt đầu / dừng daemon hadoop trong tương lai.
Ide trong java là gì
Bước quan trọng trong quy trình hoa hồng nút dữ liệu là chạy Trình cân bằng cụm.
> cân bằng hadoop -threshold 40
Cân bằng cố gắng cung cấp sự cân bằng đến một ngưỡng nhất định giữa các nút dữ liệu bằng cách sao chép dữ liệu khối từ các nút cũ hơn sang các nút mới được ủy quyền.
Vì vậy, đây là cách bạn có thể làm - Chạy thử và Ngừng hoạt động Các nút trong một cụm Hadoop.
Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến nó trong phần bình luận và chúng tôi sẽ liên hệ lại với bạn.
cách đặt đường dẫn java trong windows
Liên kết liên quan: