Hadoop Job Tacker
Job Tracker là daemon chính cho cả quản lý tài nguyên công việc và lập lịch / giám sát công việc. Nó hoạt động như một liên lạc viên giữa Hadoop và ứng dụng của bạn.
Quá trình
Trước tiên, người dùng sao chép tệp vào Hệ thống tệp phân tán (DFS), trước khi gửi công việc cho máy khách. Sau đó máy khách nhận được các tệp đầu vào này. Người dùng sẽ nhận được các phần tách hoặc khối dựa trên các tệp đầu vào.Khách hàng có thểtạo ra các phân tách hoặc khối trong một người đàn ôngner nó trướcers, vì có một số cân nhắc đằng sau nó. Nếu một phân tích được thực hiện trên dữ liệu hoàn chỉnh, bạn sẽ chia dữ liệu thành các phần nhỏ. Các tệp không được sao chép thông qua ứng dụng khách, nhưng được sao chép bằng cách sử dụng flume hoặc Sqoop hoặc bất kỳ ứng dụng khách bên ngoài nào.
Sau khi các tệp được sao chép vào DFS và máy khách tương tác với DFS,các phần tách sẽ chạy MapReduce job. Công việc được gửi thông qua trình theo dõi công việc. Trình theo dõi công việc là trình nền chính chạy trên cùng một nútchạynhiều công việc này trên các nút dữ liệu. Dữ liệu này sẽ nằm trên các nút dữ liệu khác nhau nhưng người theo dõi công việc có trách nhiệm thực hiện việc đó.
cách đặt đường dẫn java
Sau khi khách hàng gửitrình theo dõi công việc, công việc được khởi tạo trên hàng đợi công việc và trình theo dõi công việc tạo bản đồ và giảm bớt. Dựa trên chương trình có trong hàm bản đồ và hàm thu gọn, nó sẽ tạo ra tác vụ bản đồ và tác vụ rút gọn. Hai cái này sẽ chạy trên các phần chia đầu vào. Lưu ý: Khi được tạo bởi máy khách, phần tách đầu vào này chứa toàn bộ dữ liệu.
Mỗi phần tách đầu vào có một tác vụ bản đồ đang chạy trong đó và đầu ra của tác vụ bản đồ chuyển sang tác vụ thu gọn. Trình theo dõi công việc chạy theo dõi trên một dữ liệu cụ thể. Có thể có nhiều bản sao của điều đó để nó chọn dữ liệu cục bộ và chạy tác vụ trên trình theo dõi tác vụ cụ thể đó. Trình theo dõi tác vụ là trình theo dõi thực sự chạy tác vụ trên nút dữ liệu. Trình theo dõi công việc sẽ vượt quathông tinvào trình theo dõi tác vụ và trình theo dõi tác vụ sẽ chạy công việc trên nút dữ liệu.
chuyển đổi chuỗi ngày thành ngày tháng trong java
Khi công việc đã được giao cho trình theo dõi nhiệm vụ, sẽ có một nhịp tim liên quan đến từng trình theo dõi nhiệm vụ và trình theo dõi công việc. Nó gửi tín hiệu để tìm xem các nút dữ liệu vẫn còn sống. Cả hai thường đồng bộ vì có khả năng các nút bị mờ dần.
Có một câu hỏi cho chúng tôi? Đề cập đến họ trong phần bình luận và chúng tôi sẽ liên hệ lại với bạn.
Bài viết liên quan:
không gian tên trong c ++ là gì