Khi tôi còn nhỏ, tôi đã từng yêu thích loạt phim Chiến tranh giữa các vì sao. Tôi yêu nó đến nỗi tôi có những cuộn băng video của mỗi người trong số họ. Tôi đã từng xem đi xem lại chúng. Sau đó là thời của đầu đĩa DVD và tôi phải lấy lại những bộ phim này trong DVD. Tôi không ngại mua lại cả bộ trong DVD vì tôi muốn trải nghiệm công nghệ mới và tiếp tục thưởng thức những bộ phim yêu thích của mình. Mọi thứ thật tuyệt vời cho đến khi một công nghệ mới khác, Blu-ray xuất hiện. Đã mua phim hai lần rồi, tôi không mong muốn mua lại tất cả. Trong một thời gian, tôi đã không cố gắng 'cập nhật' bản thân mình, vì nghĩ rằng mình sẽ ổn nếu không có công nghệ này. Và tôi đã làm tốt. Dù sao nó cũng không ảnh hưởng đến cuộc sống của tôi. Nhưng tôi có thể thấy sự thay đổi trong xu hướng và không thể chia sẻ phim của mình với bạn bè, giống như họ đang làm với nhau. Tôi thực sự cảm thấy bị bỏ rơi.
Cuối cùng thì tôi cũng đã ra ngoài và lấy bộ phim ở định dạng Blu-ray. Tôi nhớ điều đó không phải vì tôi yêu bộ phim, mà vì thực tế là chất lượng của video rất tuyệt. Và trên hết, tôi có toàn bộ bộ phim trong một đĩa Blu-ray duy nhất.
Nhu cầu hoặc sự thôi thúc cập nhật là mạnh nhất khi nói đến nghề nghiệp của chúng tôi vì rủi ro càng lớn. Nó đã trở thành điều cần thiết để luôn dẫn đầu trò chơi của bạn.
4 lý do thực tế để học Hadoop 2.0:
Có thể không thể tránh khỏi, luôn cập nhật trong nghề nghiệp của chúng tôi đã trở thành một phần quan trọng trong cuộc sống của chúng tôi. Nghe có vẻ khó khăn như vậy, bạn không cần phải lo lắng vì công nghệ không thực sự thay đổi nhanh hay mạnh. Nhưng các cuộc nói chuyện và thông tin về những công nghệ này và những điều chúng ta có thể làm với chúng đang ngày càng trở nên rõ ràng. Dưới đây là một số lý do tại sao bạn nên cập nhật:
# 1: Đừng để bị bắt
Không chú ý đến cập nhật mới nhất của công nghệ có thể khiến bạn giống như một con nai bị bắt trong đèn pha. Không hẳn là một bức tranh rõ ràng về khả năng chuyên môn của bạn. Luôn cập nhật sẽ giúp bạn được đồng nghiệp tôn trọng về các kỹ năng chuyên môn của mình. Có thể không cần phải triển khai mọi điều mới bạn học được nhưng ý thức về các bản cập nhật là điều bắt buộc.
Ví dụ: khi có một cuộc nói chuyện trên Hadoop, bạn có thể cho đồng nghiệp của mình biết rằng Hadoop 2.5.0 có các cải tiến xác thực khi sử dụng máy chủ proxy HTTP. Và cũng trong phiên bản tương tự của Hadoop, có một điều khoản cho phép ghi trực tiếp lên Graphite.
Việc cập nhật các bản cập nhật mới nhất trở nên cần thiết khi các tổ chức đang nghĩ đến việc chuyển sang Hadoop. Và ‘biết’ có thể tạo ra sự khác biệt rất lớn cho sự nghiệp của bạn.
# 2: Có lợi thế cạnh tranh
Các chuyên gia có tay nghề cao trong lĩnh vực của họ được tôn trọng. Và luôn cập nhật là cách tốt nhất để luôn dẫn đầu. Nhu cầu cập nhật của bạn phản ánh niềm đam mê của bạn đối với công việc của bạn. Bằng cách phát triển kiến thức chuyên môn trong công việc và ngành của mình, bạn sẽ nhận được sự tin tưởng và tôn trọng của những người xung quanh. Ở góc độ lãnh đạo, điều này là vô giá!
Ngay cả khi tổ chức của bạn vẫn đang làm việc với Hadoop 1.0, việc biết tất cả các tính năng mới nhất của Hadoop 2 sẽ giúp bạn đi đúng hướng vì nó tương đối mới và chắc chắn tốt hơn. Là người đầu tiên học được điều này sẽ giúp bạn có lợi thế hơn so với các đồng nghiệp của mình.
# 3: Cơ hội mới
Thực tế đáng buồn là vai trò hiện tại của chúng ta liên tục thay đổi. Cùng với thời gian, trách nhiệm và cơ hội làm nhiệm vụ mới sẽ tăng lên. Bằng cách luôn cập nhật các xu hướng trong ngành, bạn đang ở vị trí tốt nhất để nắm bắt những cơ hội này.
Các công ty như Macy's, Lockheed Martin, California Creative Solutions, Capital One, CSpring, CACI International Inc., Oracle, Yahoo !, American Express, BlueHawk, Aetna, Phòng thí nghiệm Quốc gia Lawrence Livermore và nhiều công ty khác đang tìm kiếm những người có kỹ năng về các tính năng mới nhất của Hadoop 2, giống như YARN.
# 4: Đưa ra quyết định tốt hơn
Thông tin bổ sung sẽ cho phép bạn đưa ra lựa chọn sáng suốt và quyết định tốt hơn. Nó sẽ giúp bạn nhận ra cơ hội và tăng giá trị cho chiến lược của tổ chức bạn.
Hadoop 2 có các tính năng nâng cao tốc độ cũng như cắt giảm chi phí. Đề xuất các tùy chọn để cải thiện hiệu suất và tăng tốc độ chắc chắn có thể thúc đẩy năng suất của tổ chức. Dưới đây là một số tính năng của Hadoop 2 sẽ mang lại lợi ích cho tổ chức và đề xuất chúng cũng sẽ thúc đẩy sự nghiệp của bạn.
Hỗ trợ chạy Hadoop trên Microsoft Windows
Đơn giản hóa việc phân phối các tệp nhị phân MapReduce qua HDFS trong Bộ đệm phân tán YARN.
các lớp lưu trữ trong c ++
Hỗ trợ nâng cao cho các ứng dụng mới trên YARN với Máy chủ lịch sử ứng dụng và Máy chủ dòng thời gian ứng dụng
Hoàn thành hỗ trợ HTTPS trong HDFS
Tích hợp Kerberos cho cửa hàng dòng thời gian của YARN.
Hỗ trợ phân cấp Lưu trữ Không đồng nhất trong HDFS.
Bộ nhớ đệm trong bộ nhớ cho dữ liệu HDFS với quyền quản lý và điều hành tập trung.
Đơn giản hóa việc phân phối các tệp nhị phân MapReduce qua HDFS trong Bộ đệm phân tán YARN.
Không chỉ có những lý do thực tế để cập nhật mà còn có những lý do kỹ thuật. Hadoop có nhiều tính năng có lợi cho các tổ chức. Nhìn sâu vào chúng sẽ cho bạn hình dung rõ ràng về lợi thế là gì.
Bản cập nhật mới nhất trong Hadoop là gì?
Mỗi sản phẩm đều trải qua các giai đoạn phát hành khác nhau và có nhiều phiên bản khác nhau của chính nó. Hadoop cũng không ngoại lệ và đã đưa ra Hadoop 2.0. Nền tảng Apache đã đưa ra các phiên bản tiếp theo của Hadoop như Hadoop 2.1.0, Hadoop 2.4.0 và đã đạt đến Hadoop 2.5.1, là phiên bản mới nhất được phát hành vào tháng 9 năm 2014.
Tại sao Hadoop 2 được phát hành?
Với phiên bản mới đi kèm các tính năng bổ sung và sửa lỗi. Vì vậy, mỗi khi bạn sử dụng một phiên bản Hadoop cụ thể và nghĩ rằng một tính năng nào đó có thể được thêm vào hoặc một số lỗi cần được sửa, bạn hãy thông báo cho nhân viên của Apache Foundation biết về nó. Những người này lần lượt bắt tay vào thực hiện và cho ra đời sản phẩm tốt hơn trong phiên bản tiếp theo.
Hadoop 2 - Không chỉ là một con số
Hadoop 2 không chỉ là phiên bản mới nhất của Hadoop. Nhìn chung, nó là một kiến trúc thế hệ thứ hai. Arun Murthy, người sáng lập và kiến trúc sư tại nhà phân phối Hadoop Hortonworks, khẳng định rằng sự khác biệt là rất quan trọng vì số lượng kỹ thuật lại cần thiết để đưa Hadoop vượt ra khỏi quá trình xử lý hàng loạt và vào thế giới phân tích thời gian thực là rất đáng kể.
Hãy thảo luận về sự khác biệt của Hadoop 2.0 so với người tiền nhiệm Hadoop 1.0. Rõ ràng, phiên bản phát hành sau sẽ vượt trội hơn so với phiên bản trước đó. Sau đây là bốn cải tiến chính trong Hadoop 2.0 so với Hadoop 1.x:
Liên kết HDFS - Khả năng mở rộng theo chiều ngang của NameNode
Tính khả dụng cao của NameNode - NameNode không còn là một điểm lỗi duy nhất
YARN - Khả năng xử lý Terabyte và Petabyte dữ liệu có sẵn trong HDFS bằng các ứng dụng Non-MapReduce như MPI, GIRAPH
Trình quản lý tài nguyên - Tách hai chức năng chính của JobTracker quá tải (quản lý tài nguyên và lập lịch / giám sát công việc) thành hai daemon riêng biệt: Trình quản lý tài nguyên toàn cầu và ApplicationMaster cho mỗi ứng dụng
Có các tính năng bổ sung như Bộ lập lịch công suất (Bật hỗ trợ nhiều người thuê trong Hadoop), Ảnh chụp nhanh dữ liệu, Hỗ trợ cho Windows, truy cập NFS, cho phép tăng cường áp dụng Hadoop trong ngành để giải quyết các vấn đề về Dữ liệu lớn.
Hadoop 2.X Vs Hadoop 1.X
Hãy làm một phép so sánh nhỏ và xem Hadoop 2.0 tốt hơn và khác với Hadoop 1.0 ở những điểm nào
Tại sao Hadoop 2 lại được ưa thích hơn Hadoop 1.0?
Hadoop 2.0 cung cấp các cải tiến hiệu suất có lợi cho các công nghệ liên quan trong hệ sinh thái Hadoop. Bên cạnh các tính năng đột phá của HDFS và kiến trúc thế hệ thứ hai (YARN), ngày càng có nhiều lý do khiến bạn thích Hadoop 2 hơn Hadoop 1.0:
Hadoop 2 không còn hạn chế ngôn ngữ. Có nghĩa là, một loạt các chuyên gia hiện có thể sử dụng Hadoop.
Với Hadoop 2, những trở ngại như thiếu người viết mã MapReduce sẽ được khắc phục.
Nhanh hơn 2 lần so với Hadoop 1.0
2 lần ROI với phần cứng hiện có.
Với YARN, giao diện lập trình ứng dụng cởi mở và linh hoạt hơn nhiều.
Hadoop 2 mở rộng khả năng sử dụng Hadoop trong các dự án Dữ liệu lớn.
Với Hadoop 2, các nhà phát triển hiện có thể thực hiện nhiều tác vụ xử lý dữ liệu khác nhau, ngoài phạm vi xử lý hàng loạt trước đây của Hadoop.
Cung cấp cơ hội mới cho người quản lý thông tin và giải quyết những thiếu sót trong các phiên bản trước.
Bản phát hành mới này có tính năng độc đáo là chạy nhiều khối lượng công việc trên cùng một cụm Hadoop.
Hadoop không còn bị giới hạn ở một tính năng nữa. Ứng dụng của nó hiện đã mở rộng ra ngoài HDFS và MapReduce.
Lợi ích chính của YARN
Chúng tôi biết YARN là kiến trúc thế hệ thứ hai, hãy cùng xem điều gì khiến nó trở nên tuyệt vời như vậy.
Tỉ lệ
Các mô hình và dịch vụ lập trình mới
Sử dụng cụm nâng cao
Nhanh nhẹn
Nhiều hơn Java
Và nhiều thứ khác nữa
Nhu cầu về Hadoop 2 kỹ năng
Các tổ chức hiện đang khởi chạy hoặc thử nghiệm Hadoop 2. Do đó, cần có các chuyên gia có kỹ năng về Hadoop 2. Nhiều tổ chức đã bắt đầu tìm kiếm những người làm việc với Hadoop trong nội bộ. Có những dấu hiệu rõ ràng rằng YARN đang gia tăng và cuối cùng sẽ thay thế nhu cầu về kỹ năng MapReduce.
Dưới đây là một số quan điểm về nhu cầu hiện tại và dự kiến đối với các kỹ năng Hadoop:
Theo các nhà phân tích từ Gartner, Hadoop 2 là một bước phát triển quan trọng vì các doanh nghiệp lớn trên toàn cầu đã nhận thấy Hadoop là người thay đổi cuộc chơi trong việc quản lý Dữ liệu lớn của họ.
Theo Eric Kavanagh, từ nhóm Bloor, Hadoop 2.0 đã thu hút được sự chú ý của những người làm công tác thông tin đang tìm cách chống lại Dữ liệu lớn.
Việc áp dụng Hadoop 2.0 tiếp tục gia tăng và hiện đang bước vào giai đoạn trưởng thành.
Các tổ chức nhận thức được lợi ích của YARN và rất hào hứng với nó.
Đây là ảnh chụp nhanh các cơ hội việc làm cho Hadoop 2.0 / YARN trong Indeed.com
Ai đang chuyển sang Hadoop 2 hoặc đã có?
Yahoo:
Yahoo! , người dẫn đầu trong tất cả những thứ mà Hadoop đã triển khai YARN (0,23.x). Theo Murthy, cụm 35.000 nút của Yahoo hiện xử lý 130-150 công việc mỗi ngày so với 50-60 trước YARN.
Khi nói về hiệu suất xuất sắc, Murthy trích dẫn, 'Khi bạn có gấp 2 lần trên 35.000 đến 40.000 nút, đó là một hiện tượng'. Anh ấy cũng nói thêm, “Đó là một câu chuyện khá hấp dẫn khi nói với CIO rằng nếu bạn chỉ nâng cấp phần mềm của mình từ Hadoop 1 lên Hadoop 2, bạn sẽ thấy thông lượng cải thiện gấp 2 lần trong công việc của mình”.
eBay:
eBay có một trong những cụm Hadoop lớn nhất trong ngành, nơi dữ liệu được tính bằng petabyte. Họ cũng đã di chuyển các cụm của mình sang Hadoop 2.
Phần kết luận:
Với việc Hadoop 2 đã hoàn thiện và dễ triển khai hơn, chúng thậm chí còn thuyết phục được những người hoài nghi và ngày càng nhiều tổ chức chuyển sang Hadoop 2.0. Có những lý do hợp lệ để tránh các phiên bản 1.x. Nhưng với Hadoop 2, ngay cả những người không tin tưởng cũng đang xem xét nó vì nó có thể được sử dụng cho nhiều mục đích sử dụng. Học Hadoop 2.0 và triển khai nó để thực hiện các phép tính trên Dữ liệu lớn, bạn sẽ mở ra cánh cổng cho sự nghiệp tiên tiến về mặt kỹ thuật và bổ ích về mặt tài chính.
Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến chúng trong phần nhận xét và chúng tôi sẽ liên hệ lại với bạn.
Bài viết liên quan: