Nếu bạn đã đến từ Ngành công nghệ thông tin , bạn phải biết rằng Dữ liệu lớn là tâm sự trong ngày. Có thể là, các công ty khởi nghiệp mới đến với các mô hình kinh doanh sáng tạo hoặc đồng nghiệp của bạn tiếp tục tham gia các công ty khởi nghiệp đó, vì lý do nào đó, hôm nay đồng cỏ xanh hơn dường như là Dữ liệu lớn ngành công nghiệp.
Nếu bạn đang thắc mắc tại sao, thì tôi khuyên bạn nên đọc nó cho đến phút cuối cùng vì đây có thể là một blog tự khám phá, dẫn bạn đến những gì bạn định sẵn.
Vì vậy, tại sao tất cả những điều nàyHYPEbao quanh DỮ LIỆU LỚN?
Có phải nó chỉ là một miền khác sẽ tạm thời đổ bộ những người tị nạn từ tất cả các miền khác? Hoặc, nó sẽ ở đây trong một chặng đường dài?
Nếu tôi phỏng đoán, tôi sẽ nói rằng, không chỉ nó sẽ tồn tại ở đây trong thời gian dài, mà ngành Dữ liệu lớn sẽ trở thành tâm điểm của tiến bộ công nghệ.
Bởi vì mọi thứ là vềDỮ LIỆU!
Giống như mặt trờimọctừphía đôngvàbộbên tronghướng Tây, việc sử dụng liên tục các thiết bị máy tính / không máy tính sẽ dẫn đến việc bùng phát dữ liệu không thể quản lý được.
Khi dữ liệu này vượt qua ngưỡng được xử lý bởi Excel hoặc bất kỳ Hệ thống quản lý cơ sở dữ liệu nào, chúng tôi gọi nó là DỮ LIỆU LỚN .
Hãy nghĩ xem, sản phẩm cuối cùng bạn mua từ Amazon là sản phẩm nào? Sản phẩm nào tiếp theo mà bạn có thể mua dựa trên hoạt động trong quá khứ? Câu trả lời cho những câu hỏi như vậy được lưu trữ trong Dữ liệu lớn.
Có một xu hướng phát triển đằng sau một sản phẩm? Hoặc, có một xu hướng giảm? Khách hàng có mua 'Vớ' khi mua 'Giày' không? Đây là những câu hỏi giải quyết vấn đề kinh doanh.
Và, những câu hỏi này có thể dễ dàng đã trả lời bằng cách sử dụng Phân tích dữ liệu lớn .
Rốt cuộc, việc sử dụng dữ liệu là gì, khi bạn không phân tích nó?
Vì vậy, dữ liệu lớn làhoàn toàn vềPhân tích?Không hoàn toàn, nhưng Analytics là Giải thưởng cuối cùng.
Các luồng chính khác trong Dữ liệu lớn làLưu trữvàSự quản lý.
Đây là nơi bạn với tư cách là một chuyên gia có thể đóng góp. Bạn có thể đảm nhận một trong hai vai trò:
- Kỹ sư dữ liệu lớn
- Kiến trúc sư giải pháp dữ liệu lớn
Và hãy đảm bảo rằng dữ liệu lớn được tạo luôn có sẵn và nó có thể được sử dụng để phân tích vào thời điểm sau này. Vì vậy, điều này đưa chúng ta đến câu hỏi & hellip
Dữ liệu lớn được lưu trữ ở đâu?
Nó có thể được lưu trữ trong mộtTệp Excel? Nó có thể được lưu trữ trong mộthệ thống cơ sở dữ liệu quan hệ?
Trời ơi không!
Nếu nó có thể là, thì nó sẽ là!
Và được gọi là một cái gì đó khác nhau tất cả cùng nhau. Có thể một cái gì đó nhưDữ liệu Excelhoặc làRDBMS-Dữ liệu: D
cách thoát một phương thức trong java
Và điều đó sẽ đưa chúng ta trở lại BƯỚC 1 : - Tại sao Dữ liệu lớn không thể được quản lý bằng Excel? Bởi vìDữ liệu lớn quá nóng đối với Excel để xử lý. Và ngay cả các hệ thống quản lý cơ sở dữ liệu khác cho một vấn đề thực tế.
Vậy thay thế bằng cái gì?
Để xử lý Dữ liệu lớn, chúng tôi có HADOOP . Bạn cũng có thể biết về từ này. Nhưng, bạn có thể tự hỏi, chính xác thì nó hoạt động như thế nào?
Đối với người mới bắt đầu, HADOOP là sản phẩm củaTổ chức APACHE. Apache là một tổ chức phi lợi nhuận của Mỹ hỗ trợ phát triển phần mềm nguồn mở.
Hadoop được định nghĩa là một khung lập trình dựa trên Java mã nguồn mở, hỗ trợ xử lý và lưu trữ các tập dữ liệu cực lớn trong môi trường máy tính phân tán.
Hadoop có thể làm gì, nhưng Excel thì không?
Xử lý và hiểu dữ liệu phi cấu trúc!Dữ liệu có cấu trúc ở định dạng bảng hoặc theo cách khác có thể dễ dàng xử lý. Excel có thể làm điều đó và bất kỳ RDBMS nào khác cũng vậy.
Nhưng khi khả năng đọc giảm và dữ liệu không có cấu trúc, đó là lúc Dữ liệu lớncác công cụ như Hadoopghi bàn. Một ví dụ về dữ liệu phi cấu trúc là nhật ký hệ thống . Dưới đây là một hình ảnh mẫu.
Các bản ghi như vậy chắc chắn không thể truy vấn bằng Excel.
Hadoop, giống như các công cụ Dữ liệu lớn, có thể hiểu dữ liệu như nó vốn có, bằng cách khai quật các mẫu và hình thành mối quan hệ giữa các trường khác nhau. Và một khi dữ liệu có liên hệ quan hệ, nó sẽĐã sẵn sàng cho phân tích.
Phân tích là những gì sẽ làm cho một doanh nghiệp tác động đến một tổ chức! Sự nghiệp của bạn phần lớn sẽ được hưởng lợi nếu nó tham gia vào miền Dữ liệu lớn này.
' Tôi có thể làm cho nó với tư cách là một Hadoop-er không? '
… Có thể là câu hỏi tiếp theo trong đầu bạn. Và đúng như suy nghĩ, Dữ liệu lớn là một thị trường luôn nóng và quan trọng hơn bao giờ hết.
chuyển theo giá trị và chuyển bằng tham chiếu java
Nếu không có Hadoop, các công ty sẽ gặp khó khăn trong việc đối phó với Dữ liệu lớn. Và nếu không có các chuyên gia lành nghề như bạn, các công ty sẽ gặp khó khăn khi đối phó với Hadoop.
Có một báo cáo nói rằng, có sự thâm hụt nhân tài trong lĩnh vực này. Thâm hụt lịch có nghĩa là, ít chuyên gia hơn nhưng nhu cầu cao. Và điều này là trên phạm vi toàn cầu và không bị giới hạn trong một khu vực địa lý cụ thể.
Bạn muốn số?
ĐẾN Viện toàn cầu McKinsey nghiên cứu cho biết Hoa Kỳ sẽ đối mặt với sự thiếu hụt khoảng 190.000 nhà khoa học dữ liệu và 1,5 triệu nhà quản lý và nhà phân tích có thể hiểu và đưa ra quyết định bằng cách sử dụng Dữ liệu lớn vào năm 2018.
Lời khuyên nghề nghiệp cho bạn? Lướt sóng khi thủy triều xuống thấp!
Nhưng bạn là hạn chế chỉ Hadoop ?
Không hẳn vậy. Có một số công cụ để xử lý Dữ liệu lớn và Hadoop được coi là một trong những công cụ tốt nhất. Nhưng, không phải mọi lúc!
Có những lúc Hadoop không phù hợp nhất. Ví dụ, nếu bạn là dân không chuyên về kỹ thuật, viết chương trình MapReduce không giỏi lắm.
Trong những trường hợp như vậy, bạn có thể sử dụngLỊCH, cung cấp cho bạn giao diện người dùng đồ họa để làm bất cứ điều gì bạn có thể làm với MapReduce.
Để viết mã Java đơn giản hơn, bạn có thể sử dụngCON LỢN.
Nếu bạn muốn chạy các truy vấn giống SQL trên Dữ liệu lớn, thìHIVEcó thể được sử dụng.
Nếu bạn muốn sử dụng dữ liệu được lưu trữ trong cơ sở dữ liệu NoSQL, thìHBasecó thể được sử dụng.
Để thực hiện phân tích trong thời gian thực, bạn có thể sử dụngSPARK.
Đây là những công cụ Dữ liệu lớn song hành với Hadoop, nhưng chúng không thay thế bất kỳ công cụ nào của Hadoop. Chúng là các Tiện ích bổ sung Hadoop cho Dữ liệu lớn.
Bên cạnh đó, có một số công cụ khác như SQOOP, FLUME, OOZIE, v.v. có thể được tích hợp với khung Hadoop để giải quyết các vấn đề kinh doanh khác nhau.
Ngành công nghiệp mong đợi điều gì ở bạn với tư cách là Chuyên gia dữ liệu lớn?
Ngành công nghiệp đang rất cần KIẾN TRÚC DỮ LIỆU LỚN người có thể xây dựng giải pháp dữ liệu lớn end-to-end cho tổ chức của họ. Kiến trúc sư Dữ liệu lớn là những người có chuyên môn về tất cả các công cụ được đề cập trước đó.
Đây là lời chứng của một người học Edureka về khóa học:
Trở thành một bắt đầu từ khóa đào tạo chứng chỉ Dữ liệu lớn và Hadoop của Edureka, giúp người học trở thành chuyên gia trong lĩnh vực HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume và Sqoop bằng các trường hợp sử dụng thời gian thực trên miền Bán lẻ, Truyền thông xã hội, Hàng không, Du lịch, Tài chính .