là một mối quan tâm lớn khi nói đến xử lý dữ liệu bí mật. là cấp trên trong các hoạt động xử lý dữ liệu cũng gặp phải vấn đề tương tự. Nó không có bảo mật riêng. Hãy cho chúng tôi hiểu vấn đề đã được giải quyết như thế nào thông qua việc này Hadoop Security bài báo.
Tại sao chúng ta cần Hadoop Security?
là khung xử lý dữ liệu lớn mạnh mẽ, mạnh mẽ và có khả năng mở rộng cao nhất đủ khả năng để thu thập petabyte dữ liệu một cách dễ dàng. Do khả năng vô song của nó, hồi đó, mọi ngành kinh doanh, y tế, quân đội và tài chính đều bắt đầu sử dụng Hadoop.
Hadoop bắt đầu trở nên phổ biến. Đây là lúc các nhà phát triển Hadoop tìm thấy tính toán sai lầm hoành tráng. Hadoop thiếu một phần mềm bảo mật chuyên dụng bên trong nó. Điều này ảnh hưởng đến nhiều khu vực mà Hadoop đã được sử dụng.
Nhiều lĩnh vực kinh doanh
An ninh quốc gia
Sở Y tế và Y tế
Truyền thông xã hội
Quân đội
Các khu vực nêu trên là những người sử dụng Hadoop chính. Hiện nay, Bảo vệ là bước tiến lớn mà Hadoop cần thực hiện.
Hadoop Security là gì?
Hadoop Security thường được định nghĩa là một thủ tục để đảm bảo đơn vị Lưu trữ Dữ liệu Hadoop, bằng cách cung cấp một bức tường bảo mật hầu như không thể xuyên thủng chống lại bất kỳ mối đe dọa mạng tiềm ẩn nào. Hadoop đạt được bức tường bảo mật tầm cỡ này bằng cách làm theo những điều dưới đây giao thức bảo mật.
Xác thực
chuỗi java chia nhiều dấu phân cách
Xác thực là giai đoạn đầu tiên xác minh thông tin đăng nhập của người dùng. Thông tin đăng nhập thường bao gồm Tên tài khoản và một mật khẩu bí mật. Đã vàothông tin đăng nhập sẽ được kiểm tra dựa trên các chi tiết có sẵn trên cơ sở dữ liệu bảo mật. Nếu hợp lệ, người dùng sẽ được xác thực.
Ủy quyền
Ủy quyền là giai đoạn thứ hai, nơi hệ thống quyết định có cấp quyền cho người dùng, truy cập dữ liệu hay không. Nó dựa trên danh sách kiểm soát truy cập được chỉ định trước. Bí mậtthông tin được giữ an toàn và duy nhất nhân viên có thẩm quyền có thể truy cập nó.
Kiểm toán
Kiểm toán là giai đoạn cuối cùng, nó chỉ đơn giản là theo dõi các hoạt động được thực hiện bởi người dùng đã xác thực trong khoảng thời gian anh ta đăng nhập vào cụm. Đây làchỉ được thực hiện cho Bảo vệ chỉ mục đích.
Các loại bảo mật Hadoop
- Kerberos Security
Kerberos là một trong những Giao thức xác thực mạng hàng đầu được thiết kế để cung cấp các dịch vụ xác thực mạnh mẽ cho cả hai Người phục vụ và Khách hàng kết thúc xuyên qua Chìa khoá bí mật các kỹ thuật mật mã. Nó được chứng minh là có độ bảo mật cao vì nó sử dụng các vé dịch vụ được mã hóa trong toàn bộ phiên.
- Mã hóa HDFS
Mã hóa HDFS là một tiến bộ đáng gờm mà Hadoop từng chấp nhận. Đây, dữ liệu từ nguồn đến đích (HDFS) được mã hóa hoàn toàn. Quy trình này không yêu cầu bất kỳ thay đổi nào được thực hiện đối với Ứng dụng Hadoop ban đầu, làm cho khách hàng trở thành nhân viên được ủy quyền duy nhất để truy cập dữ liệu.
Mã hóa lưu lượng truy cập
Mã hóa lưu lượng truy cập không ai khác chính là HTTPS (Bảo mật giao thức truyền siêu văn bản). Quy trình này được sử dụng để bảo mật việc truyền dữ liệu, từ trang web cũng như truyền dữ liệu đến trang web . Nhiều cổng ngân hàng trực tuyến sử dụng phương pháp này để bảo mật các giao dịch qua Chứng chỉ bảo mật
Quyền đối với tệp và thư mục HDFS
Quyền đối với thư mục tệp HDFS làm việc một cách đơn giản POSIX định dạng. Các Đọc và Viết quyền được cung cấp như r và S tương ứng. Quyền đối với Người dùng siêu cấp và Khách hàng được đặt khác nhau dựa trên tính bảo mật của tệp.
Kerberos
Kerberos là một trong những mạng đơn giản và an toàn nhất giao thức xác thực được Hadoop sử dụng để bảo mật dữ liệu và mạng của nó. Nó được phát minh bởi VỚI. Mục tiêu chính của Kerberos là loại bỏ nhu cầu trao đổi mật khẩu qua mạng và cũng để bảo mật mạng khỏi mọi khả năng đánh hơi mạng.
Để hiểu Thuật ngữ Kerberos, trước tiên chúng ta cần tìm hiểu về các thành phần liên quan đến Phần mềm Kerberos.
KDC hay Trung tâm phân phối chính là Trái tim của Kerberos. Nó chủ yếu bao gồm ba thành phần. Cụ thể:
Cơ sở dữ liệu
Các cơ sở dữ liệu lưu trữ thông tin đăng nhập của người dùng như tên tài khoản và tương ứng mật khẩu. Nó cũng lưu trữ quyền truy cập các đặc quyền cung cấp cho người dùng. Đơn vị KDC Kerberos cũng lưu trữ các thông tin bổ sung như Khóa mã hóa, Tính hợp lệ của vé Vân vân.
Máy chủ xác thực
Thông tin người dùng đã nhập sẽ được kiểm tra chéo. Nếu hợp lệ, Máy chủ xác thực sẽ cung cấp TGT hoặc là Vé thế hệ vé. TGT chỉ có thể được tạo khi người dùng nhập thông tin xác thực hợp lệ.
Máy chủ cấp vé
Giai đoạn tiếp theo là TGS hoặc là Máy chủ cấp vé. Về cơ bản nó là một máy chủ ứng dụng của KDC sẽ cung cấp cho bạn Phiếu dịch vụ. Người dùng yêu cầu phải có phiếu dịch vụ để tương tác với Hadoop và có được dịch vụ mà họ cần hoặc để thực hiện một thao tác trên Hadoop.
Bạn có thể cài đặt Kerberos bằng lệnh sau:
sudo apt-get install krb5-kdc krb5-admin-server
Bây giờ, hãy giả sử rằng bạn muốn truy cập vào một Cụm Hadoop được bảo mật của Kerberos. Bạn cần phải trải qua các giai đoạn sau để truy cập cụm Hadoop như được mô tả trong các bước bên dưới:
Bạn cần lấy xác thực của Cụm Hadoop. Bạn có thể được xác thực bằng cách thực thi Kinit trên Cụm Hadoop.
kinit root / admin
Các Kinit Việc thực thi lệnh sẽ chuyển hướng bạn đến Thông tin đăng nhập trang mà bạn dự kiến sẽ nhập tên tài khoản và mật khẩu.
Các Kinit sẽ gửi một Yêu cầu xác thực đến Máy chủ xác thực.
Nếu thông tin đăng nhập của bạn là có hiệu lực, thì Máy chủ xác thực sẽ phản hồi bằng Vé thế hệ vé (TGT).
Các Kinit sẽ lưu trữ TGT trong Thông tin đăng nhập của bạn Bộ nhớ đệm Ký ức. Lệnh sau sẽ giúp bạn đọc thông tin đăng nhập của mình
klist
Bây giờ, bạn đã được Xác thực thành công vào KDS.
Trước khi bạn truy cập vào cụm Hadoop, bạn cần thiết lập các ứng dụng khách Kerberos. để làm như vậy, hãy sử dụng lệnh sau.
sudo apt-get install krb5-user libpam-krb5 libpam-ccreds auth-client-config
Bây giờ, bạn cố gắng thực hiện một Lệnh Hadoop. Đó là một Ứng dụng khách Hadoop.
Các Khách hàng Hadoop sẽ sử dụng của bạn TGT và yêu cầu TGS để được chấp thuận.
Các TGS sẽ chấp thuận yêu cầu và nó sẽ cung cấp cho bạn Vé dịch vụ.
Điều này Vé dịch vụ sẽ được lưu trữ bởi Ứng dụng khách Hadoop.
Điều này Vé dịch vụ sẽ được Ứng dụng khách Hadoop sử dụng để giao tiếp với Hadoop Namenode.
Các Nút tên sẽ xác định chính nó với Vé.
Cả hai Vé Namenode và Hadoop Client Vé dịch vụ sẽ được kiểm tra chéo lẫn nhau.
Cả hai đều chắc chắn rằng họ đang giao tiếp với thực thể xác thực.
Đây được gọi là Chứng thực lẫn nhau.
Giai đoạn tiếp theo là Ủy quyền. Namenode sẽ cung cấp cho bạn dịch vụ mà bạn đã nhận được sự ủy quyền.
Cuối cùng, giai đoạn cuối là Kiểm toán. Đây của bạn Hoạt động sẽ là ghi nhật ký cho mục đích an ninh.
Với điều này, chúng ta kết thúc bài viết này . Tôi hy vọng tôi đã làm sáng tỏ kiến thức của bạn về một Bảo mật Hadoop.
Bây giờ bạn đã hiểu Hadoop và Bảo mật của nó, hãy xem của Edureka, một công ty học trực tuyến đáng tin cậy với mạng lưới hơn 250.000 người học hài lòng trải dài trên toàn cầu. Khóa đào tạo Chứng chỉ Edureka Big Data Hadoop giúp người học trở thành chuyên gia về HDFS, Yarn, MapReduce , Pig, Hive, HBase, Oozie, Flume và Sqoop sử dụng các trường hợp sử dụng thời gian thực trên miền Bán lẻ, Truyền thông xã hội, Hàng không, Du lịch, Tài chính.
Nếu bạn có bất kỳ truy vấn nào liên quan đến điều này “Bảo mật Hadoop” , sau đó vui lòng viết thư cho chúng tôi trong phần bình luận bên dưới và chúng tôi sẽ trả lời bạn sớm nhất có thể.