CÁCH THIẾT LẬP CỤM HADOOP VỚI TÍNH KHẢ DỤNG CAO HDFS -

Kiến trúc cụm khả dụng cao HDFS 2.x

Trong blog này, tôi sẽ nói về Kiến trúc cụm khả dụng cao HDFS 2.x và quy trình để thiết lập một cụm khả dụng cao HDFS.Đây là một phần quan trọng của . Thứ tự các chủ đề được đề cập trong blog này như sau:

Kiến trúc HDFS HA
- Giới thiệu
- NameNode Sẵn có
- Kiến trúc của HA
- Triển khai HA (JournalNode và bộ nhớ dùng chung)
Làm thế nào để thiết lập HA (Quorum Journal Nodes) trong một cụm Hadoop?

Giới thiệu:

Khái niệm về cụm Khả dụng cao đã được giới thiệu trong Hadoop 2.x để giải quyết vấn đề lỗi duy nhất trong Hadoop 1.x. Như bạn đã biết từ blog trước của tôi rằng theo Topology Master / Slave trong đó NameNode hoạt động như một daemon chính và chịu trách nhiệm quản lý các nút phụ khác được gọi là DataNodes. Master Daemon hoặc NameNode duy nhất này trở thành một nút cổ chai. Mặc dù, sự ra đời của Mã tên thứ cấp đã ngăn chúng tôi khỏi mất dữ liệu và giảm tải một số gánh nặng của Mã tên nhưng, nó không giải quyết được vấn đề về tính khả dụng của Mã tên.

NameNode Sẵn có:

Nếu bạn xem xét cấu hình tiêu chuẩn của cụm HDFS, NameNode sẽ trở thành điểm thất bại duy nhất . Điều này xảy ra bởi vì thời điểm NameNode không khả dụng, toàn bộ cụm sẽ không khả dụng cho đến khi ai đó khởi động lại NameNode hoặc mang một cái mới.

Các lý do cho việc không có NameNode có thể là:

Một sự kiện được lên kế hoạch như công việc bảo trì chẳng hạn như nâng cấp phần mềm hoặc phần cứng.
Nó cũng có thể do một sự kiện ngoài kế hoạch mà NameNode bị treo vì một số lý do.

Trong một trong hai trường hợp trên, chúng tôi có thời gian chết mà chúng tôi không thể sử dụng cụm HDFS, điều này trở thành một thách thức.

Kiến trúc HDFS HA:

Hãy cho chúng tôi hiểu rằng cách HDFS HA Architecture đã giải quyết vấn đề quan trọng này về tính khả dụng của NameNode:

Kiến trúc HA đã giải quyết vấn đề này về tính khả dụng của NameNode bằng cách cho phép chúng ta có hai NameNode trong cấu hình hoạt động / thụ động. Vì vậy, chúng tôi có hai NameNodes đang chạy cùng một lúc trong một cụm Tính sẵn sàng cao:

Mã Tên Hoạt động
Mã tên chờ / bị động.

Kiến trúc HDFS HA - Cụm khả dụng cao - Edureka

Nếu một NameNode gặp trục trặc, NameNode khác có thể đảm nhận trách nhiệm và do đó, giảm thời gian ngừng hoạt động của cụm. NameNode dự phòng phục vụ mục đích của NameNode dự phòng (không giống như Sub NameNode) kết hợp khả năng chuyển đổi dự phòng cho cụm Hadoop. Do đó, với StandbyNode, chúng tôi có thể tự động chuyển đổi dự phòng bất cứ khi nào NameNode gặp sự cố (sự kiện ngoài kế hoạch) hoặc chúng tôi có thể chuyển đổi dự phòng duyên dáng (bắt đầu bằng tay) trong thời gian bảo trì.

Có hai vấn đề trong việc duy trì tính nhất quán trong cụm Tính khả dụng cao HDFS:

Mã tên hoạt động và mã dự phòng phải luôn đồng bộ với nhau, tức là chúng phải có cùng siêu dữ liệu. Điều này sẽ cho phép chúng tôi khôi phục cụm Hadoop về cùng trạng thái không gian tên nơi nó bị lỗi và do đó, sẽ cung cấp cho chúng tôi khả năng chuyển đổi dự phòng nhanh chóng.
Mỗi lần chỉ nên có một NameNode hoạt động vì hai NameNode hoạt động sẽ dẫn đến hỏng dữ liệu. Loại kịch bản này được gọi là kịch bản phân chia não bộ trong đó một cụm được chia thành các cụm nhỏ hơn, mỗi người tin rằng đó là cụm hoạt động duy nhất. Để tránh những tình huống như vậy, hàng rào được thực hiện. Đấu kiếm là một quá trình đảm bảo rằng chỉ có một Mã Tên vẫn hoạt động tại một thời điểm cụ thể.

Thực hiện Kiến trúc HA:

Bây giờ, bạn biết rằng trong HDFS HA Architecture, chúng ta có hai NameNodes chạy cùng một lúc. Vì vậy, chúng ta có thể triển khai cấu hình NameNode Hoạt động và Dự phòng theo hai cách sau:

Sử dụng các nút số tạp chí
Bộ nhớ dùng chung sử dụng NFS

Hãy để chúng tôi hiểu hai cách triển khai sau:

1. Sử dụng các nút số tạp chí:

NameNode dự phòng và NameNode hoạt động luôn đồng bộ với nhau thông qua một nhóm nút hoặc daemon riêng biệt - được gọi là JournalNodes .JournalNodes tuân theo cấu trúc liên kết vòng trong đó các nút được kết nối với nhau để tạo thành một vòng.JournalNode phục vụ yêu cầu đến nó và sao chép thông tin vào các nút khác trong vòng.Điều này cung cấp khả năng chịu lỗi trong trường hợp JournalNode bị lỗi.
NameNode đang hoạt động chịu trách nhiệm cập nhật các EditLog (thông tin siêu dữ liệu) có trong JournalNodes.
StandbyNode đọc các thay đổi được thực hiện đối với EditLogs trong JournalNode và áp dụng nó vào vùng tên riêng của nó một cách không đổi.
Trong quá trình chuyển đổi dự phòng, StandbyNode đảm bảo rằng nó đã cập nhật thông tin siêu dữ liệu từ JournalNodes trước khi trở thành Active NameNode mới. Điều này làm cho trạng thái không gian tên hiện tại được đồng bộ hóa với trạng thái trước khi chuyển đổi dự phòng.
Địa chỉ IP của cả hai Mã tên đều có sẵn cho tất cả các Mã dữ liệu và chúng gửi nhịp tim và chặn thông tin vị trí cho cả Mã tên. Điều này cung cấp khả năng chuyển đổi dự phòng nhanh chóng (ít thời gian ngừng hoạt động) vì StandbyNode có thông tin cập nhật về vị trí khối trong cụm.

Hàng rào Mã Tên:

Bây giờ, như đã thảo luận trước đó, điều rất quan trọng là đảm bảo rằng chỉ có một Mã Tên Hoạt động tại một thời điểm. Vì vậy, hàng rào là một quá trình để đảm bảo tính chất này trong một cụm.

JournalNodes thực hiện hàng rào này bằng cách chỉ cho phép một NameNode làm người viết tại một thời điểm.
NameNode dự phòng đảm nhận trách nhiệm ghi vào JournalNodes và cấm bất kỳ NameNode nào khác vẫn hoạt động.
Cuối cùng, Active NameNode mới có thể thực hiện các hoạt động của nó một cách an toàn.

2. Sử dụng Bộ nhớ dùng chung:

StandbyNode và NameNode đang hoạt động giữ đồng bộ với nhau bằng cách sử dụng thiết bị lưu trữ được chia sẻ .NameNode đang hoạt động ghi lại bản ghi của bất kỳ sửa đổi nào được thực hiện trong không gian tên của nó vào một EditLog có trong bộ nhớ dùng chung này.StandbyNode đọc những thay đổi được thực hiện đối với EditLogs trong bộ nhớ dùng chung này và áp dụng nó cho không gian tên riêng của nó.
Bây giờ, trong trường hợp chuyển đổi dự phòng, lúc đầu, StandbyNode sẽ cập nhật thông tin siêu dữ liệu của nó bằng cách sử dụng EditLogs trong bộ nhớ dùng chung. Sau đó, nó chịu trách nhiệm của Mã tên hoạt động. Điều này làm cho trạng thái không gian tên hiện tại được đồng bộ hóa với trạng thái trước khi chuyển đổi dự phòng.
Quản trị viên phải định cấu hình ít nhất một phương pháp đấu kiếm để tránh tình huống chia rẽ.
Hệ thống có thể sử dụng một loạt các cơ chế hàng rào. Nó có thể bao gồm việc hủy bỏ quy trình của NameNode và thu hồi quyền truy cập của nó vào thư mục lưu trữ được chia sẻ.
Phương án cuối cùng, chúng ta có thể rào NameNode đã hoạt động trước đó bằng một kỹ thuật được gọi là STONITH, hoặc 'bắn vào đầu nút khác'. STONITH sử dụng bộ phân phối điện chuyên dụng để buộc tắt máy NameNode.

Chuyển đổi dự phòng tự động:

Chuyển đổi dự phòng là một thủ tục mà hệ thống tự động chuyển quyền điều khiển sang hệ thống thứ cấp khi nó phát hiện ra lỗi hoặc hỏng hóc. Có hai loại chuyển đổi dự phòng:

Chuyển đổi dự phòng duyên dáng: Trong trường hợp này, chúng tôi bắt đầu chuyển đổi dự phòng theo cách thủ công để bảo trì định kỳ.

Chuyển đổi dự phòng tự động: Trong trường hợp này, quá trình chuyển đổi dự phòng được bắt đầu tự động trong trường hợp NameNode bị lỗi (sự kiện ngoài kế hoạch).

Apache Zookeeper là một dịch vụ cung cấp khả năng chuyển đổi dự phòng tự động trong cụm HDFS High Availabilty. Nó duy trì một lượng nhỏ dữ liệu điều phối, thông báo cho khách hàng về những thay đổi trong dữ liệu đó và giám sát các lỗi của khách hàng. Zookeeper duy trì một phiên với NameNodes. Trong trường hợp không thành công, phiên sẽ hết hạn và Zookeeper sẽ thông báo cho các Mã Tên khác để bắt đầu quá trình chuyển đổi dự phòng. Trong trường hợp NameNode bị lỗi, các NameNode thụ động khác có thể khóa Zookeeper khi nói rằng nó muốn trở thành Active NameNode tiếp theo.

ZookeerFailoverController (ZKFC) là một máy khách Zookeeper cũng theo dõi và quản lý trạng thái NameNode. Mỗi NameNode cũng chạy một ZKFC. ZKFC chịu trách nhiệm theo dõi tình trạng của NameNodes theo định kỳ.

Bây giờ bạn đã hiểu Tính sẵn sàng cao trong cụm Hadoop là gì, đã đến lúc thiết lập nó. Để thiết lập Tính khả dụng cao trong cụm Hadoop, bạn phải sử dụng Zookeeper trong tất cả các nút.

Các daemon trong Active NameNode là:

Người giữ vườn thú
Zookeeper Fail Over controller
JournalNode
NameNode

Các daemon trong Mã tên chờ là:

Người giữ vườn thú
Zookeeper Fail Over controller
JournalNode
NameNode

Các daemon trong DataNode là:

Người giữ vườn thú
JournalNode
DataNode

Nếu bạn muốn nắm vững HDFS và Hadoop, hãy xem khóa học Dữ liệu lớn và Hadoop được quản lý đặc biệt bởi Edureka. Bấm vào nút bên dưới để bắt đầu.

Thiết lập và định cấu hình Cụm khả dụng cao trong Hadoop:

Trước tiên, bạn phải thiết lập Java và tên máy chủ của mỗi nút.

Máy ảo	địa chỉ IP	Tên máy chủ
Mã Tên Hoạt động	192.168.1.81	nn1.cluster.com hoặc nn1
Tên chế độ chờ	192.168.1.58	nn2.cluster.com hoặc nn2
DataNode	192.168.1.82	dn1.cluster.com hoặc dn1

Tải xuống tệp tar nhị phân Hadoop và Zookeeper, giải nén tệp để chỉnh sửa tệp cấu hình.

Chỉ huy : wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

Spread the Zookeeper-3.4.6.tar.gz

Chỉ huy : tar –xvf Zookeeper-3.4.6.tar.gz

Tải xuống tệp nhị phân Hadoop ổn định từ trang Apache Hadoop.

Chỉ huy : wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz

Giải nén bóng hắc ín Hadoop.

Chỉ huy : tar –xvf hadoop-2.6.0.tar.gz

Trải nghiệm nhị phân hadoop.

Thêm Hadoop, Zookeeper và các đường dẫn vào tệp .bashrc.

Mở tệp .bashrc.

Chỉ huy : sudo gedit ~ / .bashrc

Thêm các đường dẫn dưới đây:

export HADOOP_HOME = export HADOOP_MAPRED_HOME = $ HADOOP_HOME xuất HADOOP_COMMON_HOME = $ HADOOP_HOME xuất HADOOP_HDFS_HOME = $ HADOOP_HOME xuất YARN_HOME = $ HADOOP_HOME xuất HADOOP_COMMON_HOME = $ HADOOP_HOME xuất HADOOP_HDFS_HOME = đã xuất $ HADOOP_HOME xuất YARN_HOME = $ HADOOP_HOME xuất HADOOP_CONF_DIR = xuất $ HADOOP_HOME = xuất PAVAD = xuất đã xuất HADOOP_HOME = đã xuất $ PATH: $ JAVA_HOME / bin: $ HADOOP_HOME / bin: $ HADOOP_HOME / sbin: $ ZOOKEEPER_HOME / bin

Chỉnh sửa tệp .bashrc.

Bật SSH trong tất cả các nút.

Tạo khóa SSH trong tất cả các nút.

Chỉ huy : ssh-keygen –t rsa (Bước này trong tất cả các nút)

Thiết lập khóa SSH trong tất cả các nút.

Không cung cấp bất kỳ đường dẫn nào đến tệp Enter để lưu khóa và không cung cấp bất kỳ cụm mật khẩu nào. Nhấn nút enter.

Tạo quá trình khóa ssh trong tất cả các nút.

Khi khóa ssh được tạo, bạn sẽ nhận được khóa công khai và khóa riêng tư.

Thư mục khóa .ssh phải chứa Quyền 700 và tất cả các khóa bên trong thư mục .ssh phải chứa quyền 600.

Thay đổi quyền thư mục SSH.

Thay đổi thư mục thành .ssh và thay đổi quyền của tệp thành 600

Thay đổi quyền khóa công khai và riêng tư.

Bạn phải sao chép khóa công khai ssh Name node vào tất cả các nút.

Trong Active Namenode, sao chép id_rsa.pub bằng lệnh cat.

Chỉ huy : cat ~ / .ssh / id_rsa.pub >> ~ / .ssh / allow_keys

Sao chép khóa ssh Namenode vào các khóa được ủy quyền của nó.

Sao chép khóa công khai NameNode cho tất cả các nút bằng ssh-copy-id chỉ huy.

Chỉ huy : ssh-copy-id –i .ssh / id_rsa.pub edureka@nn2.cluster.com

Sao chép khóa mục đích sang Mã tên dự phòng.

Sao chép khóa công khai NameNode vào nút dữ liệu.

Chỉ huy : ssh-copy-id –i .ssh / id_rsa.pub edureka@dn1.cluster.com

Sao chép khóa công khai Namenode vào nút dữ liệu.

Khởi động lại dịch vụ sshd trong tất cả các nút.

Chỉ huy : sudo service sshd restart (Thực hiện trong tất cả các nút)

Khởi động lại dịch vụ SSH.

Bây giờ bạn có thể đăng nhập vào bất kỳ nút nào từ Namenode mà không cần bất kỳ xác thực nào.

Mở tệp core-site.xml từ nút Tên Hoạt động và thêm các thuộc tính bên dưới.

Chỉnh sửa core-site.xml từ Active namenode

Mở tệp hdfs-site.xml trong Active Namenode. Thêm các Thuộc tính bên dưới.

dfs.namenode.name.dir / home / edureka / HA / data / namenode dfs.replication 1 dfs.permissions false dfs.nameservices ha-cluster dfs.ha.namenodes.ha-cluster nn1, nn2 dfs.namenode.rpc-address .ha-cluster.nn1 nn1.cluster.com:9000 dfs.namenode.rpc-address.ha-cluster.nn2 nn2.cluster.com:9000 dfs.namenode.http-address.ha-cluster.nn1 nn1.cluster. com: 50070 dfs.namenode.http-address.ha-cluster.nn2 nn2.cluster.com:50070 dfs.namenode.shared.edits.dir qjournal: //nn1.cluster.com: 8485nn2.cluster.com: 8485dn1. cluster.com:8485/ha-cluster dfs.client.failover.proxy.provider.ha-cluster org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider dfs.ha.automatic-failover.enabled true ha.zookeeper .quorum nn1.cluster.com:2181,nn2.cluster.com:2181,dn1.cluster.com:2181 dfs.ha.fencing.methods sshfence dfs.ha.fencing.ssh.private-key-files / home / edureka /.ssh/id_rsa

Thay đổi thư mục thành thư mục tâm sự của người giữ vườn thú.

Chỉ huy : cd Zookeeper-3.4.6 / conf

Thư mục Zookeeper Conf.

Trong thư mục conf mà bạn có tệp Zoo_sample.cfg, hãy tạo tệp Zoo.cfg bằng cách sử dụng tệp Zoo_sample.cfg.

cách tạo một gói

Chỉ huy : cp Zoo_sample.cfg zoo.cfg

Tạo tệp Zoo.cfg.

Tạo thư mục ở bất kỳ vị trí nào và sử dụng thư mục này để lưu trữ dữ liệu của người giữ vườn thú.

Chỉ huy : mkdir

Tạo một thư mục để lưu trữ dữ liệu của người giữ vườn thú.

Mở tệp Zoo.cfg.

Chỉ huy : gedit zoo.cfg

Thêm đường dẫn thư mục được tạo ở bước trên vào thuộc tính dataDir và thêm các chi tiết bên dưới liên quan đến nút còn lại, trong tệp Zoo.cfg.

Máy chủ.1 = nn1.cluster.com: 2888: 3888

Máy chủ.2 = nn2.cluster.com: 2888: 3888

Server.3 = dn1.cluster.com: 2888: 3888

Chỉnh sửa tệp Zoo.cfg.

Bây giờ sao chép các thư mục Java và Hadoop-2.6.0, zookeeper-3.4.6 và tệp .bashrc vào tất cả các nút (Nút tên dự phòng, nút Dữ liệu) bằng lệnh scp.

Chỉ huy : scp –r edureka @:

Sao chép tệp Hadoop, Zookeeper và .bashrc vào tất cả các nút.

Tương tự, sao chép tệp .bashrc và thư mục Zookeeper vào tất cả các nút và thay đổi các biến môi trường trong mỗi nút theo nút tương ứng.

Trong một nút dữ liệu, hãy tạo bất kỳ thư mục nào mà bạn cần lưu trữ các khối HDFS.

Trong một nút dữ liệu, bạn phải thêm các thuộc tính dfs.datanode.data.dir.

Trong trường hợp của tôi, tôi đã tạo datanode thư mục để lưu trữ các khối.

Tạo thư mục Datanode.

Thay đổi quyền đối với thư mục nút dữ liệu.

Thay đổi quyền thư mục Datanode.

Mở tệp HDFS-site.xml, thêm đường dẫn thư mục Datanode này trong thuộc tính dfs.datanode.data.dir.

Lưu ý: Giữ tất cả các thuộc tính được sao chép từ nút tên hoạt động, thêm dfs.datanode.data.dir một thuộc tính trích xuất trong nút tên.

dfs.datanode.data.dir / home / edureka / HA / data / datanode

Trong Active namenode, thay đổi thư mục mà bạn muốn lưu trữ tệp cấu hình Zookeeper (đường dẫn thuộc tính dataDir).

Tạo tệp myid bên trong thư mục và thêm số 1 vào tệp và lưu tệp.

Chỉ huy : vi myid

Tạo tệp myid.

Trong một nút tên ở chế độ chờ, hãy thay đổi thư mục nơi bạn muốn lưu trữ tệp cấu hình của người giữ vườn thú (đường dẫn thuộc tính dataDir).

Tạo tệp myid bên trong thư mục và thêm số 2 vào tệp và lưu tệp.

Trong một nút dữ liệu, hãy thay đổi thư mục mà bạn muốn lưu trữ tệp cấu hình người giữ vườn thú (đường dẫn thuộc tính dataDir).

Tạo tệp myid bên trong thư mục và thêm số 3 vào tệp và lưu tệp.

Khởi động Journalnode ở cả ba nút.

Chỉ huy : hadoop-daemon.sh start journalnode

Khởi động Tạp chí.

Khi bạn nhập lệnh jps, bạn sẽ thấy daemon JournalNode trong tất cả các nút.

Định dạngMục đích hoạt động.

Chỉ huy : Định dạng dự định HDFS

Định dạng Mã Tên Hoạt động.

Khởi động daemon Namenode và Active Namedode.

Chỉ huy : hadoop-daemon.sh mục đích bắt đầu

Khởi động Namenode.

Sao chép dữ liệu HDFS Meta từ nút tên đang hoạt động sang nút tên ở chế độ chờ.

Chỉ huy : HDFS dự định -bootstrapStandby

Sao chép dữ liệu HDFS Meta từ nút Tên hoạt động sang Nút tên dự phòng.

Khi bạn chạy lệnh này, bạn sẽ nhận được thông tin từ nút và vị trí mà dữ liệu meta đang sao chép và liệu nó có đang sao chép thành công hay không.

Thông tin chi tiết Mục đích hoạt động.

Khi dữ liệu Meta được sao chép từ nút tên hoạt động sang nút tên dự phòng, bạn sẽ nhận được thông báo hiển thị bên dưới trong ảnh chụp màn hình.

Thông tin liên quan đến HDFS trong Namenode chờ.

Khởi động daemon nút tên trong máy định danh nút chờ.

Chỉ huy : hadoop-daemon.sh mục đích bắt đầu

Bây giờ hãy bắt đầu dịch vụ Zookeeper trong cả ba nút.

Chỉ huy : zkServer.sh start (Chạy lệnh này trong tất cả các nút)

Trong Mục đích Hoạt động:

Bắt đầu Zookeeper trong Active NameNode.

Trong nút tên ở chế độ chờ:

Khởi động người giữ vườn thú ở chế độ chờ TênNode.

Trong nút Dữ liệu:

Khởi động người giữ vườn thú trong DataNode.

Sau khi chạy máy chủ Zookeeper, hãy nhập lệnh JPS. Trong tất cả các nút, bạn sẽ thấy dịch vụ QuorumPeerMain.

Khởi động daemon nút dữ liệu trong máy nút dữ liệu.

Chỉ huy : hadoop-daemon.sh start datanode

Khởi động Zookeeper không thành công trên bộ điều khiển trong nút tên hoạt động và nút tên dự phòng.

Định dạng người giữ vườn thú không thành công trên bộ điều khiển trong nút tên Hoạt động.

Chỉ huy: HDFS zkfc –formatZK

Định dạng ZKFC.

Khởi động ZKFC trong nút tên Hoạt động.

Chỉ huy : hadoop-daemon.sh start zkfc

Nhập lệnh jps để kiểm tra các daemon DFSZkFailoverController.

Khởi động ZKFC.

Định dạng người giữ vườn thú không thành công trên bộ điều khiển trong nút tên Chế độ chờ.

Chỉ huy : hdfs zkfc –formatZK

Khởi động ZKFC ở nút tên ở chế độ Chờ.

Chỉ huy : hadoop-daemon.sh start zkfc

Nhập lệnh jps để kiểm tra các daemon DFSZkFailoverController.

Bây giờ hãy kiểm tra trạng thái của mỗi Namenode, nút nào đang Hoạt động hoặc nút nào đang ở chế độ Chờ bằng cách sử dụng lệnh dưới đây.

Chỉ huy : hdfs haadmin –getServiceState nn1

Kiểm tra trạng thái của từng NameNode.

Bây giờ Kiểm tra trạng thái của từng Nút tên bằng trình duyệt web.

Mở trình duyệt Web và nhập URL bên dưới.

: 50070

Nó sẽ hiển thị liệu nút tên đang Hoạt động hay ở chế độ chờ.

Mã Tên Hoạt động.

Mở chi tiết nút tên khác bằng trình duyệt web.

Mã tên chờ.

Trong nút tên Hoạt động, hãy giết daemon nút tên để thay đổi nút tên Dự phòng thành nút tên hoạt động.

Nhập jps vào Active namenode và giết daemon.

Chỉ huy: sudo kill -9

ID quy trình Daemons.

ID tiến trình Namenode là 7606, hãy loại bỏ namenode.

Chỉ huy : Sudo kill -9 7606

Diệt quy trình Name Node

Mở hai nút thông qua trình duyệt web và kiểm tra trạng thái.

Chi tiết nút tên.

Trạng thái NameNode.

Xin chúc mừng, bạn đã thiết lập thành công Cụm khả dụng cao HDFS trong Hadoop.

Bây giờ bạn đã hiểu Kiến trúc cụm khả dụng cao của Hadoop, hãy xem của Edureka, một công ty học trực tuyến đáng tin cậy với mạng lưới hơn 250.000 người học hài lòng trải dài trên toàn cầu. Khóa đào tạo Chứng chỉ Edureka Big Data Hadoop giúp người học trở thành chuyên gia trong lĩnh vực HDFS, Yarn, MapReduce, Pig, Hive, HBase, Oozie, Flume và Sqoop bằng các trường hợp sử dụng thời gian thực trên miền Bán lẻ, Truyền thông xã hội, Hàng không, Du lịch, Tài chính.

Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến nó trong phần bình luận và chúng tôi sẽ liên hệ lại với bạn.

window._LQ_ = window._LQ_ || {}

lqQuizModal (window, document, {quizId: ’XAIVp8 ′, baseUrl:’ https: //quiz.leadquizzes.com/’,trigger: ’exit’}, _LQ_)

Cách thiết lập cụm Hadoop với tính khả dụng cao HDFS

Blog này cung cấp tổng quan về kiến trúc Tính khả dụng cao HDFS và cách thiết lập và định cấu hình cụm Tính khả dụng cao HDFS trong các bước đơn giản.

Kiến trúc cụm khả dụng cao HDFS 2.x

Giới thiệu:

NameNode Sẵn có:

Kiến trúc HDFS HA:

Thực hiện Kiến trúc HA:

1. Sử dụng các nút số tạp chí:

Hàng rào Mã Tên:

2. Sử dụng Bộ nhớ dùng chung:

Chuyển đổi dự phòng tự động:

Thiết lập và định cấu hình Cụm khả dụng cao trong Hadoop:

Thể LoạI

Popular Articles

Dữ liệu lớn trong chăm sóc sức khỏe: Hadoop đang cách mạng hóa phân tích chăm sóc sức khỏe như thế nào

Luyện thi PMP - Cách tốt nhất để chuẩn bị cho Kỳ thi chứng chỉ PMP

Hive & sợi được nhiễm điện bằng tia lửa

Những thách thức và hạn chế của Selenium là gì?

Làm thế nào để cấu hình thông báo qua email trong Jenkins trong 6 bước đơn giản?

Làm thế nào để tạo Biểu đồ Pareto trong Tableau?

Mẫu HBase POC

Chuyển theo giá trị và chuyển theo tham chiếu trong Java

Khai thác Blockchain- Tất cả những gì bạn cần biết

Cách thực hiện Sắp xếp Hợp nhất trong C ++ với các ví dụ

Hướng dẫn Ethereum - Cái nhìn sâu hơn về Ethereum!

Cài đặt Chef - 6 bước đơn giản để cài đặt Chef trên CentOS

Cách thiết lập cụm Hadoop với tính khả dụng cao HDFS

Blog này cung cấp tổng quan về kiến ​​trúc Tính khả dụng cao HDFS và cách thiết lập và định cấu hình cụm Tính khả dụng cao HDFS trong các bước đơn giản.

Kiến trúc cụm khả dụng cao HDFS 2.x

Giới thiệu:

NameNode Sẵn có:

Kiến trúc HDFS HA:

Thực hiện Kiến trúc HA:

1. Sử dụng các nút số tạp chí:

Hàng rào Mã Tên:

2. Sử dụng Bộ nhớ dùng chung:

Chuyển đổi dự phòng tự động:

Thiết lập và định cấu hình Cụm khả dụng cao trong Hadoop:

Thể LoạI

Popular Articles

Blog này cung cấp tổng quan về kiến trúc Tính khả dụng cao HDFS và cách thiết lập và định cấu hình cụm Tính khả dụng cao HDFS trong các bước đơn giản.