Trong blog này, hãy để chúng tôi xem cách tạo Spark cho một phiên bản Hadoop cụ thể.
Chúng ta cũng sẽ tìm hiểu cách tạo Spark với HIVE và YARN.
chương trình java để kiểm tra palindrome
Xét rằng bạn có Hadoop, jdk, mvn và đi được cài đặt sẵn và cấu hình trước trên hệ thống của bạn.
Mở Trình duyệt Mozilla và Tải xuống Tia lửa bằng cách sử dụng liên kết dưới đây.
https://edureka.wistia.com/medias/k14eamzaza/
Mở thiết bị đầu cuối.
Lệnh: tar -xvf Downloads / spark-1.1.1.tgz
Lệnh: ls
Mở thư mục spark-1.1.1.
Bạn có thể mở pom.xml tập tin. Tệp này cung cấp cho bạn thông tin về tất cả sự phụ thuộc bạn cần.
Đừng chỉnh sửa nó để tránh rắc rối.
Lệnh: cd spark-1.1.1 /
Lệnh: sudo gedit sbt / sbt-khởi chạy-lib.bash
Chỉnh sửa tệp như ảnh chụp nhanh bên dưới, lưu và đóng tệp.
Chúng tôi đang giảm bộ nhớ để tránh vấn đề không gian đống đối tượng như được đề cập trong ảnh chụp nhanh bên dưới.
Bây giờ, hãy chạy lệnh dưới đây trong terminal để tạo tia lửa cho Hadoop 2.2.0 với HIVE và YARN.
Lệnh: ./sbt/sbt -P sợi -P tổ ong -Phadoop-2.2 -D hadoop.version = 2.2.0 -D bỏ qua hội,, tổ hợp
Lưu ý: Phiên bản Hadoop của tôi là 2.2.0, bạn có thể thay đổi nó theo phiên bản Hadoop của mình.
Đối với các phiên bản Hadoop khác
# Apache Hadoop 2.0.5-alpha
-Dhadoop.version = 2.0,5-alpha
#Cloudera CDH 4.2.0
-Dhadoop.version = 2.0.0-cdh4.2.0
# Apache Hadoop 0.23.x
-Phadoop-0,23 -Dhadoop.version = 0,23,7
# Apache Hadoop 2.3.X
-Phadoop-2.3 -Dhadoop.version = 2.3.0
# Apache Hadoop 2.4.X
-Phadoop-2.4 -Dhadoop.version = 2.4.0
Sẽ mất một khoảng thời gian để biên dịch và đóng gói, vui lòng đợi cho đến khi hoàn tất.
Hai cái lọ spark-assembly-1.1.1-hadoop2.2.0.jar và spark-example-1.1.1-hadoop2.2.0.jar được tạo.
Một phần của spark-assembly-1.1.1-hadoop2.2.0.jar : /home/edureka/spark-1.1.1/assembly/target/scala-2.10/spark-assembly-1.1.1-hadoop2.2.0.jar
Một phần của spark-example-1.1.1-hadoop2.2.0.jar: /home/edureka/spark-1.1.1/examples/target/scala-2.10/spark-examples-1.1.1-hadoop2.2.0.jar
Xin chúc mừng, bạn đã tạo thành công Spark for Hive & Yarn.
Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến chúng trong phần nhận xét và chúng tôi sẽ liên hệ lại với bạn.
Bài viết liên quan:
Apache Spark với Hadoop-Tại sao lại quan trọng?