Chúng tôi đã học cách Xây dựng Hive và Yarn trên Spark . Bây giờ chúng ta hãy thử các ví dụ Hive và Yarn trên Spark.
Ví dụ về Hive trên Spark
Chúng tôi sẽ chạy một ví dụ về Hive trên Spark. Chúng tôi sẽ tạo một bảng, tải dữ liệu trong bảng đó và thực hiện một truy vấn đơn giản. Khi làm việc với Hive, người ta phải xây dựng một HiveContext kế thừa từ SQLContext .
Chỉ huy: cd spark-1.1.1
Chỉ huy: ./bin/spark-shell
Tạo tệp đầu vào 'mẫu vật' trong thư mục chính của bạn như ảnh chụp nhanh bên dưới (tab được phân tách).
Chỉ huy: val sqlContext = new org.apache.spark.sql.hive.HiveContext (sc)
cách xử lý cửa sổ bật lên trong selen
Chỉ huy: sqlContext.sql (“TẠO BẢNG NẾU KHÔNG TỒN TẠI kiểm tra (tên STRING, xếp hạng INT)
‘”)
Chỉ huy: sqlContext.sql (“TẢI DỮ LIỆU ĐỊA PHƯƠNG INPATH‘ / home / edureka / sample ’INTO TABLE test”)
Chỉ huy: sqlContext.sql (“CHỌN * TỪ kiểm tra WHERE xếp hạng<5”).collect().foreach(println)
Ví dụ về sợi trên Spark
Chúng tôi sẽ chạy ví dụ SparkPi trên Yarn. Chúng ta có thể triển khai Yarn trên Spark ở hai chế độ: chế độ cụm và chế độ khách. Trong chế độ cụm sợi, trình điều khiển Spark chạy bên trong một quy trình chính của ứng dụng được quản lý bởi Yarn trên cụm và ứng dụng khách có thể biến mất sau khi khởi chạy ứng dụng. Ở chế độ sợi-khách, trình điều khiển chạy trong tiến trình máy khách và ứng dụng chính chỉ được sử dụng để yêu cầu tài nguyên từ Yarn.
Chỉ huy: cd spark-1.1.1
Chỉ huy: SPARK_JAR =. / Assembly / target / scala-2.10 / spark-assembly-1.1.1-hadoop2.2.0.jar ./bin/spark-submit –master fiber –deploy-mode cluster –class org.apache.spark.examples. SparkPi –num-execute 1 –driver-memory 2g –executor-memory 1g –executor-core 1 ví dụ / target / scala-2.10 / spark -amples-1.1.1-hadoop2.2.0.jar
Sau khi bạn thực hiện lệnh trên, vui lòng đợi một lúc cho đến khi bạn nhận được ĐÃ THÀNH CÔNG thông điệp.
Duyệt qua localhost: 8088 / cụm và nhấp vào ứng dụng Spark.
Bấm vào nhật ký .
Bấm vào stdout để kiểm tra đầu ra.
Để triển khai Yarn trên Spark ở chế độ khách hàng, chỉ cần thực hiện –Deploy-mode như 'Khách hàng'. Bây giờ, bạn đã biết cách xây dựng Hive và Yarn trên Spark. Chúng tôi cũng đã thực hành trên chúng.
Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến chúng trong phần nhận xét và chúng tôi sẽ liên hệ lại với bạn.
Bài viết liên quan
Apache Spark với Hadoop-Tại sao lại quan trọng?
Hive & sợi được nhiễm điện bằng tia lửa