rõ ràng là một lĩnh vực đã có những bước phát triển vượt bậc trong vài năm qua. Xu hướng và những tiến bộ này đã tạo ra rất nhiều cơ hội việc làm trong ngành. Nhu cầu về Kỹ sư học máy có nhu cầu cao và sự gia tăng này là do công nghệ phát triển và tạo ra lượng dữ liệu khổng lồ hay còn gọi là Dữ liệu lớn. Vì vậy, trong bài viết này, tôi sẽ thảo luận về các Dự án Máy học tuyệt vời nhất mà người ta chắc chắn nên biết và làm việc theo thứ tự sau:
- Học máy là gì?
- Các bước học máy
- Các loại máy học
- Các trường hợp sử dụng trong ngành
- Các dự án máy học nguồn mở cho năm 2019
Học máy là gì?
Học máy là một khái niệm cho phép máy học từ các ví dụ và kinh nghiệm, cũng như điều đó mà không cần được lập trình rõ ràng. Vì vậy, thay vì bạn viết mã, những gì bạn làm là bạn cung cấp dữ liệu cho thuật toán chung và thuật toán / máy xây dựng logic dựa trên dữ liệu đã cho.
Các bước học máy
Bất kỳ thuật toán học máy nào đều tuân theo một mẫu hoặc các bước chung.
Thu thập dữ liệu: Giai đoạn này liên quan đến việc thu thập tất cả dữ liệu có liên quan từ nhiều nguồn khác nhau
Dữ liệu Wrangling: Đây là quá trình làm sạch và chuyển đổi “Dữ liệu thô” thành một định dạng cho phép sử dụng thuận tiện
Phân tích dữ liệu: Dữ liệu được phân tích để chọn và lọc dữ liệu cần thiết để chuẩn bị mô hình
Thuật toán tàu hỏa: Thuật toán được đào tạo trên tập dữ liệu đào tạo, qua đó thuật toán hiểu được mẫu và các quy tắc chi phối dữ liệu
Mô hình thử nghiệm: Bộ dữ liệu thử nghiệm xác định độ chính xác của mô hình của chúng tôi.
Triển khai: Nếu tốc độ và độ chính xác của mô hình là chấp nhận được, thì mô hình đó nên được triển khai trong hệ thống thực. Sau khi mô hình được triển khai dựa trên hiệu suất của nó, mô hình được cập nhật và cải thiện nếu có sự sụt giảm về hiệu suất, mô hình sẽ được đào tạo lại.
Các loại máy học
Học máy được phân loại thành ba loại:
Học tập có giám sát: Đây là biến mà bạn có biến đầu vào (x) và biến đầu ra (Y) và bạn sử dụng một thuật toán để học hàm ánh xạ từ đầu vào đến đầu ra.
Học tập không giám sát: Đôi khi dữ liệu đã cho là không có cấu trúc và không được gắn nhãn. Vì vậy, rất khó để phân loại dữ liệu đó trong các danh mục khác nhau. Học tập không giám sát giúp giải quyết vấn đề này. Việc học này được sử dụng để phân cụm dữ liệu đầu vào trong các lớp trên cơ sở các thuộc tính thống kê của chúng.
Học tăng cường: Đó là tất cả về việc thực hiện hành động thích hợp để tối đa hóa phần thưởng trong một tình huống cụ thể.
khi nói đến học tăng cường, không có đầu ra mong đợi. Tác nhân tăng cường quyết định những hành động cần thực hiện để thực hiện một nhiệm vụ nhất định. Trong trường hợp không có tập dữ liệu đào tạo, nó nhất định phải học hỏi kinh nghiệm của nó.
Bây giờ, hãy cùng xem xét một số Dự án Máy học trong đời thực có thể giúp các công ty tạo ra lợi nhuận.
Các trường hợp sử dụng trong ngành
1. CHUYỂN ĐỘNG STUDIO
Miền: Một nửa
Tiêu điểm: Tối ưu hóa quy trình lựa chọn
.innerhtml làm gì
Thử thách kinh doanh: Motion Studio là nhà sản xuất Radio lớn nhất ở Châu Âu. Có doanh thu hơn một tỷ đô la, công ty đã quyết định tung ra một chương trình thực tế mới: Ngôi sao RJ. Phản hồi về chương trình là chưa từng có và công ty đang tràn ngập các clip lồng tiếng. Bạn với tư cách là chuyên gia ML phải phân loại giọng nói là nam / nữ để mức lọc đầu tiên nhanh hơn.
Các vấn đề chính: Mẫu giọng nói qua các trọng âm.
Lợi ích kinh doanh: Từ RJ Star là một chương trình thực tế, thời gian để lựa chọn ứng viên rất ngắn. Toàn bộ thành công của chương trình và do đó lợi nhuận phụ thuộc vào việc thực hiện nhanh chóng và suôn sẻ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns% matplotlib inline import warning warning.filterwarnings ('ignore') df = pd.read_csv ('voice-sort.csv') df.head ()# Đánh dấu vào số không. của bản ghi df.info () df.describe () df.isnull (). sum ()
print ('Hình dạng của Dữ liệu:', df.shape) print ('Tổng số nhãn: {}'. format (df.shape [0])) print ('Số lượng nam: {}'. format (df [ df.label == 'male']. shape [0])) print ('Number of Female: {}'. format (df [df.label == 'Female']. shape [0]))
X = df.iloc [:,: -1] print (df.shape) print (X.shape)
from sklearn.preprocessing import LabelEncoder y = df.iloc [:, - 1] world_encoder = LabelEncoder () y = world_encoder.fit_transform (y) y từ sklearn.preprocessing import StandardScaler scaler = StandardScaler () scaler.fit (X) X = scaler.transform (X) từ sklearn.model_selection nhập train_test_split X_train, X_test, y_train, y_test = train_test_split (X, y, test_size = 0,3, random_state = 100) từ sklearn.svm nhập SVC từ số liệu nhập sklearn từ sklere.metrics nhập phân loại , dirty_matrix svc_model = SVC () svc_model.fit (X_train, y_train) y_pred = svc_model.p Dự đoán (X_test) print ('Điểm chính xác:') print (metrics.accuracy_score (y_test, y_pred))print (nhầm lẫn_matrix (y_test, y_pred))
2. LITHIONPOWER
Miền: Ô tô
Tiêu điểm: Khuyến khích người lái xe
Thử thách kinh doanh: Lithionpower là nhà cung cấp pin xe điện (xe điện) lớn nhất. Người lái xe thường thuê pin trong một ngày và sau đó thay thế bằng pin đã sạc từ công ty. Lithionpower có mô hình định giá thay đổi dựa trên lịch sử lái xe của tài xế. Vì tuổi thọ của pin phụ thuộc vào các yếu tố như chạy quá tốc độ, quãng đường lái xe mỗi ngày, v.v. Bạn với tư cách là chuyên gia ML phải tạo ra một mô hình cụm nơi các trình điều khiển có thể được nhóm lại với nhau dựa trên dữ liệu lái xe.
Các vấn đề chính: Các trình điều khiển sẽ được khuyến khích dựa trên cụm, vì vậy việc phân nhóm phải chính xác.
Lợi ích kinh doanh: Tăng lợi nhuận, lên đến 15-20% vì tài xế có lịch sử kém sẽ bị tính phí nhiều hơn.
nhập gấu trúc dưới dạng pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns sns.set () # for plot styles% matplotlib inline import warning warning.filterwarnings ('ignore') import matplotlib.pyplot as plt plt.rcParams [ 'figure.figsize'] = (12, 6) df = pd.read_csv ('driver-data.csv') df.head ()df.info () df.describe ()
from sklearn.cluster import KMeans # Tạo 2 cụm kmeans = KMeans (n_clusters = 2) df_analyze = df.drop ('id', axis = 1) kmeans.fit (df_analyze)kmeans.cluster_centers_
print (kmeans.labels_) print (len (kmeans.labels_))
print (type (kmeans.labels_)) unique, counts = np.unique (kmeans.labels_, return_counts = True) print (dict (zip (unique, counts)))
df_analyze ['cluster'] = kmeans.labels_ sns.set_style ('whitegrid') sns.lmplot ('mean_dist_day', 'mean_over_speed_perc', data = df_analyze, hue = 'cluster', Palette = 'coolwarm', size = 6, khía cạnh = 1, fit_reg = Sai)# Bây giờ, Hãy kiểm tra các cụm, khi n = 4 kmeans_4 = KMeans (n_clusters = 4) kmeans_4.fit (df.drop ('id', axis = 1)) kmeans_4.fit (df.drop ('id', axis = 1)) print (kmeans_4.cluster_centers_) duy nhất, counts = np.unique (kmeans_4.labels_, return_counts = True) kmeans_4.cluster_centers_ print (dict (zip (unique, counts)))df_analyze ['cluster'] = kmeans_4.labels_ sns.set_style ('whitegrid') sns.lmplot ('mean_dist_day', 'mean_over_speed_perc', data = df_analyze, hue = 'cluster', Palette = 'coolwarm', size = 6, khía cạnh = 1, fit_reg = Sai)
3. BluEx
Miền: Logistics
Tiêu điểm: Đường dẫn tối ưu
Thử thách kinh doanh: BluEx là một công ty hậu cần hàng đầu ở Ấn Độ. Nó được biết đến với việc phân phối các gói tin hiệu quả cho khách hàng. Tuy nhiên, BluEx đang phải đối mặt với một thách thức trong đó các trình điều khiển xe van của họ đang đi một con đường không tối ưu để phân phối. Điều này gây ra sự chậm trễ và chi phí nhiên liệu cao hơn. Bạn với tư cách là chuyên gia ML phải tạo một mô hình ML bằng cách sử dụng Reinforcement Learning để tìm ra đường dẫn hiệu quả thông qua chương trình.
Các vấn đề chính: Dữ liệu có rất nhiều thuộc tính và việc phân loại có thể phức tạp.
Lợi ích kinh doanh: Có thể tiết kiệm tới 15% chi phí nhiên liệu bằng cách đi theo con đường tối ưu.
import numpy as np import pylab as plt import networkx as nx #Initializing points points_list = [(0,1), (1,5), (5,6), (5,4), (1,2), (2 , 3), (2,7)] mục tiêu = 7 ánh xạ = {0: 'Bắt đầu', 1: '1', 2: '2', 3: '3', 4: '4', 5: '5 ', 6:' 6 ', 7:' 7-Destination '} G = nx.Graph () G.add_edges_from (points_list) pos = nx.spring_layout (G, k = .5, center = points_list [2]) nx .draw_networkx_nodes (G, pos, node_color = 'g') nx.draw_networkx_edges (G, pos, edge_color = 'b') nx.draw_networkx_labels (G, pos) plt.show ()NO_OF_POINTS = 8 #Inititlaizing R Matrix R = np.matrix (np.ones (shape = (NO_OF_POINTS, NO_OF_POINTS))) R * = -1 cho điểm trong danh sách điểm: in (điểm) nếu điểm [1] == mục tiêu: R [point] = 150 khác: R [point] = 0 nếu point [0] == mục tiêu: R [point [:: - 1]] = 150 khác: # đảo ngược của điểm R [point [:: - 1]] = 0
R [mục tiêu, mục tiêu] = 150 R
Q = np.matrix (np.zeros ([NO_OF_POINTS, NO_OF_POINTS])) # Tham số học tập gamma = 0.8 ban đầu_state = 1 def có sẵn_ giao dịch (trạng thái): current_state_row = R [state,] av_act = np.where (current_state_row & ampampampgt = 0 ) [1] return av_act available_act = ready_action (initial_state) def sample_next_action (available_actions_range): next_action = int (np.random.choice (ready_act, 1)) return next_action action = sample_next_action (ready_act) def update (current_state, action, gamma) : max_index = np.where (Q [action,] == np.max (Q [action,])) [1] if max_index.shape [0] & ampampampgt 1: max_index = int (np.random.choice (max_index, size = 1)) else: max_index = int (max_index) max_value = Q [action, max_index] Q [current_state, action] = R [current_state, action] + gamma * max_value print ('max_value', R [current_state, action] + gamma * max_value) if (np.max (Q) & ampampampgt 0): return (np.sum (Q / np.max (Q) * 100)) else: return (0) cập nhật (Initial_state, action, gamma)điểm = [] đối với tôi trong phạm vi (700): current_state = np.random.randint (0, int (Q.shape [0])) ready_act = ready_actions (current_state) action = sample_next_action (available_act) score = update (current_state, action, gamma) score.append (score) print ('Score:', str (score)) print ('Ma trận Q được đào tạo:') print (Q / np.max (Q) * 100) # Kiểm tra current_state = 0 bước = [current_state] while current_state! = 7: next_step_index = np.where (Q [current_state,] == np.max (Q [current_state,])) [1] if next_step_index.shape [0] & ampampampgt 1: next_step_index = int (np.random.choice (next_step_index, size = 1)) else: next_step_index = int (next_step_index) steps.append (next_step_index) current_state = next_step_indexprint ('Đường dẫn hiệu quả nhất:') print (các bước) plt.plot (điểm số) plt.show ()Các dự án máy học nguồn mở năm 2019
Detectron : Detectron là hệ thống phần mềm của Facebook AI Research triển khai các thuật toán phát hiện đối tượng hiện đại. Nó được viết bằng Python và được hỗ trợ bởi khung học sâu Caffe2.
Mục tiêu của Detectron là cung cấp cơ sở mã chất lượng cao, hiệu suất cao cho nghiên cứu phát hiện đối tượng. Nó được thiết kế linh hoạt để hỗ trợ việc thực hiện và đánh giá nhanh các nghiên cứu mới. Nó chứa hơn 50 mô hình được đào tạo trước.
Đa năng : Ước tính tư thế người dày đặc nhằm mục đích ánh xạ tất cả các pixel của con người của hình ảnh RGB với bề mặt 3D của cơ thể người. DensePose-RCNN được triển khai trong khuôn khổ Detectron.
TensorFlow.js : Nó là một thư viện để phát triển và đào tạo các mô hình ML và triển khai trên trình duyệt. Nó đã trở thành một bản phát hành rất phổ biến kể từ khi được phát hành vào đầu năm nay và tiếp tục gây ngạc nhiên với tính linh hoạt của nó. Với điều này bạn có thể
- Phát triển ML trong Trình duyệt: Sử dụng các API linh hoạt và trực quan để xây dựng mô hình từ đầu bằng cách sử dụng thư viện đại số tuyến tính JavaScript cấp thấp hoặc API các lớp cấp cao.
- Chạy các mô hình hiện có : Sử dụng trình chuyển đổi mô hình TensorFlow.js để chạy các mô hình TensorFlow có sẵn ngay trong trình duyệt.
- Đào tạo lại các mô hình hiện có: Đào tạo lại các mô hình ML có trước bằng cách sử dụng dữ liệu cảm biến được kết nối với trình duyệt hoặc dữ liệu phía máy khách khác.
Phát sóng: Máy học cũng đang đạt được những tiến bộ lớn trong xử lý âm thanh và nó không chỉ tạo ra âm nhạc hoặc phân loại. WaveGlow là một Mạng tạo tổng hợp giọng nói dựa trên Luồng của NVIDIA. Các nhà nghiên cứu cũng đã liệt kê các bước bạn có thể làm theo nếu bạn muốn đào tạo mô hình của riêng mình từ đầu.
Vẽ ngoài hình ảnh : Hãy tưởng tượng bạn có một nửa hình ảnh của một cảnh và bạn muốn có khung cảnh đầy đủ, đó là những gì vẽ ngoài hình ảnh có thể làm được điều đó cho bạn. Dự án này là sự triển khai của Keras trên bài báo Hình ảnh Outpainting của Stanford. Mô hình được đào tạo với 3500 dữ liệu bãi biển đã loại bỏ với tổng số lập luận lên đến 10.500 hình ảnh cho 25 kỷ nguyên .
Đây là một bài báo tuyệt vời với một giải thích chi tiết từng bước. Một ví dụ phải thử cho tất cả những người say mê Học máy. Cá nhân tôi, đây là dự án Học máy yêu thích của tôi.
sqoop trong hadoop là gì
Sự hài hòa sâu sắc của họa sĩ : Chà, nói về hình ảnh thì cái này là một kiệt tác. Thuật toán này làm gì, lấy một hình ảnh làm đầu vào và sau đó nếu bạn thêm một yếu tố bên ngoài vào hình ảnh, nó sẽ trộn yếu tố đó vào môi trường xung quanh như thể nó là một phần của nó.
Bạn có thể chỉ cho tôi điểm khác biệt? Không có quyền? Chà, điều này cho chúng ta thấy rằng chúng ta đã tiến xa như thế nào về Học máy.
DeepMimic: Bây giờ, hãy quan sát kỹ những hình ảnh ở đây, bạn sẽ thấy một hình cây gậy đang thực hiện cú đá xoáy, quay ngược và quay bánh xe. Đó là bạn của tôi đang tăng cường học tập trong hành động. DeepMimic là một ví dụ về Học tập củng cố sâu có hướng dẫn về các kỹ năng tính cách dựa trên vật lý.
Đỏ tươi : Magenta là một dự án nghiên cứu khám phá vai trò của máy học trong quá trình tạo ra nghệ thuật và âm nhạc. Điều này chủ yếu liên quan đến việc phát triển các thuật toán học sâu và học tăng cường mới để tạo các bài hát, hình ảnh, bản vẽ và các tài liệu khác.
Nó cũng là một khám phá trong việc xây dựng các công cụ và giao diện thông minh cho phép các nghệ sĩ và nhạc sĩ mở rộng ( không thay thế! ) các quy trình của họ bằng cách sử dụng các mô hình này. Hãy dang rộng đôi cánh của bạn, tạo nội dung độc đáo của bạn cho Instagram hoặc Soundcloud và trở thành một người có ảnh hưởng.
Vì vậy, các bạn, chúng ta sẽ kết thúc bài viết về Dự án Máy học tuyệt vời này. Hãy thử những ví dụ này và cho chúng tôi biết trong phần bình luận bên dưới. Tôi hy vọng bạn đã biết cách triển khai thực tế của Học máy trong ngành. Edureka's giúp bạn thành thạo các kỹ thuật như Học có giám sát, Học không giám sát và Xử lý ngôn ngữ tự nhiên. Nó bao gồm đào tạo về những tiến bộ và phương pháp tiếp cận kỹ thuật mới nhất trong Trí tuệ nhân tạo & Máy học như Học sâu, Mô hình đồ họa và Học tăng cường