Tất nhiên, điểm đến duy nhất cho mọi người yêu thích phim là Netflix. Nhưng điều gì sẽ xảy ra nếu bạn đang xem bộ phim yêu thích của mình và nó liên tục tải vào bộ đệm thỉnh thoảng? Bạn chỉ cần tắt ứng dụng và chọn một tùy chọn khác. Nhưng, làm thế nào nó quản lý lưu lượng truy cập của hàng triệu người dùng một cách nhanh chóng? Nhờ vào . Trong bài viết này, hãy cùng khám phá cách Netflix sử dụng Python.
Hãy bắt đầu bằng cách xem nhanh các chủ đề trong bài viết này:
hướng dẫn mysql cho người mới bắt đầu với các ví dụ
Vậy hãy bắt đầu. :)
Giới thiệu về Netflix
Netflix là một công ty của Mỹ cung cấp dịch vụ Video theo yêu cầu (VOD). Trụ sở chính đặt tại Los Gatos, California, Netflix có khoảng 148 triệu người đăng ký trên khắp thế giới và con số này vẫn không ngừng tăng lên mỗi ngày. Trong khoảng thời gian khoảng hai thập kỷ, Netflix đã nổi lên như là 'Vua của gia tộc' cho Phim và Phim truyền hình dài tập lớn nhất trên toàn thế giới. Là thương hiệu phát triển nhanh nhất của Hoa Kỳ và có doanh thu 20,5 tỷ đô la vào năm 2019, đủ để nó trở thành một 'kẻ để mắt tới', do đó thu hút tất cả mọi người vào lĩnh vực công nghệ của mình.
Dựa trên cùng một lĩnh vực quan tâm, Netflix đã tiết lộ cách sử dụng ngôn ngữ thịnh hành nhất, Python , cho cơ sở hạ tầng của nó.
Vì vậy, bây giờ chúng ta hãy chuyển sang xem Netflix thực sự sử dụng Python như thế nào?
Netflix sử dụng Python như thế nào?
“Chúng tôi sử dụng Python trong toàn bộ vòng đời nội dung, từ việc quyết định tài trợ cho nội dung nào đến việc vận hành CDN phục vụ video cuối cùng cho 148 triệu thành viên” - Các kỹ sư tại Netflix
Phạm vi from Miền quản trị thành Độ tin cậy và Khoa học dữ liệu đến vv, Netflix sử dụng Python cho gần như mọi lĩnh vực kinh doanh của họ.
Bây giờ chúng ta hãy xem xét kỹ hơn cách được sử dụng trong các miền khác nhau tại Netflix:
Mở Kết nối:
CDN (Mạng phân phối nội dung) mà Netflix sử dụng là Open Connect. Kết nối mở về cơ bản trở thành hình ảnh khi bạn nhấp vào nút 'play'. Tất cả nội dung được chuyển đến người dùng cuối đều do CDN này chăm sóc.
Kết nối mở yêu cầu nhiều hệ thống phần mềm khác nhau để thiết kế, xây dựng và vận hành nó được viết bằng Python. Không chỉ vậy, các thiết bị mạng nằm dưới CDN này là các ứng dụng Python vì Python nổi bật trong việc giải quyết các vấn đề mạng.
Nhóm kỹ thuật theo yêu cầu:
Nhóm Kỹ thuật nhu cầu chịu trách nhiệm xử lý các Lỗi khu vực của Netflix, Quản lý lưu lượng, Quản lý hoạt động năng lực (xem xét giới hạn mà nội dung có thể được cung cấp dịch vụ) và Hiệu quả theo nhóm. Các phần tử của Python được nhóm này sử dụng là:
NumPy và SciPy:
và SciPy là những thư viện được sử dụng cho tính toán khoa học. Netflix sử dụng các thư viện Python này để thực hiện phân tích số, do đó cho phép quản lý các lỗi Khu vực.
Boto3:
Boto3 là Bộ phát triển phần mềm (SDK) của cho Python. Điều này giúp các nhà phát triển Python tích hợp Python vào AWS do đó cho phép phát triển trong cơ sở hạ tầng.
RQ (Hàng đợi Redis):
Đây là một thư viện Python giúp theo dõi các tác vụ có trong hàng đợi và cho phép thực thi chúng, do đó cho phép quản lý khối lượng công việc không đồng bộ.
Bình giữ nhiệt:
Cuối cùng, Netflix sử dụng API của Flask (Thư viện phát triển web Python) để liên kết tất cả các phân đoạn trước đó với nhau.
ví dụ về lệnh gọi phương thức từ xa java
Netflix sử dụng là một ứng dụng web mã nguồn mở, được sử dụng để phát triển Python cùng với nteract (phần mở rộng cho Jupyter) trên quy mô lớn. Jupyter được biết đến là phổ biến để phân tích dữ liệu. Nó phục vụ rất tốt trong việc phân tích và trực quan hóa dữ liệu hoạt động, từ đó giúp phát hiện sự suy giảm năng lực.
Cơ sở hạ tầng học máy:
phạm vi từ việc tạo các thuật toán Cá nhân hóa để tìm ra các trường hợp sử dụng. Các thuật toán cá nhân hóa giúp đào tạo các mô hình Học máy theo tiêu chuẩn của Netflix. Nó cung cấp các đề xuất được cá nhân hóa, phác thảo hàng ngày, các thế hệ nhãn, v.v.
Các thư viện cần thiết để học Mạng thần kinh sâu Chúng tôi TensorFlow , Cứng và Pytorch trong khi XGBoost và LightGBM cho Cây quyết định tăng cường Gradient.Họ cũng đã phát triển một số thư viện cấp cao hơn giúp kết hợp với các lĩnh vực công việc như ghi dữ liệu, trích xuất tính năng, xuất bản, v.v. Ngoài tất cả những điều này, Netflix cũng sử dụng MetaFlow để tạo các dự án máy học.
“Metaflow đẩy các giới hạn của Python: Chúng tôi tận dụng mã Python được tối ưu hóa và song song tốt để tìm nạp dữ liệu ở tốc độ 10Gbps, xử lý hàng trăm triệu điểm dữ liệu trong bộ nhớ và sắp xếp tính toán trên hàng chục nghìn lõi CPU” - Netflix
Dữ liệu lớn:
Các nhóm chịu trách nhiệm thực hiện ETL (trích xuất, biến đổi, tải) và các đường ống Adhoc. Một phần chính của dàn nhạc này được viết bằng Python. Nhóm này sử dụng một công cụ lập lịch chạy trên Máy tính xách tay Jupyter với máy nghiền giấy để tạo ra các loại công việc với các mẫu, ví dụ: , Sắp tới, v.v.
Ngoài ra, nhóm cũng đã tạo ra một nền tảng hướng sự kiện được xây dựng hoàn toàn trên Python. Họ đã tạo ra một số sự kiện và kết hợp nó thành một sự kiện duy nhất cho phép Netflix lọc, phản ứng và định tuyến các sự kiện. Pygenie cũng là một phần của cơ sở hạ tầng này giao diện với Genie (dịch vụ thực thi công việc nổi bật).
Thí nghiệm khoa học:
Đây là nền tảng do nhóm thử nghiệm khoa học tạo ra để cho phép Thử nghiệm A / B cùng với một số thí nghiệm khác. Tại đây, các nhà khoa học và kỹ sư có thể trình bày những cải tiến mới về dữ liệu, thống kê và hình ảnh hóa.
Con trăn điều đó được thực hiện ở đây là Repo số liệu dựa trên PyPika và cho phép viết các truy vấn tham số có thể sử dụng lại. Đối với lĩnh vực thống kê, PyArrow và RPy2 được sử dụng để tính toán thống kê trong Python hoặc R. Âm mưu giúp hình dung.
Mã hóa video / Kỹ thuật đám mây phương tiện:
Nhóm này chịu trách nhiệm mã hóa và mã hóa lại các tác vụ cho danh mục Netflix. Python được sử dụng khoảng 50 dự án như VMAF (Kết hợp Đánh giá Đa phương pháp Video) và MezzFS (Hệ thống tệp lửng), Giải pháp thị giác máy tính (giao dịch với hình ảnh) bằng cách sử dụng Người bắn cung , Vân vân.
Netflix Animation và NVFX:
Python tạo nền tảng cho tất cả Hoạt ảnh và Hiệu ứng hình ảnh (VFX) tại Netflix. Tất cả các liên minh Maya và Nuke đều được thực hiện trên Python.
cách cài đặt lý tưởng nhật thực
IS (Bảo mật thông tin):
Netflix sử dụng hệ thống IS hỗ trợ Python để tự động khắc phục, tự động hóa bảo mật, phân loại rủi ro, v.v. Dự án Python nguồn mở tích cực nhất của nhóm này là Khỉ an ninh . Netflix cũng sử dụng BAN PHƯỚC (Dịch vụ SSH của Bastion’s Lambda Ephemeral) B ả o V ệ SSH (Secure Shell) tài nguyên. RepoKid được sử dụng để cấp ĐÃ SẴN SÀNG quyền và chứng chỉ TLS được phân bổ thông qua Lemur. Cả hai tác vụ này chủ yếu dựa vào Python.
Giám sát và Tự động Khắc phục:
Nhóm này được gọi là nhóm Kỹ thuật Insight. Họ xây dựng và thực thi các công cụđể biết thông tin chi tiết về hoạt động, chẩn đoán, tự động khắc phục và thay đổi. Đối với hầu hết các dịch vụ của mình, nhóm này sử dụng Python, ví dụ như thư viện máy khách Spectator Python. Thư viện này được sử dụng để ghi lại chuỗi thời gian thứ nguyên. Cùng với các thư viện này, các sản phẩm như Winston và Bolt cũng được xây dựng trên các khung Python , Gunicorn và Flask-RestPlus.
Tổng hợp tất cả lại, người ta có thể dễ dàng khẳng định Python là động lực cho Netflix. Với điều này, chúng tôi đã đến phần cuối của blog này về “Cách Netflix sử dụng Python?”. Tôi hy vọng bạn rõ ràng tất cả những gì đã được thảo luận.
Để có kiến thức chuyên sâu về Python cùng với các ứng dụng khác nhau của nó, bạn có thể đăng ký tham gia trực tiếp với hỗ trợ 24/7 và truy cập trọn đời.
Có một câu hỏi cho chúng tôi? Vui lòng đề cập đến vấn đề này trong phần nhận xét của blog “Cách Python sử dụng Netflix” và chúng tôi sẽ liên hệ lại với bạn sớm nhất có thể.