NVIDIA giới thiệu nền tảng microservice Metropolis để chạy ứng dụng Edge AI trên Jetson

Xây dựng các ứng dụng AI thị giác (Vision AI) cho môi trường biên thường đi kèm với các chu kỳ phát triển tốn kém và dong dài. Đồng thời, việc phát triển nhanh chóng các ứng dụng AI biên (Edge AI) có tính năng thuần đám mây, linh hoạt và an toàn chưa bao giờ có tầm quan trọng như lúc này. Giờ đây, một quy trình phát triển AI biên mạnh mẽ nhưng đơn giản dựa vào API đã có sẵn với các vi dịch vụ (microservice) NVIDIA Metropolis mới.

NVIDIA Metropolis microservices là một bộ các building block tùy biến, thuần đám mây để phát triển các ứng dụng và giải pháp Vision AI. Bản phát hành này cung cấp một bộ API và microservice mở rộng trên nền tảng NVIDIA Jetson để đẩy nhanh hơn nữa quá trình phát triển và triển khai các ứng dụng AI thị giác tại biên. Các microservice Jetson mới này cho phép các nhà phát triển hiện đại hóa stack ứng dụng AI của họ, chuẩn hóa quy trình và bảo vệ các ứng dụng cho tương lai. Bạn có thể dễ dàng kết hợp những tiến bộ mới nhất về AI tạo sinh thông qua API và microservice như lưu trữ và quản lý video, pipeline cho nhận thức AI được xây dựng sẵn, thuật toán theo dõi, giám sát hệ thống, dịch vụ IoT để kết nối an toàn từ biên đến đám mây, v.v.

→ Tải xuống: NVIDIA Metropolis microservices for Jetson

Hình 1. Phát triển các ứng dụng AI biên nhanh hơn với các dịch vụ vi mô NVIDIA Metropolis

Điểm nổi bật của bản phát hành

Các ứng dụng AI biên sẵn sàng cho môi trường sản xuất đòi hỏi nhiều thành phần, bao gồm các mô hình AI, quy trình xử lý và suy luận được tối ưu hóa, logic kết dính, phương pháp bảo mật, kết nối đám mây, v.v. NVIDIA Metropolis microservices for Jetson chuẩn hóa quy trình phát triển ứng dụng bằng cách cung cấp các vi dịch vụ được xây dựng sẵn cho các thành phần phổ biến nhất bằng kiến trúc thuần đám mây, module hóa và có thể mở rộng.

Tính linh hoạt của nền tảng nâng cao hiệu quả phát triển, với các API tiêu chuẩn tích hợp liền mạch với các ứng dụng và dịch vụ khác. Nền tảng này cũng cung cấp các dịch vụ thiết yếu như IoT, bảo mật và giám sát, cung cấp các thành phần cốt lõi sẵn sàng sử dụng cho các ứng dụng cấp sản xuất.

Với quyền truy cập vào hơn 15 microservice trên Ứng dụng, Dịch vụ nền tảng và Dịch vụ đám mây, các nhà phát triển có thể tập trung vào việc xây dựng tài sản trí tuệ và tạo sự khác biệt trên thị trường. Các đối tác của NVIDIA đang kết hợp các NVIDIA Metropolis microservice vào các dịch vụ của họ, bao gồm AAEON, Aetina, Advantech, Allxon, CRG, CVEDIA, Namla, Rebotnix, RidgeRun, Seeed Studio và Silicon Highway. Nhiều dịch vụ khác được bổ sung hàng ngày.

Workflows và ứng dụng tham khảo

Hai ứng dụng tham khảo được bao gồm để giúp bạn bắt đầu với NVIDIA Metropolis microservices cho Jetson: NVR hỗ trợ bằng AI và ứng dụng AI tạo sinh với tính năng zero-shot detection. Các quy trình làm việc này cho thấy cách các microservices và API kết hợp với nhau để xây dựng các ứng dụng hoàn chỉnh từ thu thập video, suy luận AI, phân tích và giám sát đến kết nối an toàn với đám mây.

Network Video Recorder hỗ trợ bởi AI

Quy trình làm việc tham chiếu của Network Video Recorder hỗ trợ bởi AI (AI-NVR) tập hợp hầu hết các vi dịch vụ trong một ứng dụng toàn diện. Nó bao gồm:

Thu thập và lưu trữ video bằng vi dịch vụ Video Storage Toolkit (VST)
Phát hiện và theo dõi mọi người bằng dịch vụ AI Perception với NVIDIA DeepStream
Thông tin chi tiết và cảnh báo về Đường ranh giới và Khu vực quan tâm (ROI) bằng dịch vụ Analytics

Ứng dụng di động tham khảo Android được cung cấp để chứng minh việc sử dụng API để xây dựng ứng dụng khách hàng. Để tìm hiểu thêm, hãy xem danh sách phát NVIDIA On-Demand, AI-NVR sử dụng Metropolis Microservices cho Jetson. Hình 2. Kiến trúc ứng dụng đầu ghi hình mạng hỗ trợ AI (AI-NVR)

Zero-shot detection với Generative AI

Metropolis microservices for Jetson cho phép các nhà phát triển tạo nguyên mẫu và sản xuất các ứng dụng AI tạo sinh cho môi trường biên. Ứng dụng tham chiếu AI tạo sinh cho phép tính năng zero-shot dection cho dữ liệu phát trực tiếp. Các mô hình có thể phát hiện bất kỳ đối tượng nào được chỉ định bằng lời nhắc. Có thể đưa ra lời nhắc từ xa qua REST API tới dịch vụ AI Perception để thay đổi lớp động nhằm phát hiện. AI tạo sinh cho phép tạo ra một loại ứng dụng mới hỗ trợ bởi AI cho biên. Để tìm hiểu thêm về AI tạo sinh với các dịch vụ siêu nhỏ Metropolis, hãy xem Đưa AI tạo sinh vào biên với NVIDIA Metropolis Microservices cho Jetson. Hình 3. Ứng dụng tham chiếu AI tạo sinh để phát hiện đối tượng không cần bắn

Các Microservices và API mạnh mẽ

Metropolis microservices for Jetson là tập hợp các microservices và API giàu tính năng, bao gồm các dịch vụ ứng dụng, dịch vụ nền tảng và dịch vụ Board Support Package (BSP) và dịch vụ đám mây. Các microservices dạng module và có thể mở rộng giúp dễ dàng xây dựng các ứng dụng đám mây gốc hiện đại cho edge. Là một nhà phát triển, bạn có thể linh hoạt lựa chọn một, một số hoặc tất cả các dịch vụ tùy thuộc vào mức độ hoàn thiện của sản phẩm. Hình 4. Các dịch vụ siêu nhỏ Metropolis cho software stack Jetson

Application services

Bộ công cụ lưu trữ video: Dịch vụ thu thập và lưu trữ video
Dịch vụ AI Perception sử dụng NVIDIA DeepStream: Để suy luận AI, theo dõi đối tượng và tạo metadata
Dịch vụ AI Perception để phát hiện zero-shot: Để suy luận AI tạo ra với mô hình NanoOWL và nhắc nhở trực quan
Dịch vụ phân tích: Phân tích đếm đối tượng như đường cắt ngang, Vùng quan tâm và Trường nhìn

Platform services

Redis: Bus tin nhắn toàn cầu cho giao tiếp giữa các tiến trình
API Gateway: Ánh xạ các yêu cầu API đến các dịch vụ tiếp theo
Giám sát: Giám sát và trực quan hóa trạng thái thiết bị biên như mức sử dụng và KPI ứng dụng
IoT Gateway: Giao tiếp hai chiều an toàn giữa biên và đám mây

Cloud services

IoT Cloud: Tạo kết nối an toàn từ đám mây đến biên, bao gồm xác thực và ủy quyền

Tóm lược

Các vi dịch vụ NVIDIA Metropolis đẩy nhanh quá trình phát triển AI thị giác cho vùng biên, cung cấp các ứng dụng sẵn sàng sử dụng, có hơn 15 microservices cho các dịch vụ nền tảng, pixel perception, video storage, analytics, v.v.

Tải xuống các dịch vụ vi mô NVIDIA Metropolis cho Jetson.

Để tìm hiểu về các chi tiết kỹ thuật của Metropolis microservices for Jetson, hãy đọc Whitepaper NVIDIA Metropolis Microservices for Jetson.

Để biết hướng dẫn về cách xây dựng ứng dụng bằng Metropolis API, hãy xem Xây dựng ứng dụng AI Vision tại Edge với NVIDIA Metropolis Microservices và API . Để tìm hiểu thêm, hãy đăng ký tham gia hội thảo trực tuyến gồm hai phần, Tăng tốc phát triển AI tại Edge bằng Metropolis API và Microservices cho Jetson (Phần 1) và Cách xây dựng bằng Metropolis Microservices cho Jetson (Phần 2).

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

____
Bài viết liên quan