Sự thay đổi lớn trên mọi ngành công nghiệp đang được thúc đẩy bởi việc áp dụng các cảm biến IoT đang nở rộ trên toàn cầu, bao gồm camera để quan sát, micro để nghe và một loạt các thiết bị thông minh khác giúp doanh nghiệp nhận thức và hiểu những gì đang xảy ra trong thế giới thực.
Lượng dữ liệu được tạo ra ở rìa đang tăng theo cấp số nhân. Cách duy nhất để xử lý dữ liệu khổng lồ này trong thời gian thực là bằng cách đặt các máy chủ gần điểm hành động và bằng cách khai thác sức mạnh tính toán to lớn của GPU.
Trung tâm dữ liệu doanh nghiệp trong tương lai sẽ không có 10.000 máy chủ tại một địa điểm, nhưng một hoặc nhiều máy chủ trên 10.000 địa điểm khác nhau. Chúng sẽ nằm trong các tòa nhà văn phòng, nhà máy, nhà kho, tháp di động, trường học, cửa hàng và ngân hàng. Chúng sẽ phát hiện kẹt xe và cháy rừng, định tuyến giao thông an toàn và ngăn ngừa tội phạm.
Bằng cách đặt một mạng lưới các máy chủ phân tán, nơi dữ liệu được truyền từ hàng trăm cảm biến, doanh nghiệp có thể sử dụng thiết lập mạng của các trung tâm dữ liệu ở rìa để kích hoạt các phản ứng ngay tức thời với sự hỗ trợ của AI. Ngoài ra, bằng cách xử lý dữ liệu ở rìa, các mối lo ngại về quyền riêng tư được giảm nhẹ và các vấn đề liên quan đến chủ quyền dữ liệu được đặt ra.
Các máy chủ biên (edge server) thiếu cơ sở hạ tầng bảo mật vật lý mà IT doanh nghiệp được cấp. Và các công ty thiếu ngân sách để đầu tư vào đội ngũ nhân viên IT chuyên đi thực địa để quản lý các hệ thống từ xa này. Vì vậy, các máy chủ cạnh cần được thiết kế để tự bảo mật và dễ dàng cập nhật, quản lý và triển khai từ xa.
Thêm vào đó, các hệ thống AI cần phải được vận hành mọi lúc, với thời gian chết (downtime) bằng không.
NVIDIA đã xây dựng nền tảng NVIDIA EGX Edge AI để đảm bảo về bảo mật và khả năng phục hồi trên phạm vi toàn cầu. Bằng cách đơn giản hóa việc triển khai và quản lý, NVIDIA EGX cho phép các ứng dụng AI luôn ở trạng thái bật để tự động hóa cơ sở hạ tầng quan trọng trong tương lai. Nền tảng này là một nền tảng phần mềm có nguồn gốc Kubernetes và container mang nền tảng AI được tăng tốc bằng GPU đến với mọi thứ, từ máy chủ x86 dual-socket đến NVIDIA Jetson SoC dựa trên ARM.
Cho đến nay, có hơn 20 nhà cung cấp máy chủ xây dựng các máy chủ edge và micro-edge được hỗ trợ bởi EGX, bao gồm ADLINK, Eclech, Atos, AVerMedia, Cisco, Connect Tech, Dell Technologies , Diamond Systems, Fujitsu, Gigabyte, Hewlett Packard Enterprise, Inspur, Lenovo, Quanta Technologies và Supermicro. Cũng như hàng chục đối tác bảo mật mạng và đám mây lai trong hệ sinh thái cạnh biên NVIDIA, như Canonical, Check Point, Excelero, Guardicore, IBM, Nuage Networks, Nutanix, Palo Alto Networks, Rancher, Red Hat, VMware, Weka và Wind River.
Ngoài ra còn có hàng trăm ứng dụng AI và nhà cung cấp giải pháp tích hợp được xây dựng trên NVIDIA EGX để cung cấp các dịch vụ đặc thù theo ngành cho các doanh nghiệp trên toàn cầu.
Các doanh nghiệp vận hành nền tảng AI cần phải bảo vệ không chỉ dữ liệu khách hàng, mà cả các AI model giúp chuyển đổi dữ liệu thành hành động. Bằng cách kết hợp NVIDIA Mellanox SmartNIC, tiêu chuẩn công nghiệp để kết nối mạng hiệu suất cao, an toàn, với bộ xử lý AI thành NVIDIA EGX A100, một bộ xử lý tăng tốc hội tụ kết hợp, NVIDIA cho biết họ sẽ giới thiệu những cải tiến mới cơ bản cho AI ở ngoài rìa.
Tăng cường bảo mật và hiệu suất
Khởi động an toàn, được xác thực cho GPU và SmartNIC từ “root-of-trust” ở mức hardware đảm bảo firmware và vòng đời của thiết bị được quản lý an toàn. Công nghệ Tensor Core thế hệ thứ ba trong kiến trúc NVIDIA Ampere mang lại hiệu suất AI đầu ngành. Cụ thể với EGX A100, công cụ bảo mật GPU mới giúp nạp vào các mô hình AI được mã hóa và mã hóa tất cả các đầu ra từ AI, ngăn chặn các mối đe dọa về trộm cắp dữ liệu.
Khi điện toán biên dần xuất hiện các cảm biến có độ phân giải cao được mã hóa, SmartNIC hỗ trợ inline cryptographic acceleration ở tốc độ đường truyền. Điều này cho phép các nguồn cấp dữ liệu được mã hóa được giải mã và gửi trực tiếp vào bộ nhớ GPU, bỏ qua bộ nhớ CPU và hệ thống.
Các cạnh cũng đòi hỏi một mức độ bảo mật cao hơn để bảo vệ chống lại các mối đe dọa từ các thiết bị khác trên mạng. Với khả năng giảm tải cho tường lửa có thể cấu hình lại linh hoạt trong phần cứng, SmartNIC cung cấp hiệu quả tuyến phòng thủ đầu tiên cho đám mây lai, đảm bảo kết nối mạng lưới dịch vụ an toàn.
Công nghệ vận chuyển được kích hoạt theo thời gian của NVIDIA Mellanox cho các telco (5T cho 5G) đảm bảo các giải pháp thương mại có thể đáp ứng các trường hợp sử dụng nhạy cảm nhất với thời gian cho 5G vRAN với NVIDIA Aerial SDK. Điều này sẽ dẫn đến một làn sóng mới của CloudRAN trong ngành viễn thông.
Với GPU NVIDIA Ampere và Mellanox ConnectX-6 D trên một sản phẩm hội tụ, EGX A100 mang đến khả năng xử lý gói thông lượng cao, độ trễ thấp cho bảo mật và chức năng mạng ảo.
Triển khai đơn giản, quản lý và bảo mật ở quy mô
Thông qua NGC, danh mục các container được tối ưu hóa GPU của NVIDIA, chúng tôi cung cấp các application framework chuẩn công nghiệp và bộ công cụ AI chuyên dụng để đơn giản hóa việc bắt đầu và điều chỉnh các ứng dụng AI sang môi trường biên mới. Chúng có thể được sử dụng cùng nhau hoặc riêng lẻ và mở ra các khả năng mới cho nhiều trường hợp sử dụng ở vùng biên.
Và với NGC Private Registry, các ứng dụng có thể được ký trước khi xuất bản để đảm bảo chúng không bị giả mạo trong quá trình vận chuyển, sau đó được xác thực trước khi chạy ở rìa. NGC Private Registry cũng hỗ trợ phiên bản mô hình và mã hóa, vì vậy các cập nhật mô hình nhẹ có thể được gửi nhanh chóng và an toàn.
Tương lai của điện toán biên đòi hỏi các hệ thống an toàn, có thể mở rộng, linh hoạt, dễ quản lý của các hệ thống hỗ trợ cho AI hoạt động ở ngoài rìa mạng. Bằng cách kết hợp khả năng tăng tốc kết hợp của GPU NVIDIA và NVIDIA Mellanox SmartNIC cùng với NVIDIA EGX, NVIDIA đang xây dựng cả nền tảng và hệ sinh thái để tạo thành “hệ thống thần kinh” AI của mọi ngành công nghiệp trên toàn cầu.
Tìm hiểu thêm về NVIDIA EGX trong video chính của GTC 2020:
Nguồn NVIDIA Blog
Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).
Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?
Bài viết liên quan
- SOM – System On Module là gì?
- GPUDirect RDMA là gì?
- GPUDirect Storage là gì?
- So sánh các GPU Tensor Core của NVIDIA: B200, B100, H200, H100, A100
- NVIDIA giới thiệu nền tảng microservice Metropolis để chạy ứng dụng Edge AI trên Jetson
- Phát triển ứng dụng AI tại biên với NVIDIA Jetson AGX Orin & Developer Kit