Một trong những thông tin nổi bật tại sự kiện GTC vào năm 2021 là sự xuất hiện của GPU NVIDIA A2, dòng GPU low-profile nhưng có khả năng mang lại hiệu suất suy luận cao hơn 20 lần so với CPU, tối ưu hóa sử dụng cho các hệ thống suy luận AI có ít không gian và yêu cầu sự linh hoạt. NVIDIA A2 cũng được xem là sản phẩm kế thừa của mẫu GPU đình đám NVIDIA Tesla T4.
Xử lý suy luận linh hoạt với chi phí thấp
GPU NVIDIA A2 Tensor Core cung cấp khả năng suy luận cấp độ đầu vào với công suất thấp và hiệu suất cao cho NVIDIA AI ở biên. Với thiết kế PCIe Gen4 low-profile và công suất thiết kế (TDP) chỉ từ 40-60W, A2 mang đến khả năng tăng tốc suy luận linh hoạt cho bất kỳ máy chủ hay thiết bị biên nào cho mục đích triển khai trên quy mô lớn.
Tính linh hoạt, kích thước nhỏ gọn và công suất thấp của A2 vượt quá nhu cầu triển khai cạnh trên quy mô lớn, ngay lập tức nâng cấp các máy chủ CPU cấp thấp hiện có để xử lý suy luận. Máy chủ được tăng tốc với GPU A2 mang lại hiệu suất suy luận cao hơn so với CPU và triển khai phân tích video thông minh (IVA) hiệu quả hơn so với các GPU thế hệ trước
Năng lực suy luận tăng 20 lần
Khả năng suy luận của AI được tạo ra để nâng cao trải nghiệm của người dùng với tính thông minh, thời gian thực và thông tin nắm bắt được trích xuất từ hàng nghìn tỷ cảm biến, máy ảnh đầu cuối. So với các máy chủ chỉ sử dụng CPU, các máy chủ Egde Server với GPU NVIDIA A2 Tensor Core có thể cung cấp hiệu suất suy luận cao hơn gấp 20 lần, ngay lập tức nâng cấp sức mạnh để xử lý AI hiện đại cho bất kỳ máy chủ nào.
Hiệu năng cao hơn cho phân tích video thông minh ngay tại biên (Edge)
Máy chủ được trang bị GPU NVIDIA A2 cung cấp hiệu suất cao hơn gấp 1,3 lần trong các ứng dụng thông minh, bao gồm smart city, sản xuất và bán lẻ. GPU NVIDIA A2 sử dụng cho tải xử lý IVA (Intelligent Video Analytics) mang lại khả năng triển khai hiệu quả hơn tới 1,6 lần và hiệu suất tiết kiệm điện năng tốt hơn 10% so với các thế hệ GPU trước.
Tối ưu cho mọi loại máy chủ
NVIDIA A2 là một card PCIe cấu hình thấp và tiêu thụ năng lượng thấp. Cụ thể TDP chỉ từ 40-60W. Giao diện cũng là PCIe Gen4 x8, rất dễ lắp vào máy chủ và đơn giản trong cấp nguồn và làm mát.
Một trong những đột phá lớn nhất của NVIDIA T4 là nó có thể được bố trí vật lý vào những nơi thường dành cho NIC và các thiết bị cấu hình thấp khác. Điều này giúp cải thiện luồng không khí trong khung gầm và giảm yêu cầu hệ thống để có thể tích hợp A2.
NVIDIA A2 được tối ưu hóa cho khối lượng công việc suy luận và triển khai trong các máy chủ cấp đầu vào bị hạn chế bởi các yêu cầu về không gian và nhiệt, chẳng hạn như cạnh 5G và môi trường công nghiệp.
Nhìn chung, đây là một bước tiến tốt của NVIDIA, với NVIDIA A2 cùng kiến trúc Ampere, giờ đây các hệ thống suy luận AI của khách hàng sẽ được cải tiến mạnh mẽ hơn về hiệu suất, tốt hơn các GPU suy luận thế hệ trước đây, với một mức chi phí hợp lý và dễ dàng lắp đặt trên các GPU Server hiện nay.
Thông số kỹ thuật chính của NVIDIA A2
Dưới đây là các thông số kỹ thuật chính của NVIDIA A2:
| Peak FP32 | 4.5 TF | |
| TF32 Tensor Core | 9 TF | 18 TF¹ | |
| BFLOAT16 Tensor Core | 18 TF | 36 TF¹ | |
| Peak FP16 Tensor Core | 18 TF | 36 TF¹ | |
| Peak INT8 Tensor Core | 36 TOPS | 72 TOPS¹ | |
| Peak INT4 Tensor Core | 72 TOPS | 144 TOPS¹ | |
| RT Cores | 10 | |
| Media engines | 1 video encoder 2 video decoders (includes AV1 decode) |
|
| GPU memory | 16GB GDDR6 | |
| GPU memory bandwidth | 200GB/s | |
| Interconnect | PCIe Gen4 x8 | |
| Form factor | 1-slot, low-profile PCIe | |
| Max thermal design power (TDP) | 40–60W (configurable) | |
| Virtual GPU (vGPU) software support² | NVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS) | |
Các thông số tổng hợp từ TechPowerUp
GPU NVIDIA Ampere A2 16GB GDDR6 PCIe 4.0
Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).
Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?
Bài viết liên quan