Với sự ra mắt của kiến trúc Ampere và bộ tăng tốc A100 mới, chỉ sau một tháng, NVIDIA cũng đã công bố phiên bản PCIe của bộ tăng tốc này để bắt đầu cho sự kiện ảo ISC Digital. Phiên bản “đóng hộp” thẳng thốn hơn so với dạng SXM4 chuyên dụng của NVIDIA, phiên bản PCie của A100 được thiết kế để cung cấp các GPU A100 theo giao tiếp PCIe truyền thống, đáp ứng những khách hàng chỉ cần cắm vào máy chủ thiết kế tiêu chuẩn. Nhìn chung, A100 PCIe cung cấp hiệu năng cao nhất tương tự như SXM4 A100, tuy nhiên với TDP 250 watt thấp hơn, hiệu suất trong trong thực tế sẽ không cao bằng.
Là dòng sản phẩm cơ bản không thể thiếu, song song với bộ tăng tốc dạng SXM của NVIDIA, bộ tăng tốc PCIe của NVIDIA được tạo ra để hoàn chỉnh danh mục sản phẩm tăng tốc GPU của NVIDIA. Trong khi NVIDIA sẵn sàng cung cấp các bộ tăng tốc dựa trên SXM – bao gồm cả các nền tảng NVIDIA HGX – vẫn có rất nhiều khách hàng cần sử dụng bộ tăng tốc GPU trong các máy chủ rackmount dựa trên giao tiếp PCIe tiêu chuẩn. Hoặc đối với các workload nhỏ hơn, khách hàng không cần đến các carrier board HGX có đến 4 socket cho các GPU A100 dạng SXM. Vì vậy, với card PCIe, NVIDIA có thể phục vụ phần còn lại của thị trường GPU mà các sản phẩm SXM của họ không thể tiếp cận.
Card GPU A100 PCIe chính là kiến trúc A100 hoàn chỉnh, chỉ khác là nằm trong một form-factor khác và với TDP phù hợp hơn. Về hiệu năng đỉnh, A100 PCIe cũng sẽ nhanh tương đương phiên bản SXM4 của nó; NVIDIA lần này không cung cấp cấu hình cắt giảm với tốc độ xung nhịp thấp hơn hoặc ít khối chức năng hơn so với phiên bản SXM4 flagship. Do đó, phiên bản PCIe mang tất cả mọi thứ mà A100 cung cấp vào bên trong nó, với cùng trọng tâm tập trung vào các tensor operations, bao gồm các định dạng TF32 và FP64 có độ chính xác cao hơn, cũng như suy luận số nguyên nhanh hơn.
Bảng so sánh thông số kỹ thuật các bộ tăng tốc NVIDIA
| A100 (PCIe) |
A100 (SXM4) |
V100 (PCIe) |
P100 (PCIe) |
|
| FP32 CUDA Cores | 6912 | 6912 | 5120 | 3584 |
| Boost Clock | 1.41GHz | 1.41GHz | 1.38GHz | 1.3GHz |
| Memory Clock | 2.4Gbps HBM2 | 2.4Gbps HBM2 | 1.75Gbps HBM2 | 1.4Gbps HBM2 |
| Memory Bus Width | 5120-bit | 5120-bit | 4096-bit | 4096-bit |
| Memory Bandwidth | 1.6TB/sec | 1.6TB/sec | 900GB/sec | 720GB/sec |
| VRAM | 40GB | 40GB | 16GB/32GB | 16GB |
| Single Precision | 19.5 TFLOPs | 19.5 TFLOPs | 14.1 TFLOPs | 9.3 TFLOPs |
| Double Precision | 9.7 TFLOPs (1/2 FP32 rate) |
9.7 TFLOPs (1/2 FP32 rate) |
7 TFLOPs (1/2 FP32 rate) |
4.7 TFLOPs (1/2 FP32 rate) |
| INT8 Tensor | 624 TOPs | 624 TOPs | N/A | N/A |
| FP16 Tensor | 312 TFLOPs | 312 TFLOPs | 112 TFLOPs | N/A |
| TF32 Tensor | 156 TFLOPs | 156 TFLOPs | N/A | N/A |
| Relative Performance (SXM Version) | 90% | 100% | N/A | N/A |
| Interconnect | NVLink 3 6 Links? (300GB/sec?) |
NVLink 3 12 Links (600GB/sec) |
NVLink 2 4 Links (200GB/sec) |
NVLink 1 4 Links (160GB/sec) |
| GPU | GA100 (826mm2) |
GA100 (826mm2) |
GV100 (815mm2) |
GP100 (610mm2) |
| Transistor Count | 54.2B | 54.2B | 21.1B | 15.3B |
| TDP | 250W | 400W | 250W | 300W |
| Manufacturing Process | TSMC 7N | TSMC 7N | TSMC 12nm FFN | TSMC 16nm FinFET |
| Interface | PCIe 4.0 | SXM4 | PCIe 3.0 | SXM |
| Architecture | Ampere | Ampere | Volta | Pascal |
Do card PCIe kích thước double-width được thiết kế cho các sản phẩm TDP thấp hơn, nó để lại ít không gian hơn để làm mát và thường bị giới hạn về nguồn điện hơn, phiên bản PCIe của A100 phải giảm TDP từ 400W xuống 250W. Đó là mức giảm tiêu thụ năng lượng đáng kể 38%, và do đó, A100 PCIe sẽ không thể phù hợp với các con số hiệu suất như trên phiên bản SXM4 – đó là lợi thế của việc sử dụng form-factor được hỗ trợ về nguồn điện và làm mát cao hơn. Và như những gì đã đề cập, phiên bản PCIe của A100 sẽ cung cấp khoảng 90% hiệu suất so với phiên bản SXM4 trên workload GPU đơn, do TDP giảm mạnh, không phải là một sự đánh đổi tồi.
Khác với sự thay đổi ở form-factor và TDP, chỉ có khác biệt đáng chú ý khác cho A100 PCIe so với phiên bản SXM là số GPU có khả năng kết nối NVLink được hỗ trợ. Đối với card PCIe của họ, NVIDIA một lần nữa sử dụng các cầu nối NVLink để kết nối qua phía trên của các card A100, cho phép hai (và chỉ hai) card được liên kết với nhau. Bảng sản phẩm của NVIDIA không liệt kê tổng băng thông khả dụng, nhưng vì PCIe V100 hỗ trợ lên đến 100GB/s theo mỗi hướng bằng hai liên kết, A100 PCIe và 3 NVLink connector của nó có thể đạt 150GB/s, hoặc có thể cao hơn.
Mặt khác, A100 PCIe đi kèm với các chi tiết thông thường của dạng card PCIe. Card được làm mát hoàn toàn thụ động (passive), được thiết kế để sử dụng với các máy chủ có quạt thổi luồng mạnh mẽ. Và mặc dù không được mô tả trong các bức ảnh chính thức của NVIDIA, có các socket cho các đầu nối nguồn PCIe. Trong khi đó, với việc hạn chế sử dụng NVLink trong phiên bản card này, hỗ trợ PCIe 4.0 native của A100 chắc chắn sẽ có tầm quan trọng tăng thêm ở đây, nhấn mạnh lợi thế mà việc phối ghép AMD EPYC + NVIDIA A100 có sẵn hiện nay, vì AMD là nhà cung cấp máy chủ x86 duy nhất có hỗ trợ cho PCIe 4.0.
Để tổng kết lại, trong khi NVIDIA không công bố thông tin cụ thể về giá cả hoặc thời điểm bán ra, card A100 PCIe mới sẽ sớm được cung cấp ra thị trường. Khả năng tương thích rộng hơn của card PCIe đã giúp NVIDIA thâm nhập đến hơn 50 vendor máy chủ tại thời điểm này, với 30 trong số các máy chủ đó sẽ được bán ra vào mùa hè này.
Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).
Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?
Bài viết liên quan
- GPUDirect RDMA là gì?
- GPUDirect Storage là gì?
- Đánh giá GPU máy trạm: Nvidia RTX 6000 Ada Generation
- Hướng dẫn lựa chọn GPU phù hợp cho AI, Machine Learning
- So sánh các GPU Tensor Core của NVIDIA: B200, B100, H200, H100, A100
- NVIDIA giới thiệu nền tảng microservice Metropolis để chạy ứng dụng Edge AI trên Jetson