NVIDIA L4 sẽ trở thành mẫu GPU cực kỳ phổ biến vì một lý do đơn giản: form-factor của nó. GPU NVIDIA Tesla T4 đã thành công vang dội khi nó xuất hiện. Nó cung cấp tính năng tensor core và dung lượng bộ nhớ lớn. Lý do thực sự cho sự thành công của Tesla T4 chính là form-factor của nó. T4 là card PCIe low-profile không yêu cầu cáp nguồn bổ sung. Nghĩa là nó rất dễ tích hợp vào hầu hết các máy chủ. Với thế hệ mới này, NVIDIA L4 có vẻ sẽ nối tiếp thành công đó.
GPU NVIDIA L4 mới ra mắt có hiệu suất gấp 4 lần Tesla T4 với cùng form-factor
NVIDIA L4 là GPU trung tâm dữ liệu của NVIDIA, dù có khoảng cách xa với các dòng GPU nhanh nhất của hãng. Dưới đây là thông số kỹ thuật chính của GPU mới:
Form Factor | L4 |
---|---|
FP32 | 30.3 teraFLOPs |
TF32 Tensor Core | 120 teraFLOPS* |
FP16 Tensor Core | 242 teraFLOPS* |
BFLOAT16 Tensor Core | 242 teraFLOPS* |
FP8 Tensor Core | 485 teraFLOPs* |
INT8 Tensor Core | 485 TOPs* |
GPU memory | 24GB |
GPU memory bandwidth | 300GB/s |
NVENC | NVDEC | JPEG decoders | 2 | 4 | 4 |
Max thermal design power (TDP) | 72W |
Form factor | 1-slot low-profile, PCIe |
Interconnect | PCIe Gen4 x16 64GB/s |
Mức công suất 72W là yếu tố quan trọng vì nó cho phép card được cấp nguồn qua khe cắm PCIe Gen4 x16 mà không cần cáp nguồn khác. Việc tìm nguồn phụ trong các máy chủ hỗ trợ nó rất dễ dàng, nhưng điều làm nên thành công của T4 là không đòi hỏi việc đó.
Hình ảnh render của NVIDIA L4 2
NVIDIA cũng đang đẩy mạnh hơn nữa các tính năng NVENC/NVDEC trên T4. NVIDIA thực hiện nâng cấp trên thế hệ này để hỗ trợ các tính năng như AV1. Điều đó sẽ rất quan trọng trong các quy trình công việc trong tương lai khi dữ liệu được tải lên, giải mã, áp dụng AI transformation và sau đó được mã hóa lại trong tương lai. Một trong những lợi ích chính khác của NVIDIA T4 đó là nó là một giải pháp tương đối dễ để bổ sung khả năng tăng tốc video encode/decode vào máy chủ.
Kết luận
Mặc dù đây có thể không phải là điểm nhấn về GPU lớn nhất của NVIDIA vì nó chỉ sử dụng mức điện năng thấp cùng với mức hiệu suất tương ứng, nếu so với NVIDIA H100. Nhưng đây vẫn là một sản phẩm quan trọng đối với công ty, nó là dòng GPU mọi lúc mọi nơi mà NVIDIA cung cấp ra thị trường.
Bài viết liên quan
- GPUDirect RDMA là gì?
- GPUDirect Storage là gì?
- Những lợi ích của việc chạy suy luận AI ngay tại biên, thay vì trong trung tâm dữ liệu
- Đánh giá GPU máy trạm: Nvidia RTX 6000 Ada Generation
- Hướng dẫn lựa chọn GPU phù hợp cho AI, Machine Learning
- So sánh các GPU Tensor Core của NVIDIA: B200, B100, H200, H100, A100