Đánh giá GPU NVIDIA L4 24GB - Mẫu GPU suy luận AI đa năng - Blog

Ở bài đánh giá này chúng tôi sẽ giới thiệu đến bạn một mẫu GPU thú vị, NVIDIA L4. Mặc dù không phải là GPU mạnh nhất của NVIDIA nhưng L4 sẽ là một chiếc card GPU phổ biến trong thời gian tới. Chúng tôi nghĩ đến điều này vì đây thực sự là một phiên bản cập nhật cho mẫu GPU được biết đến rất nhiều trong lĩnh vực AI, NVIDIA Tesla T4 (khi đó nó vẫn còn mang cái tên “Tesla”). NVIDIA T4 đã cực kỳ phổ biến và chúng tôi hy vọng L4 cũng sẽ tương tự như vậy.

Trước khi bắt đầu đi sâu, chúng tôi muốn gửi lời cảm ơn đến hãng PNY vì đã đặt sản phẩm “trên tay” chúng tôi để thực hiện bài đánh giá này. GPU NVIDIA rất phổ biến và PNY là đối tác quan trọng của NVIDIA về các dòng GPU chuyên nghiệp.

Tổng quan về NVIDIA L4 24GB

NVIDIA L4 là GPU cấu hình low-profile, có chiều cao chuẩn “một nửa” (half-height GPU). Đó có lẽ là thông số quan trọng nhất của card vì nó cho phép chiếc card được lắp vào tất cả các loại máy chủ phổ biến nhất.

NVIDIA L4, mặt giao tiếp hướng lên

Tấm ốp backplate là một yếu tố nhỏ nhưng quan trọng khác. Chúng thường được lắp vào các riser đã được tháo ra cho việc bảo trì. Việc có tấm ốp sẽ giúp đảm bảo card được an toàn trong quá trình sử dụng.

Mặt sau NVIDIA L4

Với các thiết kế từ thế hệ Ampere về sau, hộp vỏ màu vàng đồng rất dễ nhận ra. Tính năng làm mát thụ động trên card có công suất thấp hơn cũng giúp đảm bảo nó có thể được sử dụng trong nhiều hệ thống vì nó chỉ cần tận dụng luồng khí bên trong khung máy.

NVIDIA L4 mặt nghiêng

Vì đây là GPU được thiết kế chủ yếu cho suy luận AI (mặc dù có một số ứng dụng GPU của trung tâm dữ liệu khác mà nó phục vụ), nên sẽ không có cổng xuất hình ảnh. Vì các card này được lắp dày đặc trong các máy chủ do kích thước nhỏ nên việc có nhiều đầu ra hiển thị hơn có thể là một vấn đề trong một số hệ điều hành như chúng tôi đã nhận thấy cách đây nhiều năm khi thực hiện các hệ thống có 8x GPU.

Mặt trước khoang PCIe của NVIDIA L4

Thiết kế mới có dãy lưới thông gió ở mặt trước của card. Một thứ không còn thấy đó là đầu nối nguồn GPU. Nó chỉ được cấp nguồn bằng khe cắm PCIe, và cũng là một đặc điểm khác giúp kiểu GPU này có thể dễ dàng tích hợp vào nhiều loại máy chủ khác nhau.

Mặt sau NVIDIA L4

Tiếp theo, do mức độ phổ biến của NVIDIA (Tesla) T4, chúng tôi muốn so sánh nhanh để bạn có thể thấy sự khác biệt do đặc trưng chính là để dễ dàng tích hợp vào máy chủ.

NVIDIA L4 và T4 nằm cạnh nhau

Đây là hai chiếc card. Chúng tôi không có sẵn T4 với định dạng thấp (low-profile bracket). Bracket dạng thấp hầu như chỉ được lắp đặt cho các máy chủ trong trung tâm dữ liệu.

NVIDIA L4 và NVIDIA T4 – Mặt trước

Dưới đây là mặt sau của chúng. Chúng ta có thể thấy NVIDIA L4 có phần nhãn thương hiệu NVIDIA ít hơn nhiều so với cụm từ “NVIDIA Tesla T4” trên mẫu cũ.

NVIDIA L4 và NVIDIA T4 – Mặt sau

Cả hai đều có kích thước tương tự nhau, tuy nhiên, đường gân trên L4 dường như khiến mặt trước của thẻ rộng hơn một chút.

NVIDIA L4 và NVIDIA T4 Mặt trận 1

Bên dưới là góc nhìn vào khe thoát luồng khí. Có thể thấy rằng, mẫu card mới có giải pháp tản nhiệt đã được cải tiến.

NVIDIA L4 và NVIDIA T4 – Mặt sau

Tiếp theo, chúng ta hãy tìm hiểu các thông số kỹ thuật chính, sau đó là về hiệu suất và sức mạnh của chúng.

Thông số chính của NVIDIA L4

NVIDIA L4 là GPU dành cho trung tâm dữ liệu của NVIDIA, nhưng nó vẫn còn khoảng cách xa với GPU nhanh nhất của hãng. Dưới đây là thông số kỹ thuật chính của GPU mới:


GPU	NVIDIA L4
FP32	30.3 teraFLOPs
TF32 Tensor Core	120 teraFLOPS*
FP16 Tensor Core	242 teraFLOPS*
BFLOAT16 Tensor Core	242 teraFLOPS*
FP8 Tensor Core	485 teraFLOPs*
INT8 Tensor Core	485 TOPs*
GPU memory	24GB
GPU memory bandwidth	300GB/s
NVENC \| NVDEC \| JPEG decoders	2 \| 4 \| 4
Max thermal design power (TDP)	72W
Form factor	1-slot low-profile, PCIe
Interconnect	PCIe Gen4 x16 64GB/s

72W rất quan trọng vì nó cho phép card được cấp nguồn bằng khe cắm PCIe Gen4 x16 mà không cần cáp nguồn bổ sung. Việc tìm kiếm nguồn điện phụ trong các máy chủ có hỗ trợ nó không phải quá khó, nhưng điều làm nên thành công của T4 chính là… không yêu cầu điều đó!

Kết quả từ nvidia-smi của NVIDIA L4

Đây là một ví dụ nhanh về thông số của NVIDIA L4 qua kết quả từ nvidia-smi.

NVIDIA L4 Nvidia Smi output example

Chúng tôi biết sẽ có nhiều người thích điều này.

Hiệu suất NVIDIA L4

Ở L4, chúng tôi đã lấy các container để chạy một số tải xử lý “kiểu” MLPerf 3.0. Đây không phải là nội dung gửi chính thức nhưng đây là những gì chúng tôi thấy khi cố gắng sao chép những gì các nhà cung cấp máy chủ đã trình bày.

Hiệu suất NVIDIA L4

Một lần nữa, về mặt định hướng, chúng tôi thấy giống nhau về mức độ cải thiện giữa hai thế hệ, T4 và L4. Mặc dù các giá trị chính xác thì khác nhau, nhưng những dẫn chứng đơn giản của chúng tôi cho thấy L4 có sự cải thiện hiệu suất ở mức gấp 2-3 lần so với phiên bản cũ T4. Điều thú vị là các dòng CPU trung tâm dữ liệu đang tăng hiệu suất suy luận AI với tốc độ nhanh hơn mức này, nhưng GPU vẫn có một vị trí quan trọng trong suy luận AI, vì người ta có thể chỉ cần thêm card để mở rộng quy mô (scale out).

Mức tiêu thụ điện năng của NVIDIA L4

Về mức tiêu thụ điện năng, chúng tôi đang sử dụng mức tiêu thụ điện năng thông thường trong khoảng 50-65W. Chúng tôi thấy nvidia-smi sử dụng vượt qua mức 70W nhưng đó là chưa sử dụng hết bộ nhớ GPU, nên có thể vẫn còn nhiều hơn một tí. Bảng thông số kỹ thuật cho biết card có thể hoạt động ở mức 72W. Chúng tôi nói 75W chỉ để giữ an toàn.

Mặt trước NVIDIA L4

Mức tiêu thụ điện năng dưới 75W cho phép chiếc card được cấp nguồn từ khe cắm PCIe. Điều đó cũng có nghĩa là nó hoàn toàn có thể phù hợp với các cấu hình máy chủ mà không cần phải tăng quạt trong chassis để làm mát, cũng như nguồn điện bổ sung.

Lời kết

Mặc dù hiện tại phần lớn sự tập trung của dư luận là dồn vào sức mạnh của NVIDIA H100 và suy luận Generative AI ở quy mô lớn, nhưng thị trường suy luận AI hiện đã và đang phát triển nhanh chóng trong các máy chủ đa mục đích phổ biến. NVIDIA L4 là vũ khí bí mật của NVIDIA cho phép các tổ chức bổ sung phần cứng hỗ trợ CUDA vào hầu hết mọi máy chủ, ngay cả những máy chủ nhỏ hướng đến rìa mạng, edge.

NVIDIA L4 và NVIDIA T4 – Mặt trước

NVIDIA T4 là một mẫu card đã rất phổ biến và chúng tôi hy vọng NVIDIA L4 cũng sẽ như vậy, đặc biệt là với môi trường dành cho phần cứng AI.

Một lần nữa xin cảm ơn PNY vì đã giúp chúng tôi có được sản phẩm trong để thực hiện bài đánh giá.

Nguồn STH

____
Bài viết liên quan