Thử so sánh máy tính DGX Spark và một PC cấu hình cao với GPU RTX 5080

So sánh cấu hình và hiệu năng: NVIDIA DGX Spark vs PC lắp ráp cao cấp (CPU 16-20 lõi, RAM 128GB DDR5, SSD NVMe 4TB, GPU RTX 5080)

NVIDIA DGX Spark GB10

PC 20-cores CPU, 128GB RAM, RTX 5080

Best Graphic Designing Workstations in 2024
  • NVIDIA DGX Spark là một siêu máy tính AI để bàn được xây dựng có mục đích trong việc đào tạo và suy luận các mô hình AI tạo sinh quy mô vừa đến lớn nhờ chip NVIDIA GB10 Grace Blackwell và Bộ nhớ hợp nhất (128 GB of Coherent Unified System Memory)
  • Đối với việc nghiên cứu và phát triển AI chuyên sâu tập trung vào các mô hình ngôn ngữ lớn (LLM) và đào tạo AI phức tạp, NVIDIA DGX Spark cung cấp một nền tảng được tối ưu hóa và hiệu quả hơn đáng kể.
  • Máy tính lắp ráp, với card đồ họa NVIDIA RTX 5080, CPU có số lõi cao, RAM 128GB DDR5 và SSD NVMe 4TB, là một cỗ máy đa năng mạnh mẽ cho chơi game đỉnh cao, xử lý đồ họa chuyên nghiệp và các tác vụ AI ở cấp độ người dùng cuối.
  • Đối với người dùng ưu tiên cho giải trí chơi game (A – AAA), tạo nội dung và đặc biệt thiết kế 3D, PC lắp ráp mang lại tính linh hoạt cao hơn về linh kiện và tối ưu hóa về chất lượng xử lý hình ảnh thời gian thực.

NVIDIA DGX Spark: Hiệu suất tối ưu cho phát triển AI

NVIDIA DGX Spark được xác định rõ ràng là một “PC dành cho nhà phát triển AI”. Nó được cung cấp bởi kiến trúc NVIDIA Grace Blackwell và một bộ phần mềm AI NVIDIA được cấu hình sẵn. Với các lợi thế chính bao gồm:

NVIDIA GB10 Superchip: DGX Spark cung cấp tới 1 PetaFLOP (1.000 AI TOPS) hiệu suất chính xácFP4. Tăng gấp đôi thông lượng hiệu quả và kích thước mô hình trong khi vẫn duy trì độ chính xác thông qua “Micro-tensor scaling”. Điều này được thiết kế đặc biệt để tăng tốc đào tạo và suy luận LLM.

Bộ nhớ hợp nhất (128GB LPDDR5x): Đây là một yếu tố thay đổi cuộc chơi đối với các mô hình AI lớn, vì nó cho phép CPU và GPU truy cập cùng một bộ nhớ với băng thông cực cao (900 GB/s qua NVLink-C2C). Điều này loại bỏ nhu cầu truyền dữ liệu liên tục qua PCIe, vốn là một nút thắt cổ chai đáng kể đối với các mô hình lớn vượt quá VRAM của GPU rời. DGX Spark có thể hỗ trợ các mô hình lên đến 200 tỷ tham số và tinh chỉnh lên đến 70 tỷ tham số.

NVIDIA AI Software Stack: Tích hợp sẵn công cụ toàn diện NVIDIA AI (bao gồm các tools, frameworks, libraries, and pretrained models) cho việc phát triển AI. Các phần mềm và công cụ có sẵn bao gồm NVIDIA RAPIDS™, NVIDIA NIM và các mô hình NVIDIA Llama Nemotron để suy luận, NVIDIA AI-Q Blueprint và AgentIQ Toolkit, nền tảng điều phối AI NVIDIA Run:ai…

NVIDIA ConnectX Networking: Điều khác biệt so với máy tính lắp ráp là mạng NVIDIA Connect-X hiệu suất cao cho phép kết nối 2 (hai) hệ thống NVIDIA DGX Spark với nhau để làm việc với các mô hình AI lên tới 405 tỷ tham số.

NVIDIA DGX Spark không được thiết kế để chơi game. Superchip Grace Blackwell của nó được tối ưu hóa cho khối lượng công việc AI, không phải kết xuất 3D thời gian thực cho giải trí. Mặc dù có thể kết xuất hình ảnh, nhưng kiến trúc cơ bản và bộ phần mềm tích hợp của nó không hướng đến hiệu suất chơi game và tối ưu hóa DirectX. Hệ thống này hoàn toàn không phù hợp cho trường hợp sử dụng chính là chơi game vì hiệu năng P/P (Performance per price) không như kỳ vọng.

PC lắp ráp (với GPU RTX 5080)

NVIDIA RTX 5080 sẽ mang lại hiệu suất chơi game đặc biệt ở độ phân giải 4K với khả năng làm mới (Refresh rate) & FPS cao. Với lựa chọn này, sẽ đáp ứng tốt cho khối lượng công việc đồ họa chuyên nghiệp, bao gồm kết xuất 3D, chỉnh sửa video và các ứng dụng CAD tận dụng lõi CUDA và RT, hơn nữa cũng phù hợp cho các tác vụ AI tạo sinh cấp độ người tiêu dùng như Stable Diffusion, Video Veo3…

CUDA Cores & VRAM: Là 10.752 (so với 10.240 trên 4080 SUPER) và bộ nhớ 16GB GDDR7 nhanh hơn (960 GB/s so với 736 GB/s) là “đủ chiến” hết đại đa số các game A > AAA trên thị trường hiện nay.

Tensor Cores (AI) & Ray Tracing Cores: Lần lượt 1801 AI TOPS & 171 TFLOPS, thông số này hết sức ấn tượng với một GPU dành cho người dùng cá nhân, với việc Ray Tracing cores cao hơn so với thế hệ cũ cho phép xử lý hình ảnh tốc độ nhanh hơn và mượt hơn. Nhưng với nhân Tensor (AI) thì thoạt nhìn con số này có vẻ cao hơn rất nhiều so với Superchip GB10 về hiệu năng tính toán khi lên đến 1801 AI TOPS, tuy nhiên điểm yếu cố hữu vẫn là dung lượng bộ nhớ VRAM chỉ 16GB.

  • Dẫn đến việc sử dụng GPU RTX5080 cho các tác vụ liên quan đến mô hình AI trên 70B tham số là vô cùng khó. Khuyến khích nên dừng ở các mô hình từ 7-13B tham số.
  • So với DGX Spark sở hữu Superchip GB10 có khả năng làm việc với các mô hình AI trên 200B tham số thì lại là một chênh lệch rất lớn về tổng hiệu suất.

Nâng cấp: Tất nhiên với kiến trúc mới Blackwell thì GPU RTX5080 có sự nâng cấp thế hệ tổng thể về API đồ họa (DirectX, Vulkan), tối ưu hóa trình điều khiển và các tính năng GPU (đơn vị rasterization, đơn vị ánh xạ kết cấu)… Kèm theo khả năng encoding với NVENC/DNC cũng thay đổi đáng kể, đặc biệt là khả năng NVDNC tăng 2 lần so với thế hệ RTX 4080 trước đó.

Cấu hình của PC trang bị RTX 5080 dùng để so sánh

So sánh hiệu năng

Về khả năng hỗ trợ mô hình AI, kiến trúc bộ nhớ hợp nhất của DGX Spark cho phép nó xử lý các mô hình AI lớn hơn gấp nhiều lần so với giới hạn VRAM của RTX 5080.

Khả năng hỗ trợ mô hình AI (tỷ tham số)

DGX Spark có sức mạnh tính toán được tối ưu hóa hoàn hảo với bộ nhớ khổng lồ với 1000 AI TOPS (FP4). Trong khi đó, PC trang bị RTX 5080 cho cũng sức mạnh tính toán cao với 1801 AI TOPS (Tensor Core), nhưng bị giới hạn bởi dung lượng VRAM 16GB.

Về hiệu năng theo các ứng dụng khác nhau, biểu đồ sau cho thấy PC RTX 5080 vượt trội trong các tác vụ giải trí và sáng tạo, trong khi DGX Spark chỉ tập trung vào một mục tiêu duy nhất: Đào tạo AI quy mô lớn.

Biểu đồ so sánh hiệu năng theo ứng dụng

Kết luận và khuyến nghị

Giá dự kiến cho NVIDIA DGX Spark được công bố là khoảng 3.700 USD. Một số nguồn tin khác cho thấy giá có thể lên tới 4.599 USD (tùy phiên bản bộ nhớ)

Việc lựa chọn giữa NVIDIA DGX Spark và một PC lắp ráp cao cấp phụ thuộc hoàn toàn vào mục đích sử dụng chính và các ưu tiên của người dùng.

Cho việc phát triển và nghiên cứu AI: Nếu mục tiêu chính là nghiên cứu, phát triển và triển khai các mô hình AI tạo sinh quy mô lớn (ví dụ: LLM với hàng trăm tỷ tham số), NVIDIA DGX Spark là lựa chọn vượt trội. Khả năng bộ nhớ hợp nhất và tối ưu hóa kiến trúc của nó cho AI khiến PC lắp ráp không thể so sánh được trong lĩnh vực này.

Đối với game thủ, sáng tạo nội dung: Nếu ưu tiên là chơi game đỉnh cao ở mức thiết lập 4K, kết xuất đồ họa 3D, chỉnh sửa video và các tác vụ tính toán hiệu suất cao đa năng, với khả năng AI mạnh mẽ cho các mô hình nhỏ hoặc vừa, thì PC lắp ráp cao cấp là lựa chọn tối ưu. Nó mang lại sự cân bằng tốt hơn về hiệu suất, tính linh hoạt và giá trị cho nhiều ứng dụng tiêu dùng và chuyên nghiệp.

____
Bài viết liên quan
Góp ý / Liên hệ tác giả