Giới thiệu
Tại Computex 2025 vào tháng 5 vừa qua, NVIDIA đã cho ra mắt một công nghệ rất thú vị dành cho kiến trúc máy chủ GPU PCIe truyền thống. CEO Jensen Huang của NVIDIA đã giới thiệu về thế hệ server rack NVIDIA RTX PRO™ với công nghệ mà họ gọi là NVIDIA ConnectX™-8 SuperNIC™ Switch. Về cơ bản, đây là một backplane cho GPU với các lane PCIe chuyên dụng được tích hợp sẵn mạng NVIDIA ConnectX-8. Các lane chuyên dụng, switch PCIe và kết nối mạng hoàn toàn không cần phụ thuộc vào CPU, giúp cải thiện đáng kể giao tiếp GPU-to-GPU giữa các node với nhau.
Bộ chuyển mạch NVIDIA ConnectX-8 SuperNIC sẽ là một thành phần trên dòng máy chủ MGX của NVIDIA. Công nghệ này được kỳ vọng sẽ nâng cao khả năng của các dòng máy chủ GPU PCIe đáng kể. Bài viết sẽ nêu ý tưởng về cách bạn có thể tận dụng nền tảng GPU NVIDIA MGX ConnectX-8 SuperNIC cho các workload hiệu suất cao của mình.
Bộ chuyển mạch NVIDIA MGX ConnectX-8 SuperNIC là gì?
Bộ chuyển mạch NVIDIA MGX ConnectX-8 SuperNIC là một bo mạch backplane 8x GPU tích hợp 4 bộ điều hợp mạng (NIC) ConnectX-8 chuyên dụng và một switch PCIe 6.0 48 lane. Mỗi NIC NVIDIA ConnectX-8 có băng thông 800 Gb/giây, tức là tổng cộng 3200 Gb/giây trên toàn bộ SuperNIC.
Mỗi NIC NVIDIA ConnectX-8 có hai GPU được phân bổ trên toàn bộ chiều rộng khe x16, mỗi GPU có bộ thu phát mạng riêng. Ngay cả khi nền tảng CPU không hỗ trợ PCIe 6.0, với các GPU tương thích PCIe 6.0, chúng vẫn có thể tận dụng tốc độ cao lên đến 800Gb/giây này.
Tất cả GPU và NIC NVIDIA ConnectX-8 đều được kết nối với nhau, tạo thành một bộ chuyển mạch và mạng lưới 8 GPU thống nhất. Các bộ thu phát sau đó được kết nối với một bộ chuyển mạch mạng bên ngoài khác, nơi các nền tảng switch NVIDIA MGX ConnectX-8 SuperNIC khác cũng sẽ liên thông, kết nối nhiều hệ thống lại với nhau để hoạt động đồng bộ.
Minh họa hệ thống MGX 8x GPU. Nguồn: NVIDIA
Các trường hợp sử dụng cho bo mạch chuyển mạch NVIDIA ConnectX-8 SuperNIC
Máy chủ 8x GPU PCIe là một trong những thiết kế phổ biến nhất cho máy chủ tăng tốc đa GPU. Không phải trung tâm dữ liệu nào cũng có thể triển khai GPU trên nền SXM của NVIDIA như DGX hoặc HGX, do hạn chế về công suất và chi phí. Tuy nhiên, cũng như HGX và DGX dành cho các tổ chức lớn, các máy chủ đa GPU PCIe này cũng hỗ trợ mô phỏng kỹ thuật, nghiên cứu khoa học đời sống và các mô hình AI lớn.
Nền tảng NVIDIA MGX mới này lý tưởng cho các doanh nghiệp muốn xử lý khối lượng công việc HPC với GPU PCIe trên nền tảng x86. Mọi nâng cấp đều có thể được tích hợp dễ dàng như việc thay thế GPU trên backplane. Các workload tận dụng khả năng giao tiếp GPU-to-GPU được cải thiện sẽ được hưởng lợi từ độ trễ thấp hơn và lưu lượng dữ liệu cao hơn, trong đó bao gồm hầu hết các workload HPC quan trọng như:
- Deep Learning, Machine Learning
- Mô phỏng kỹ thuật (FEA, CFD)
- Mô hình hóa thời tiết, khí hậu
- Phân tích dữ liệu (tài chính, y tế, điện toán sinh học, v.v.)
- Kết xuất các môi trường phức tạp lớn
- Thực hiện tính toán trên dữ liệu chia sẻ trong mạng.
Các workload có thể không được hưởng lợi đáng kể là những workload không bị ràng buộc bởi bộ nhớ GPU hoặc không phụ thuộc vào mạng tốc độ cao. Những workload này ít mang tính chuyên sâu hơn, phù hợp với một GPU duy nhất hoặc lệ thuộc vào CPU. Ví dụ: nén dữ liệu, truy vấn cơ sở dữ liệu và phân tích dữ liệu cục bộ.
Lời kết
Bo mạch chuyển mạch GPU NVIDIA MGX ConnectX-8 SuperNIC cho phép giao tiếp GPU-to-GPU và GPU-to-network nhanh chóng, mang lại luồng dữ liệu tốt hơn và giảm thiểu tắc nghẽn bằng cách bỏ qua CPU để tiếp nhận dữ liệu. Được trang bị các lane PCIe 6.0 mới, GPU và NIC có thể tận dụng tốc độ cao hơn bất kỳ kiến trúc CPU PCIe nào, giúp tăng hiệu suất và tuổi thọ.
Hiện chưa có ngày chính thức ra mắt các bo mạch chủ GPU này. Tuy nhiên, khi ra mắt, chúng sẽ trở thành một phần trong danh mục sản phẩm máy chủ GPU của các nhà sản xuất máy chủ lớn như Supermicro, ASRock Rack,… Nếu bạn có thắc mắc hoặc muốn cấu hình máy chủ GPU, máy trạm hoặc toàn bộ hạ tầng điện toán trung tâm dữ liệu, hãy liên hệ với đội ngũ của Nhất Tiến Chung để được tư vấn.