Máy chủ trí tuệ nhân tạo NVidia DGX H200

NVIDIA DGX H200 là đỉnh cao của nền tảng DGX, đại diện cho một bước nhảy vọt về sức mạnh tính toán và khả năng xử lý dữ liệu cho các tác vụ Trí tuệ Nhân tạo (AI) và Tính toán Hiệu năng Cao (HPC). Được xây dựng dựa trên GPU NVIDIA H200 Tensor Core, DGX H200 là giải pháp toàn diện được thiết kế để giải quyết những mô hình lớn nhất, phức tạp nhất và giúp các doanh nghiệp đạt được những đột phá trong lĩnh vực AI tạo sinh (Generative AI).

• Sức Mạnh GPU Vượt Trội: Trái tim của DGX H200 là 8 GPU NVIDIA H200 Tensor Core, mỗi GPU được trang bị 141GB bộ nhớ HBM3e. Điều này mang lại tổng dung lượng bộ nhớ GPU lên tới 1.128GB trên toàn hệ thống, một con số khổng lồ cho phép xử lý các mô hình AI tạo sinh và mô hình ngôn ngữ lớn (LLM) với quy mô chưa từng có.
• Tốc Độ Bộ Nhớ "Đáng Kinh Ngạc": HBM3e là thế hệ bộ nhớ tiên tiến nhất, mang lại băng thông bộ nhớ lên tới 4,8 TB/s cho mỗi GPU H200, cao hơn 1,4 lần so với H100. Tốc độ này giúp cung cấp dữ liệu cho GPU nhanh hơn, giảm thời gian chờ đợi và tăng tốc đáng kể quá trình huấn luyện và suy luận.
• Tích Hợp Liên Kết Tốc Độ Cao: DGX H200 sử dụng kiến trúc NVIDIA NVLink và NVSwitch, kết nối các GPU với nhau để tạo thành một hệ thống duy nhất. Với 18 kết nối NVLink cho mỗi GPU và 4 NVSwitch, hệ thống đạt được băng thông hai chiều 900 GB/s giữa các GPU, đảm bảo khả năng giao tiếp liền mạch và hiệu quả cho các Khối lượng công việc phân tán.
• Hệ Thống Mạng Tối Ưu: Nền tảng này tích hợp các card mạng NVIDIA ConnectX-7 VPI với tốc độ lên đến 400Gb/s, nhanh gấp đôi so với thế hệ DGX A100 trước đó. Điều này cho phép mở rộng quy mô hệ thống DGX H200 thành các cụm lớn hơn như DGX SuperPOD một cách hiệu quả, đồng thời tối ưu hóa việc truyền dữ liệu.

• Thiết Kế Khung Gầm 8U: DGX H200 được thiết kế dưới dạng khung gầm 8U gắn rack, tích hợp cả CPU kép Intel® Xeon® Platinum 8480C với tổng cộng 112 lõi, cung cấp hiệu suất tính toán CPU mạnh mẽ cho các tác vụ tiền xử lý và hậu xử lý dữ liệu.

Những cải tiến vượt trội so với thế hệ trước (DGX A100)

• GPU và Kiến Trúc: DGX A100 sử dụng GPU dựa trên kiến trúc Ampere, trong khi DGX H200 sử dụng GPU H200 với kiến trúc Hopper tiên tiến hơn. Kiến trúc Hopper có những cải tiến đáng kể về Tensor Cores, hỗ trợ định dạng FP8, và tích hợp Transformer Engine để tăng tốc các mô hình AI tạo sinh.

• Bộ Nhớ: Dung lượng bộ nhớ tổng thể của DGX H200 (1.128GB) lớn hơn đáng kể so với DGX A100 (tối đa 640GB). Quan trọng hơn, DGX H200 sử dụng bộ nhớ HBM3e với băng thông cao hơn hẳn so với HBM2e trên DGX A100, mang lại hiệu suất vượt trội.

• Hiệu Năng Tính Toán: DGX H200 mang lại hiệu năng AI lên tới 32 petaFLOPS (ở định dạng FP8), cao hơn rất nhiều so với 5 petaFLOPS (ở định dạng FP16) của DGX A100, giúp giảm thời gian cần thiết để hoàn thành các tác vụ huấn luyện và suy luận phức tạp.

• Tốc Độ Mạng: Tốc độ mạng trên DGX H200 (400Gb/s) nhanh gấp đôi so với DGX A100 (200Gb/s), cải thiện đáng kể khả năng mở rộng và hiệu suất cho các ứng dụng phân tán.

Thông Số Kỹ Thuật Chi Tiết