Cận cảnh máy chủ AI ASRock Rack 6U8X-EGS2 H200 dựa trên nền tảng NVIDIA HGX

Bài đánh giá chi tiết với nhiều hình ảnh cận cảnh của hệ thống máy chủ GPU hiệu suất cao ASRock Rack 6U8X-EGS2 với 8x GPU H200, được thực hiện bởi chuyên trang ServeTheHome.

Mỗi lần làm bài đánh giá máy chủ của ASRock Rack, chúng tôi lại có một thứ gì đó thú vị. ASRock Rack 6U8X-EGS2 H200 cũng không ngoại lệ. Đây là nền tảng NVIDIA HGX H200 8-GPU mới của công ty và thực sự nó rất gọn gàng. Được thiết kế để tiếp cận thị trường đào tạo và suy luận AI, chúng tôi sẽ đi sâu vào hệ thống để xem điều gì làm cho máy chủ này trở nên khác biệt. ASRock Rack đã thiết kế các nền tảng tính toán GPU rất khác biệt kể từ khi chúng tôi đánh giá ASRock Rack 3U8G-C612 vào năm 2015 khi GPU PCIe là chuẩn mực. Kể từ đó, chúng tôi đã đánh giá hàng chục máy chủ GPU và ASRock Rack vẫn tiếp tục cung cấp sản phẩm riêng của họ với mỗi thế hệ. Bây giờ, chúng tôi đang có trong tay thế hệ NVIDIA H200 mới nhất để thực hiện bài đánh giá cận cảnh.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Khay trượt 1

Số lượng hình ảnh này trong bài này gần gấp ba lần số lượng hình ảnh trong các bài đánh giá máy chủ thông thường của chúng tôi. Do đó, chúng tôi sẽ chia nhỏ phần này theo cách hơi khác một chút cho các phần tổng quan về phần cứng của mình. Tất nhiên, chúng tôi không mua hệ thống này. ASRock Rack đang cho chúng tôi mượn hệ thống, vì vậy chúng tôi cần phải nói rằng đây là bài tài trợ. Chúng tôi không thể mua các hệ thống có giá trị lớn như vậy chỉ để cho việc đánh giá.

Tổng quan về mặt trước và mặt trong của hệ thống ASRock Rack 6U8X-EGS2 H200

Chúng ta sẽ bắt đầu ở mặt trước của máy chủ 6U này. Phía trên, chúng ta có các khoang ổ đĩa, ở giữa là I/O phía trước, có một vòng xoắn, và ở phía dưới, chúng ta có khay NVIDIA HGX H200 8 GPU. Đầu tiên, chúng ta sẽ xem xét mặt trước và các bộ phận bên trong, sau đó là khay NVIDIA HGX H200 8 GPU, và sau đó chúng ta sẽ xem xét mặt sau, xây dựng hệ thống từ các thành phần khác nhau.

ASRock Rack 6U8X EGS2 H200 lắp ráp phía trước

Bắt đầu với các khoang ổ đĩa trên cùng, tổng cộng có mười hai khoang. Cả mười hai khoang đều có thể là PCIe Gen5, nhưng bốn khoang có thể được định cấu hình thành SATA cho ổ đĩa khởi động.

Khay ổ đĩa trước ASRock Rack 6U8X EGS2 H200 ra

Sau đây là cái nhìn nhanh về backplane lưu trữ ở phía trước CPU. Bên dưới backplane lưu trữ, chúng ta cũng có Intel C741 PCH và hai ổ SSD M.2 cho các thiết bị khởi động.

ASRock Rack 6U8X EGS2 H200 Lưu trữ Backplane 2

Đây là một góc nhìn khác. Một điều thú vị về 8 hệ thống GPU này nói chung là cáp cần phải đi qua khoảng cách xa với tín hiệu PCIe do kiến trúc hệ thống.

Mặt sau lưu trữ ASRock Rack 6U8X EGS2 H200

Bên dưới mười hai khoang lưu trữ là khu vực I/O phía trước với một chút phong cách ASRock Rack.

ASRock Rack 6U8X EGS2 H200 IO phía trước và ổ đĩa

Đầu tiên, chúng ta có một trong những khối I/O mặt trước tốt nhất với bốn cổng USB và một cổng VGA. Nhiều máy chủ GPU cung cấp I/O mặt trước vì nó mát hơn nhiều trong lối đi lạnh của giá đỡ GPU. Sự khác biệt ở đây là với bốn cổng USB, bạn có thể cắm bàn phím, chuột và ổ USB 3, chẳng hạn, mà không cần dùng đến hub. Nghe có vẻ không thú vị, nhưng ngày bạn hết cổng USB là ngày bạn sẽ ước mình có tính năng này.

ASRock Rack 6U8X EGS2 H200 IO USB phía trước

Ngoài ra còn có các nút nguồn và nút reset vật lý cùng với đèn LED chỉ báo.

Sau đó, chúng ta sẽ đến với một số thiết kế ASRock Rack thú vị hơn. Còn nếu bạn muốn có hai cổng 1GbE cho những thứ như khởi động PXE ở mặt trước, hoặc có lẽ là cổng quản lý ở mặt trước thì sao? Hoặc nếu bạn muốn có tất cả chúng ở mặt sau thì sao? Còn nếu bạn muốn kết hợp và kết hợp thì sao. ASRock Rack có một giải pháp đơn giản: tất cả các cổng đều ở mặt trước, nhưng có cáp Ethernet đưa tín hiệu ra phía sau. Trong ảnh bên dưới, bạn có thể thấy cấu hình phía sau, nhưng đối với cấu hình phía trước, chỉ cần rút cáp ra. Chúng tôi sẽ chỉ cho bạn cách kết nối chúng ở phía sau sau.

ASRock Rack 6U8X EGS2 H200 Mặt trước IO 2

Bên dưới là khay GPU NVIDIA HGX H200 8. Đây là khay mà chúng tôi sẽ dành hẳn một phần ở trang tiếp theo.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Khay trượt 2

Bộ phận này được cắm vào bảng chuyển mạch PCIe nằm ở phía sau dưới cùng của hệ thống. ASRock cũng đã bổ sung thêm các đầu nối nguồn blind mate.

ASRock Rack 6U8X EGS2 H200 Mặt trước HGX Mating 1

Sau đây là cái nhìn nhanh về thiết lập này và tất cả các loại cáp liên quan. Bên dưới bộ tản nhiệt ở giữa có các công tắc PCIe và tất cả các loại cáp MCIO đó kết nối các thiết bị khác nhau ngoại trừ GPU NVIDIA và NIC East-West chính mà chúng tôi sẽ trình bày trong phần xây dựng thành phần phía sau.

ASRock Rack 6U8X EGS2 H200 Mặt trước HGX Mating 2

Hệ thống chứa GPU và phần NIC chính ở 4U dưới cùng, nhưng phần trên giống như máy chủ 2U với bộ lưu trữ ở phía trước, sau đó là CPU và bộ nhớ, quạt midplane, và một số I/O ở phía sau. Chúng ta sẽ làm việc từ phải sang trái.

Tổng quan về ASRock Rack 6U8X EGS2 H200

Trọng tâm của hệ thống này là hai ổ cắm Intel LGA 4677 dành cho bộ xử lý Intel Xeon Scalable thế hệ thứ 4 và thứ 5. Nhiều hệ thống trong số này sẽ tuân theo thông số kỹ thuật của NVIDIA và sử dụng bộ xử lý Sapphire Rapids .

ASRock Rack 6U8X EGS2 H200 CPU bên trong và khu vực bộ nhớ 1

Mỗi bộ xử lý Intel Xeon Scalable đều nằm phía sau bảng lưu trữ và có các đường dẫn luồng khí đơn giản.

ASRock Rack 6U8X EGS2 H200 CPU bên trong và khu vực bộ nhớ 5

Một lợi thế của những bộ xử lý này so với các CPU như Granite Rapids-AP và AMD EPYC là chúng có cấu hình bộ nhớ 8 kênh 2DPC. Trên thực tế, điều đó có nghĩa là có 16 DDR5 DIMM cho mỗi CPU và tổng cộng 32 DIMM. Khi bạn có hơn 1,1TB bộ nhớ HBM3e, thì 2TB RAM hệ thống thậm chí không phải là tỷ lệ 2:1. Có nhiều khe cắm DIMM hơn có nghĩa là dung lượng lớn hơn mà không cần phải sử dụng DIMM có dung lượng cao hơn (và tốn kém hơn).

ASRock Rack 6U8X EGS2 H200 CPU bên trong và khu vực bộ nhớ 3

Cáp được buộc thành từng bó, nhưng chúng xuất hiện ở khắp mọi nơi ở đây.

ASRock Rack 6U8X EGS2 H200 CPU bên trong và khu vực bộ nhớ 4

Việc tiếp cận DIMM ở đây không thực sự sạch sẽ vì một số dây cáp được luồn qua các khe cắm DIMM, nhưng vẫn đủ rộng để việc bảo dưỡng DIMM không quá khó khăn.

ASRock Rack 6U8X EGS2 H200 CPU bên trong và vùng nhớ 2

Đằng sau CPU và bộ nhớ, thay vì I/O phía sau và có lẽ là khe cắm OCP NIC 3.0, chúng ta có tất cả các đầu nối MCIO. Đây là thiết kế bo mạch chủ tùy chỉnh giúp giảm thiểu các đường PCIe chính chạy xuống công tắc PCIe, GPU và khu vực NIC ở dưới cùng của khung máy.

Bo mạch chủ ASRock Rack 6U8X EGS2 H200 MCIO 2

Ở phần trên cùng, chúng tôi có các mô-đun quạt kép lớn di chuyển không khí qua các thành phần.

Quạt tản nhiệt ASRock Rack 6U8X EGS2 H200 hàng đầu

Ở phía sau hệ thống, chúng tôi có các riser lấy đầu vào cáp MCIO. Đây là riser x16 phía sau bên phải. Đây sẽ là NIC như NVIDIA BlueField-3 DPU cho mạng Bắc-Nam của chúng tôi trong cụm AI.

ASRock Rack 6U8X EGS2 H200 Bộ nâng bên phải trên cùng bên trong

Ngoài ra còn có một bảng phân phối điện nhỏ vì các thanh đứng này có thể cần điện.

Bo mạch nguồn bên trong ASRock Rack 6U8X EGS2 H200

Đây lại là bộ phận nâng phía sau bên trái có kết nối MCIO.

ASRock Rack 6U8X EGS2 H200 PCIe Riser phía sau 2

Nằm ngay phía trên bảng I/O phía sau hoặc ASRock Rack 4UXG_IOB.

ASRock Rack 6U8X EGS2 H200 Bo mạch IO phía sau Nội bộ 2

Tiếp theo, chúng ta hãy xem xét lắp ráp NVIDIA HGX H200.

ASRock Rack 6U8X-EGS2 H200 NVIDIA HGX H200 Lắp ráp

Bộ phận NVIDIA HGX H200 nằm trên một khay kéo ra khỏi mặt trước của khung máy. GPU giữa silicon tính toán, các gói HBM, cảm biến nhiệt, v.v. có thể bị hỏng và có tám bộ phận như vậy, vì vậy khay HGX là một mục dịch vụ. Không giống như trong hệ thống Dell PowerEdge, bạn không phải tháo 17-20 thành phần và toàn bộ hệ thống ít nhất là một phần ra khỏi giá đỡ để bảo dưỡng chúng. Thay vào đó, khay trượt ra ngay.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Khay trượt 1

Có chốt ở hai bên mặt trước của khung xe.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Khay chốt

Thiết kế ở đây thực sự tuyệt vời. Thay vì thiết kế một số loại cơ chế trượt tùy chỉnh, ASRock Rack chỉ sử dụng một bộ King Slide tiêu chuẩn. Đây là một bộ thanh ray King Slide bên trong khung máy chủ chính, trông rất thú vị. Nó cũng giống hệt như việc sử dụng các thanh ray đó ở cấp độ máy chủ, ngoại trừ việc thay vì các thanh ray bên ngoài được lắp trong giá đỡ, chúng được lắp trong máy chủ.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Khay King Slide

Khi lấy ra, chúng ta có thể thấy cụm NVIDIA HGX H200 trong khay của nó.

Quạt khay ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 1

Mặt trước của cụm là một bức tường quạt khổng lồ. Quạt thường đáng tin cậy, nhưng chúng mất một giây để hoán đổi. Trong hầu hết các trung tâm dữ liệu siêu quy mô với số lượng máy móc khổng lồ, nếu bạn hỏi họ có bao nhiêu quạt dự phòng thì câu trả lời phổ biến nhất mà chúng tôi nghe được là “một vài” vì quạt rất hiếm khi hỏng. Tuy nhiên, đây sẽ là một mặt hàng hoán đổi nóng phía trước tuyệt vời trong tương lai.

Quạt khay ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 2

Những chiếc quạt này có nhiệm vụ quan trọng: làm mát NVIDIA HGX H200 8-GPU.

Tản nhiệt cho ASRock Rack 6U8X EGS2 H200 NVLink Switch 2

Các thành phần đầu tiên được làm mát là bốn NVIDIA NVLink Switches. Trong thế hệ B200, NVLink Switches giảm số lượng từ bốn xuống còn hai và di chuyển đến giữa GPU B200. Trong thế hệ NVIDIA Hopper, chúng ở phía trước.

Tản nhiệt công tắc ASRock Rack 6U8X EGS2 H200 NVLink 1

Sau đây là cái nhìn nhanh về khay GPU tổng thể với các quạt và bộ tản nhiệt chuyển đổi NVLink ở phía trước và sau đó là GPU NVIDIA H200 ở phía sau.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 8 GPU 2

Chúng ta có thể thấy rằng mỗi GPU này là NVIDIA H200 141GB HBM3e. Với tám GPU, tức là 1,128TB bộ nhớ HBM3e.

ASRock Rack 6U8X EGS2 H200 NVIDIA H200 141GB AC

Chúng ta có thể thấy rằng chúng ta có cụm NVIDIA HGX H200 8 GPU SXM5 141GB HBM3e AC (làm mát bằng không khí) tại đây.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Nhãn

Ở phía sau, chúng ta có các đầu nối để cấp nguồn và dữ liệu cho bo mạch này.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Đầu nối và tản nhiệt 1

Chúng tôi cũng có một số bộ tản nhiệt bổ sung cho bộ định thời PCIe Astera Labs trên bo mạch chủ.

ASRock Rack 6U8X EGS2 H200 NVIDIA HGX H200 Đầu nối và tản nhiệt 2

Quay trở lại vòng tròn đầy đủ này, đây là bên trong hệ thống nơi các đầu nối này kết nối với nhau.

ASRock Rack 6U8X EGS2 H200 Mặt trước HGX Mating 1

Bo mạch chuyển mạch PCIe này cực kỳ quan trọng đối với các máy chủ này. Tiếp theo, chúng ta hãy đến mặt sau của máy chủ.

Tổng quan về phần cứng phía sau ASRock Rack 6U8X-EGS2 H200

Đối với phía sau, có rất nhiều thứ đang diễn ra ở đây. Chúng tôi nghĩ rằng chúng tôi sẽ đi qua phía sau khi xây dựng nó trong khi chúng tôi đi.

ASRock Rack 6U8X EGS2 H200 Linh kiện phía sau ra

Đây là khối I/O phía sau. Có một vài chi tiết gọn gàng. Đầu tiên, chỉ có hai cổng USB 3 ở phía sau và bốn cổng ở phía trước. Chúng ta vẫn có các nút nguồn và nút reset, đèn LED trạng thái, cùng với hai cổng Intel i350 1GbE và cổng quản lý ngoài băng tần. Chúng ta sẽ không đi sâu vào phần quản lý trong bài đánh giá này, ngoài việc nói rằng hệ thống này sử dụng quản lý IPMI tiêu chuẩn công nghiệp dựa trên chipset ASPEED AST2600 với HTML5 iKVM, giám sát, v.v. Có lẽ điều đáng chú ý nhất là hệ thống này là một trong số ít hệ thống mà chúng ta thấy có nhiều cổng USB ở mặt trước hơn ở mặt sau.

ASRock Rack 6U8X EGS2 H200 IO phía sau

Việc đưa các cổng 1GbE và cổng quản lý ra phía sau bao gồm một đường dẫn qua khung máy bằng cáp 1GbE mỏng. Các cáp đó cắm vào mặt sau của ASRock Rack 4UXG_IOB và lấy ba cổng phía trước và giúp lộ chúng ra phía sau khung máy. Thay vì cần I/O phía trước và phía sau, bạn có thể chọn và lựa chọn.

Bo mạch IO phía sau ASRock Rack 6U8X EGS2 H200

Chúng tôi đã giới thiệu các khe cắm riser cho các card mạng Bắc-Nam (thường là BlueField-3 DPU), bây giờ đã đến lúc xem xét phần còn lại ở phía sau khung máy.

ASRock Rack 6U8X EGS2 H200 Tháo rời phía sau 2

Đầu tiên, ở phía dưới, đây là bộ cáp MCIO khổng lồ đi vào bo mạch chuyển mạch PCIe. Chỉ riêng bức ảnh này đã có một hàng mười sáu cáp MCIO được kết nối cho 128 làn PCIe Gen5.

Bo mạch chuyển mạch PCIe phía sau ASRock Rack 6U8X EGS2 H200

ASRock có khá nhiều cấu trúc được xây dựng xung quanh những thứ này bên trong khung máy để cung cấp điện, điều khiển quạt và nhiều chức năng khác.

ASRock Rack 6U8X EGS2 H200 Bảng chuyển mạch PCIe phía sau 2

Vì khu vực này nằm phía sau bo mạch chủ GPU NVIDIA HGX H200 8 nên các thành phần này thường không cần bộ tản nhiệt để duy trì độ mát.

ASRock Rack 6U8X EGS2 H200 Mặt sau giữa

Ngoài các quạt phía trước ở khu vực 4U phía dưới này, còn có sáu mô-đun quạt phía sau.

Quạt ASRock Rack 6U8X EGS2 H200

Giải pháp của ASRock Rack để đảm bảo sử dụng đúng quạt theo đúng hướng là lắp TOP trên ba quạt.

Quạt ASRock Rack 6U8X EGS2 H200

Ba quạt còn lại là “BTM” dành cho quạt ở phía dưới.

Quạt ASRock Rack 6U8X EGS2 H200 BTM

Những chiếc quạt này được cắm vào các đầu nối có thể hoán đổi nóng.

Đầu nối quạt sau ASRock Rack 6U8X EGS2 H200

Sau đó lắp sáu chiếc quạt nữa, chúng ta đã lắp xong phần giữa phía sau.

Quạt ASRock Rack 6U8X EGS2 H200 được lắp đặt phía sau

Tiếp theo, một số người có thể thắc mắc những đầu nối lớn ở hai bên bo mạch chuyển mạch PCIe dùng để làm gì.

ASRock Rack 6U8X EGS2 H200 Tháo rời phía sau 1

Chúng dành cho hai khay PCIe NIC.

ASRock Rack 6U8X EGS2 H200 Bộ nâng phía sau

Mỗi khay có bốn khe cắm PCIe Gen5 x16 cấu hình thấp, tổng cộng là tám khe. Tám là để chúng ta có thể có một khe cắm cho mỗi GPU.

ASRock Rack 6U8X EGS2 H200 Riser phía sau bên trái

Chúng tôi sử dụng NVIDIA ConnectX-7 cho những thứ này, có thể có Ethernet hoặc InfiniBand. Do đó, mỗi GPU có 400Gbps kết nối chuyên dụng bên ngoài.

ASRock Rack 6U8X EGS2 H200 Riser phía sau bên phải

Các khay có thể trượt ra dễ dàng bằng cần gạt giúp việc bảo dưỡng trở nên dễ dàng.

ASRock Rack 6U8X EGS2 H200 Riser phía sau bên phải đang được lắp đặt

Đây là hai khay NIC đã được lắp đặt, chỉ để lại bộ nguồn để lắp đặt.

ASRock Rack 6U8X EGS2 H200 PCIe phía sau bên trái và bên phải được lắp đặt

Đối với hệ thống, chúng tôi có tám bộ nguồn cấp điện 3kW 80Plus Titanium do Delta sản xuất. ASRock Rack đang thực hiện dự phòng 4+4 đầy đủ ở đây. Các công ty như Supermicro có sáu PSU trong các hệ thống làm mát bằng không khí theo tiêu chuẩn, nhưng cung cấp thêm hai PSU nữa để đạt được mức dự phòng này. Thật tuyệt khi thấy ASRock Rack cung cấp thông số kỹ thuật cao hơn ở đây theo tiêu chuẩn.

ASRock Rack 6U8X EGS2 H200 Nguồn điện phía sau ra

Mỗi PSU 3kW cũng thú vị vì nó cung cấp cả nguồn điện 12V cho các bộ phận máy chủ chính trong khi cũng cung cấp nguồn điện 54V cho bo mạch GPU NVIDIA HGX H200 8. Một số nhà cung cấp sử dụng hai loại nguồn điện khác nhau để đạt được việc cung cấp hai điện áp khác nhau.

ASRock Rack 6U8X EGS2 H200 3kW PSU phía sau

Bốn PSU được lắp ở mỗi bên. Vì chúng ta có PSU 12V và 54V nên chúng ta không cần phải lo lắng nhiều về việc PSU nào được lắp vào khe nào.

ASRock Rack 6U8X EGS2 H200 PSU phía sau bên phải đã được lắp đặt

Với tám bộ nguồn được lắp đặt, hoặc 24kW bộ nguồn, chúng ta hiện đã lắp đặt tất cả các thành phần ở phía sau hệ thống.

ASRock Rack 6U8X EGS2 H200 lắp ráp phía sau

Tiếp theo, chúng ta hãy xem sơ đồ khối và hiệu suất.

Sơ đồ khối ASRock Rack 6U8X-EGS2 H200

Chúng tôi đang thử nghiệm máy chủ ở giai đoạn đầu nên không có sơ đồ khối của máy chủ, nhưng chúng tôi đã tìm thấy sơ đồ khối của bo mạch chủ ASRock Rack SP2C741D32G-2L+.

Sơ đồ khối ASRock Rack SP2C741D32G-2L+

Một điều bạn sẽ nhanh chóng nhận thấy là tất cả các đầu nối I/O không phải MCIO đều treo trên Intel C741 PCH. Thiết kế này dẫn đến hàng lớn các đầu nối MCIO ở phía sau bo mạch chủ sau đó được sử dụng để kết nối với nhiều thành phần khác nhau. Thậm chí còn có một trong những đầu nối đó được kết nối với PCH. Có vẻ không phải là vấn đề lớn, nhưng trong các phiên bản trước của hệ thống GPU 8x, chúng ta sẽ thấy một loạt các khe cắm PCIe và các đầu nối mật độ cao.

ASRock Rack SP2C741D32G-2L Plus LayoutĐây là một thiết kế bo mạch chủ rất hiện đại và thực sự được tùy chỉnh cao cho hệ thống này. Sẽ rất lạ khi thấy một bo mạch chủ có toàn bộ cạnh sau được tạo thành từ các đầu nối MCIO trong một máy chủ 1U hoặc 2U tiêu chuẩn. Có tổng cộng 20 đầu nối PCIe Gen5 MCIO, cùng với 1 đầu nối PCIe Gen4 và 1 đầu nối PCIe Gen3 MCIO. Điều đó giúp giải thích tại sao chúng ta có nhiều cáp như vậy.

Bo mạch chủ ASRock Rack 6U8X EGS2 H200 MCIO 1

Các máy chủ AI này sử dụng rất nhiều kết nối PCIe chuyên dụng nên thiết kế này rất có ý nghĩa. Nhiều nhà cung cấp máy chủ lớn, thậm chí là Dell, sử dụng hiệu quả bo mạch chủ chuẩn 1U/2U của họ cho hệ thống GPU của họ. ASRock Rack đang tùy chỉnh bo mạch chủ cho ứng dụng. Điều đó rất có ý nghĩa vì khi một công ty đầu tư vào các hệ thống có giá hàng trăm nghìn đô la, thì việc tối ưu hóa bo mạch chủ kết nối hệ thống với nhau là điều đáng giá.

Hiệu suất ASRock Rack 6U8X-EGS2 H200

Trong nhiều năm qua, chúng tôi đã thử nghiệm nhiều máy chủ AI. Có hai hạng mục chính mà máy chủ có thể tăng hoặc giảm hiệu suất: làm mát và nguồn điện. Mặt làm mát liên quan đến việc liệu CPU, GPU, NIC, bộ nhớ và ổ đĩa có thể chạy ở mức hiệu suất tối đa của chúng hay không. Mặt nguồn điện liên quan đến việc liệu chúng ta có thường xuyên nhận được các mức công suất khác nhau trên GPU NVIDIA hay không, đôi khi là do lựa chọn làm mát bằng không khí hoặc chất lỏng. Chúng tôi đang chạy ở thông số kỹ thuật GPU chính thức 700W tại đây.

Hiệu suất GPU ASRock Rack 6U8X-EGS2 H200

Về phía GPU, NVIDIA đã giúp bạn dễ dàng có được kết quả nhất quán giữa các nhà cung cấp. Chúng tôi đã có thể nhảy lên máy chủ H100 trên nền tảng đám mây và chạy lại một vài thử nghiệm.

Hiệu suất GPU ASRock Rack 6U8X-EGS2 H200

NVIDIA tuyên bố H200 cung cấp hiệu suất tốt hơn tới 40-50% so với H100. Điều này đúng khi bạn cần nhiều băng thông và dung lượng bộ nhớ hơn. Sau đây là một loạt các bài kiểm tra và kết quả khá. Tất nhiên, chúng tôi đã không chạy H200 ở mức 1000W, điều này sẽ có tác động lớn hơn đến kết quả.

Điều này tương tự với các máy chủ HGX H200 khác mà chúng tôi đã thử nghiệm trong quý này.

Hiệu suất CPU ASRock Rack 6U8X-EGS2 H200

Chúng tôi đã chạy thử tập lệnh kiểm tra nhanh của mình và so sánh phần Xeon với nền tảng 2U tham chiếu của chúng tôi.

Hiệu suất CPU ASRock Rack 6U8X-EGS2 H200

Điều này giống như một biến thể máy chủ thông thường hơn, điều này hợp lý vì phần trên cùng của máy chủ về cơ bản là máy chủ 2U. Từ những gì chúng ta thấy ở đây, chúng ta đã rất gần.

Những khác biệt nhỏ ở đây là điển hình để thấy trong các so sánh giữa máy chủ với máy chủ. “Quay lại thời xưa” vào năm 2016-2019, việc thấy sự dao động trong các máy chủ GPU là 10% trở lên là phổ biến hơn. Bây giờ, chúng tôi mong đợi các máy chủ GPU sẽ theo dõi các máy chủ CPU tiêu chuẩn về mặt hiệu suất CPU.

Tiếp theo, chúng ta hãy nói về mức tiêu thụ điện năng.

Tiêu thụ điện năng của ASRock Rack 6U8X-EGS2 H200

Với tám bộ nguồn 3kW 80Plus Titanium, chúng ta có tổng cộng 24kW. May mắn thay, chúng ta không cần nhiều điện đến vậy. Thay vào đó, chúng được đánh giá là hoạt động 4+4. Nói một cách dễ hiểu hơn, chúng có bốn PSU chính và bốn PSU dự phòng.

ASRock Rack 6U8X EGS2 H200 Nguồn điện phía sau ra

Sau đây là cái nhìn nhanh về bộ nguồn Delta. Đây là những bộ nguồn hiệu suất cao và chất lượng cao, quan trọng đối với máy chủ GPU.

ASRock Rack 6U8X EGS2 H200 3kW PSU phía sau

Nhìn chung, chúng tôi chỉ đạt hơn 2kW ở chế độ nhàn rỗi khi chúng tôi cũng cấu hình hệ thống này với 10 NIC (8x ConnectX-7 và 2x BlueField-3 DPU). Mỗi GPU thường ở chế độ nhàn rỗi ở mức 110-115W và có rất nhiều thành phần bổ sung trong các hệ thống này. Ở chế độ tải tối đa, chúng tôi chỉ thấy hơn 10kW. Tùy thuộc vào ứng dụng, bạn thực sự có thể đạt được các đỉnh thấp hơn nhiều so với con số đó, đặc biệt nếu khối lượng công việc của bạn bị giới hạn bởi băng thông bộ nhớ. Cũng có một số chỗ để tăng mức tiêu thụ điện năng so với những gì chúng tôi có, vì vậy 12kW có lẽ là mức tối đa cho hệ thống được cấu hình đầy đủ.

Có lẽ khía cạnh quan trọng hơn là bạn cần phải có nhiều điện năng ở mỗi giá để chạy các máy chủ AI này và nhu cầu tiêu thụ điện năng chỉ đang tăng lên.

Máy chủ STH Spider: ASRock Rack 6U8X-EGS2 H200

Vào nửa cuối năm 2018, chúng tôi đã giới thiệu STH Server Spider như một tài liệu tham khảo nhanh về khả năng của hệ thống máy chủ. Mục tiêu của chúng tôi là bắt đầu cung cấp hình ảnh trực quan nhanh về các loại tham số mà máy chủ hướng đến.

Máy chủ STH Spider ASRock Rack 6U8X-EGS2 H200

Tất nhiên, các hệ thống này chủ yếu tập trung vào tính toán GPU nên chúng không phải là hệ thống dày đặc nhất về lưu trữ cũng như tính toán CPU và bộ nhớ. Tuy nhiên, ASRock Rack đã làm rất tốt khi lắp nhiều thứ vào 6U, đây ít nhiều là giới hạn mà chúng ta đã thấy về mật độ trên các thiết kế làm mát bằng không khí. Để giảm xuống dưới 6U đối với tám GPU NVIDIA H200 này đòi hỏi phải làm mát bằng chất lỏng và rất nhiều tùy chỉnh rất cụ thể.

Lời cuối cùng

Thật tuyệt khi được đánh giá. Chúng tôi đã thử nghiệm Máy chủ GPU 8 chiều ASRock Rack đầu tiên của mình vào năm 2015, gần một thập kỷ trước. Giờ đây, ASRock Rack 6U8X-EGS2 H200 mang các sản phẩm của công ty đến thế hệ máy chủ AI NVIDIA HGX H200 mới nhất.

ASRock Rack 6U8X EGS2 H200 lắp ráp phía trước

Trái tim của hệ thống là một bo mạch chuyển mạch PCIe không chỉ kết nối bo mạch chủ và GPU mà còn có khả năng kết nối với các NIC tốc độ cao, cung cấp băng thông mạng 3,2Tbps cho GPU.

ASRock Rack 6U8X EGS2 H200 Mặt trước HGX Mating 1

Về khả năng bảo dưỡng, chúng tôi hy vọng bạn thích cách toàn bộ mặt sau của máy chủ được xây dựng. Chúng tôi đã trình bày hầu hết mọi hạng mục bảo dưỡng trong bài đánh giá này thông qua rất nhiều ảnh. Có một số bit bổ sung mà ASRock Rack đã thêm vào thiết kế của mình để giúp hệ thống này dễ cấu hình và bảo dưỡng hơn trong khi vẫn duy trì diện tích 6U.

ASRock Rack 6U8X EGS2 H200 Linh kiện phía sau ra

Nhìn chung, ASRock Rack 6U8X-EGS2 H200 hoạt động tốt và cho thấy công ty đã phát triển thiết kế GPU 8 chiều như thế nào trong gần một thập kỷ kể từ khi chúng tôi bắt đầu đánh giá chúng.

Nguồn STH

____
Bài viết liên quan