Giải pháp mạng tốc độ cao NDR 400G/800G của NVIDIA Networking

Trí tuệ nhân tạo (AI), một lĩnh vực đã có từ rất lâu, đã thực sự trải qua một cuộc cách mạng mang tính đột phá trong thời gian gần đây. Trong số các công nghệ AI nổi bật, đặc biệt như ChatGPT, đã bắt đầu tạo ra sự thay đổi to lớn trong cách chúng ta sống và làm việc. Sự tiến bộ không ngừng của các thuật toán học sâu và việc mở rộng bộ dữ liệu đào tạo đã tạo ra nhu cầu cao về tài nguyên điện toán. Chúng bao gồm CPU, GPU và gần đây là DPU, cần được kết nối với các máy chủ trong hệ thống để đào tạo mô hình ngôn ngữ lớn thông qua mạng.

Tuy nhiên, việc tối ưu hóa mô hình đòi hỏi băng thông mạng và độ trễ tối thiểu. Vì thế, NVIDIA đã cho ra mắt nền tảng Quantum-2 InfiniBand – một bước đột phá cung cấp hiệu suất mạng mạnh mẽ và tính năng toàn diện để giúp nhà phát triển và nhà nghiên cứu AI vượt qua những khó khăn.

Dựa trên sự hiểu biết vững chắc về xu hướng phát triển mạng tốc độ cao và kinh nghiệm lâu năm trong triển khai các dự án mạng hiệu năng cao, NVIDIA đã giới thiệu giải pháp mạng NDR (Next Data Rate) – một bước đột phá mới trên nền tảng Quantum-2 InfiniBand. Giải pháp NDR của NVIDIA tập trung vào việc sử dụng các bộ chuyển mạch Quantum-2 InfiniBand 800G (giao diện 2x400G NDR), bộ điều hợp máy chủ ConnectX-7 InfiniBand và đầu nối quang LinkX InfiniBand. Tất cả nhằm mang đến hiệu suất mạng vượt trội với độ trễ thấp và băng thông cực cao cho các lĩnh vực quan trọng như điện toán hiệu năng cao, trung tâm dữ liệu đám mây quy mô lớn và trí tuệ nhân tạo.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Nhờ những đóng góp đột phá này, NVIDIA đã định hình lại cảnh quan công nghệ và giúp đẩy mạnh sự phát triển của trí tuệ nhân tạo, từng bước đưa chúng ta tiến tới tương lai đầy triển vọng và tiềm năng không giới hạn.

Các trường hợp sử dụng bao gồm:

1. Kết nối hai switch với tốc độ 800Gb/s hoặc kết nối với hai switch với tốc độ 400Gb/s mỗi switch.

Để kết nối hai bộ chuyển mạch dựa trên OSFP, bạn có thể sử dụng hai bộ thu phát OSFP hai cổngvà hai cáp quang đa mode, với khoảng cách lên tới 50 mét. Điều này sẽ cho phép bạn đạt được tốc độ 800G (2x400G). Ngoài ra, bạn có thể định tuyến hai cáp quang đến hai công tắc khác nhau để tạo hai liên kết 400Gb/s riêng biệt. Các cổng OSFP cổng đôi bổ sung sau đó có thể được sử dụng để kết nối với nhiều thiết bị chuyển mạch hơn nếu cần.

2. Kết nối với hai tổ hợp ConnectX-7 BlueField-3 với tốc độ 400G mỗi tổ hợp.

Bằng cách sử dụng bộ thu phát OSFP cổng đôi với hai cáp quang thẳng, bạn có thể kết nối tối đa hai bộ điều hợp và/hoặc kết hợp DPU bằng ConnectX-7 hoặc BlueField-3. Mỗi cáp có bốn kênh và có thể liên kết với bộ thu phát 400G trong OSFP hoặc hệ số dạng QSFP112 cho khoảng cách lên tới 50 mét. Cả hai hệ số dạng OSFP và QSFP112 một cổng đều có cùng các đầu nối điện tử, quang học và quang học và tiêu thụ 8 watt điện năng.

Xin lưu ý rằng chỉ ConnectX-7/OSFP mới hỗ trợ hệ số dạng OSFP một cổng, trong khi hệ số dạng QSFP112 được sử dụng trong ConnectX-7/QSFP112 và/hoặc BlueField-3/QSFP112 DPU. Bạn có thể sử dụng bất kỳ sự kết hợp nào của ConnectX-7 và BlueField-3 bằng cách sử dụng OSFP hoặc QSFP112 trên cùng một bộ thu phát OSFP cổng đôi cùng một lúc.

3. Kết nối với bốn tổ hợp ConnectX-7 và/hoặc BlueField-3 với tốc độ 200G mỗi tổ hợp.

Nếu bạn muốn chuyển đổi tối đa bốn kết hợp bộ điều hợp và/hoặc DPU bằng ConnectX-7 hoặc BlueField-3, bạn có thể sử dụng bộ thu phát OSFP cổng đôi với hai cáp chia sợi quang 1:2. Mỗi cáp trong số hai cáp chia sợi 4 kênh 1:2 có thể liên kết với bộ thu phát 400G lên đến 50 mét trong OSFP hoặc QSFP112 yếu tố hình thức. Các đầu nối điện tử, quang học và quang học giống nhau được sử dụng cho cả hệ số dạng OSFP và QSFP112 một cổng. Khi bạn kết nối các đầu kênh hai sợi quang, chỉ có hai làn trong bộ thu phát 400G kích hoạt, tạo ra một thiết bị 200G. Điều này cũng tự động giảm mức tiêu thụ điện năng của bộ thu phát 400G từ 8 watt xuống 5.5 watt, trong khi mức tiêu thụ điện năng của OSFP cổng đôi vẫn ở mức 15 watt.

Xin lưu ý rằng chỉ ConnectX-7/OSFP mới tương thích với hệ số dạng OSFP một cổng, trong khi hệ số dạng QSFP112 được sử dụng trong ConnectX-7/QSFP112 và/hoặc DPU BlueField-3/QSFP112. Bạn có thể sử dụng bất kỳ sự kết hợp nào giữa các loại ConnectX-7 và BlueField-3 trên cùng một bộ thu phát OSFP cổng đôi.

4. Liên kết công tắc với khung CPU DGX H100 “Viking” trong tổ hợp Cedar-7.

Hệ thống DGX-H100 được trang bị tám GPU Hopper H100 nằm ở khung trên cùng, cùng với hai CPU, bộ lưu trữ và InfiniBand hoặc mạng Ethernet trong phần máy chủ dưới cùng. Để hỗ trợ giao tiếp giữa GPU với GPU, các thẻ Cedar-7 được sử dụng có chứa tám IC ConnectX-400 7Gb/s được gắn trên hai bo mạch lửng. Các thẻ này được kết nối bên trong với bốn lồng OSFP hai cổng 800G với bộ tản nhiệt bên trong cho mục đích làm mát.

Các công tắc hỗ trợ 400G IB/EN yêu cầu bộ thu phát 2x400G có vây trên cùng do giảm lưu lượng khí vào. Liên kết Cedar-7-to-Switch có thể sử dụng quang học đơn chế độ hoặc đa chế độ hoặc cáp đồng chủ động (ACC) cho kết nối InfiniBand hoặc Ethernet.

Bộ thu phát 2x400G hai cổng cung cấp hai liên kết 400G ConnectX-7 từ DGX đến bộ chuyển mạch Quantum-2 hoặc Spectrum-4, do đó giảm độ phức tạp và số lượng bộ thu phát cần thiết so với DGX A100. DGX-H100 cũng hỗ trợ tối đa bốn ConnectX-7 và/hoặc hai Bộ xử lý dữ liệu (DPU) BlueField-3 trong InfiniBand và/hoặc Ethernet để kết nối mạng truyền thống với lưu trữ, cụm và quản lý.

Các khe cắm thẻ PCIe nằm ở cả hai bên của lồng GPU OSFP có thể chứa các cáp và/hoặc bộ thu phát riêng biệt để tạo điều kiện kết nối mạng bổ sung bằng cách sử dụng 400G hoặc 200G với các thiết bị OSFP hoặc QSFP112.

InfiniBand Quantum-2 Power Switch

Bộ chuyển mạch QM9700 và QM9790 của NVIDIA Quantum-2 là bộ chuyển mạch IB (InfiniBand) chủ đạo trong lĩnh vực trí tuệ nhân tạo hiện đại và điện toán hiệu năng cao. Thông qua các dịch vụ kiểm tra độ tin cậy và đổi mới công nghệ, NVIDIA Networks cung cấp cho người dùng các dịch vụ tăng tốc mạng tuyệt vời.

Hai thiết bị chuyển mạch này sử dụng thiết kế khung gầm tiêu chuẩn 1U, với tổng số 32 giao diện vật lý 800G và hỗ trợ 64 cổng NDR 400Gb/s InfiniBand (có thể chia thành tối đa 128 cổng 200Gb/s). Chúng hỗ trợ công nghệ NVIDIA SHARP thế hệ thứ ba, kiểm soát tắc nghẽn nâng cao, định tuyến thích ứng và công nghệ mạng tự phục hồi. So với các sản phẩm HDR thế hệ trước, NDR cung cấp tốc độ cổng gấp đôi, mật độ cổng chuyển đổi gấp ba lần, công suất hệ thống chuyển đổi gấp năm lần và khả năng tăng tốc AI của chuyển đổi gấp 32 lần.

Công tắc QM9700 và QM9790 là các sản phẩm dành cho giải pháp InfiniBand gắn trên giá, bao gồm làm mát bằng không khí và làm mát bằng chất lỏng, cũng như các công tắc được quản lý và không được quản lý. Mỗi công tắc có thể hỗ trợ băng thông tổng hợp hai chiều là 51.2Tb/giây và có khả năng thông lượng đáng kinh ngạc hơn 66.5 tỷ gói mỗi giây (BPPS). Con số này gấp khoảng năm lần khả năng chuyển đổi của Quantum-1 thế hệ trước.

Bộ chuyển mạch QM9700 và QM9790 có tính linh hoạt cao và có thể hỗ trợ nhiều cấu trúc liên kết mạng khác nhau như Fat Tree, DragonFly+ và Torus đa chiều. Chúng cũng hỗ trợ khả năng tương thích ngược với các thế hệ sản phẩm trước đó và có hỗ trợ hệ thống phần mềm rộng rãi.

Quantum-2 ConnectX-7 SmartNIC

NVIDIA cung cấp card mạng thông minh NDR hoặc NDR200 NVIDIA ConnectX 7 một cổng hoặc hai cổng dưới dạng giải pháp Quantum-2. Sử dụng công nghệ NVIDIA Mellanox Socket Direct, card mạng này đạt được 32 kênh PCIe Gen4. Được thiết kế với công nghệ 7 nanomet, ConnectX-7 chứa 8 tỷ bóng bán dẫn và có tốc độ truyền dữ liệu gấp đôi so với chip mạng điện toán hiệu suất cao hàng đầu, NVIDIA ConnectX-6. Nó cũng tăng gấp đôi hiệu suất của RDMA, GPUDirect Storage, GPUDirect RDMA và điện toán mạng.

NDR HCA bao gồm nhiều lõi điện toán có thể lập trình có thể hủy tải thuật toán dữ liệu tiền xử lý và đường dẫn điều khiển ứng dụng từ CPU hoặc GPU đến mạng, mang lại hiệu suất cao hơn, khả năng mở rộng và chồng chéo giữa các tác vụ điện toán và giao tiếp. Thẻ mạng thông minh này đáp ứng các yêu cầu khắt khe nhất đối với các doanh nghiệp truyền thống và khối lượng công việc toàn cầu về trí tuệ nhân tạo, điện toán khoa học và trung tâm dữ liệu đám mây quy mô lớn.

Đầu nối quang LinkX InfiniBand

FiberMall offcác giải pháp kết nối quang InfiniBand 400Gb/s linh hoạt, bao gồm bộ thu phát đơn chế độ và đa chế độ, bộ nhảy sợi quang MPO, cáp đồng chủ động (ACC) và cáp đồng thụ động (DAC), để đáp ứng nhu cầu của các cấu trúc liên kết mạng khác nhau.

Giải pháp này bao gồm các bộ thu phát cổng kép có đầu nối OSFP có các cánh tản nhiệt được thiết kế cho các công tắc cấu hình cố định làm mát bằng không khí, trong khi các bộ thu phát có đầu nối OSFP phẳng phù hợp với các công tắc mô-đun làm mát bằng chất lỏng và HCA.

Đối với kết nối chuyển mạch, có thể sử dụng mô-đun quang 2xNDR (800Gbps) đóng gói OSFP mới để kết nối hai chuyển mạch QM97XX. Thiết kế vây cải thiện đáng kể khả năng tản nhiệt của các mô-đun quang học.

Để kết nối giữa các bộ chuyển mạch và HCA, đầu bộ chuyển đổi sử dụng mô-đun quang 2xNDR (800Gbps) được đóng gói OSFP có vây, trong khi đầu NIC sử dụng một mặt phẳng. Mô-đun quang OSFP 400Gbps. Bộ nhảy sợi MPO có thể cung cấp 3-150 mét và sợi quang chia một đến hai có thể cung cấp 3-50 mét.

Kết nối giữa công tắc và HCA cung cấp giải pháp sử dụng DAC (tối đa 1.5 mét) hoặc ACC (tối đa 3 mét). Có thể sử dụng cáp đột phá từ một đến hai để kết nối một cổng OSFP của bộ chuyển mạch (được trang bị hai cổng InfiniBand 400Gb/giây) với hai HCA 400Gb/giây độc lập. Cáp đột phá từ một đến bốn có thể được sử dụng để kết nối một cổng chuyển đổi OSFP của công tắc với bốn HCA 200Gb/s.

Ưu điểm

Nền tảng NVIDIA Quantum-2 InfiniBand đã thực sự thay đổi cách chúng ta nhìn nhận về mạng hiệu suất cao. Với khả năng đạt tốc độ truyền 400Gb/giây trên mỗi cổng và áp dụng công nghệ NVIDIA Port Splitting, nền tảng này mang đến một bước tiến vượt bậc về mật độ cổng, chuyển đổi và dung lượng hệ thống. Được kết hợp với cấu trúc liên kết Dragonfly+, mạng dựa trên Quantum-2 có thể tạo kết nối 400Gb/giây cho hơn một triệu nút chỉ trong ba bước nhảy, đồng thời giảm đáng kể tiêu thụ điện năng và độ trễ, và giải quyết các yêu cầu về không gian một cách hiệu quả.

NVIDIA không chỉ tập trung vào hiệu suất, mà còn mang đến những cải tiến đáng kể về công nghệ SHARP thế hệ thứ ba (SHARPv3), mở ra khả năng mở rộng gần như vô hạn để xử lý dữ liệu lớn thông qua một mạng có thể mở rộng hỗ trợ tới 64 luồng song song. Sự tăng tốc vượt trội cho AI đã được nâng lên gấp 32 lần so với sản phẩm HDR trước đó, đem đến một bước đột phá đáng kinh ngạc cho lĩnh vực này.

Một ưu điểm đáng chú ý của việc sử dụng thiết bị NDR là khả năng giảm đáng kể độ phức tạp của mạng và nâng cao hiệu quả. Khi nâng cấp tỷ lệ trong tương lai, bạn chỉ cần thay đổi cáp và card mạng, giúp tiết kiệm thời gian và nguồn lực. Mạng NDR cũng yêu cầu ít thiết bị hơn so với các mạng hỗ trợ cùng một hiệu suất, giúp tiết kiệm chi phí và tối ưu hóa ngân sách tổng thể cũng như các khoản đầu tư trong tương lai. So với HDR trước đó, sự chuyển đổi sang các thiết bị NDR không chỉ tiết kiệm chi phí mà còn cải thiện đáng kể hiệu quả hoạt động của mạng.

Tham khảo các sản phẩm của NVIDIA Networking tại:
→ https://thegioimaychu.vn/thiet-bi-mang/mellanox/

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

____
Bài viết liên quan