NVIDIA giới thiệu hệ thống DGX H100 - Hạ tầng AI cho doanh nghiệp tiên tiến nhất thế giới - Blog

Kết hợp với hệ thống chuyển mạch NVLink mới, mỗi DGX SuperPOD cung cấp 1 Exaflops hiệu suất AI, Siêu máy tính NVIDIA Eos mới được kỳ vọng sẽ trở thành hệ thống AI nhanh nhất thế giới, bắt đầu ngay cho khách hàng thông qua dịch vụ DGX Foundry mở rộng.

Tại GTC22 – NVIDIA công bố hệ thống NVIDIA DGX thế hệ thứ tư, nền tảng AI đầu tiên trên thế giới được xây dựng với các GPU NVIDIA H100 Tensor Core mới.

Hệ thống DGX H100 cung cấp quy mô cần thiết để đáp ứng các yêu cầu tính toán khổng lồ của các mô hình ngôn ngữ lớn, các hệ thống khuyến nghị, nghiên cứu y tế và lĩnh vực khoa học khí hậu. 8 GPU NVIDIA H100 được đóng gói trên mỗi hệ thống và kết nối qua NVIDIA NVLink, mỗi DGX H100 cung cấp 32 petaflops hiệu suất AI ở độ chính xác FP8 mới – gấp 6 lần so với thế hệ trước.

Hệ thống DGX H100 là nền móng xây dựng nên nền tảng cơ sở hạ tầng AI NVIDIA DGX POD và NVIDIA DGX SuperPOD thế hệ tiếp theo. Kiến trúc DGX SuperPOD mới nhất mang lại công nghệ NVIDIA NVLink Switch System mới có thể kết nối tối đa 32 node với tổng cộng 256 GPU H100.

Cung cấp 1 exaflops hiệu suất AI FP8, gấp 6 lần so với thế hệ tiền nhiệm của nó, DGX SuperPOD thế hệ tiếp theo mở rộng ranh giới của AI với khả năng chạy các khối lượng công việc LLM khổng lồ với hàng nghìn tỷ thông số.

Ông Jensen Huang, Founder và CEO của NVIDIA cho biết: “AI đã cơ bản thay đổi những gì phần mềm có thể làm và cách nó được sản xuất. Các công ty đang cách mạng hóa các ngành công nghiệp với AI đã nhận ra sự quan trọng của hạ tầng AI của họ. Những hệ thống DGX H100 mới của chúng tôi sẽ cung cấp sức mạnh cho các nhà máy AI doanh nghiệp để lọc dữ liệu thành những tài nguyên quý giá nhất – đó là trí thông minh”.

NVIDIA Eos – Siêu máy tính AI nhanh nhất thế giới

NVIDIA sẽ là công ty đầu tiên xây dựng DGX SuperPOD với kiến trúc AI mới đột phá để hỗ trợ công việc của các nhà nghiên cứu NVIDIA trong việc thúc đẩy khoa học khí hậu, sinh học kỹ thuật số và tương lai của AI.

Siêu máy tính Eos được kỳ vọng sẽ là hệ thống AI nhanh nhất thế giới sau khi nó bắt đầu hoạt động vào cuối năm nay, có tổng cộng 576 hệ thống DGX H100 với 4.608 GPU DGX H100.

NVIDIA Eos được dự đoán sẽ cung cấp 18,4 exaflops hiệu suất tính toán AI, xử lý AI nhanh hơn gấp 4 lần so với siêu máy tính Fugaku ở Nhật Bản, hiện là hệ thống nhanh nhất thế giới. Đối với khoa học máy tính truyền thống, Eos dự kiến sẽ cung cấp hiệu suất 275 petaflops.

Eos sẽ đóng vai trò là bản thiết kế cho cơ sở hạ tầng AI tiên tiến từ NVIDIA, cũng như các đối tác OEM và cloud của họ.

AI doanh nghiệp mở rộng dễ dàng với DGX H100, DGX POD, DGX SuperPOD

Các hệ thống DGX H100 dễ dàng mở rộng quy mô để đáp ứng nhu cầu của AI khi doanh nghiệp phát triển từ các dự án ban đầu đến triển khai rộng rãi.

Ngoài tám GPU H100 với tổng số 640 tỷ bóng bán dẫn, mỗi hệ thống DGX H100 bao gồm hai NVIDIA BlueField-3 DPU để giảm tải, tăng tốc và cô lập các dịch vụ mạng, lưu trữ và bảo mật nâng cao.

Tám networking adapter NVIDIA ConnectX-7 Quantum-2 InfiniBand cung cấp thông lượng 400Gb/s để kết nối với hệ thống tính toán và lưu trữ – gấp đôi tốc độ của hệ thống thế hệ trước. Và NVLink thế hệ thứ tư, kết hợp với NVSwitch, cung cấp kết nối 900GB/s giữa mọi GPU trong mỗi hệ thống DGX H100, nhiều hơn 1,5 lần so với thế hệ trước.

Hệ thống DGX H100 sử dụng dual CPU x86 và có thể được kết hợp với NVIDIA networking và storage từ các đối tác của NVIDIA để tạo nên các DGX POD linh hoạt cho điện toán AI ở bất kỳ kích thước nào.

DGX SuperPOD cung cấp một trung tâm AI tuyệt hảo cho doanh nghiệp có thể mở rộng với các hệ thống DGX H100. Các node DGX H100 và GPU H100 trong một DGX SuperPOD được kết nối bởi một NVLink Switch System và NVIDIA Quantum-2 InfiniBand cung cấp tổng băng thông 70TB/s – cao hơn 11 lần so với thế hệ trước. Storage từ các đối tác của NVIDIA sẽ được kiểm tra và chứng nhận để đáp ứng nhu cầu của tính toán AI DGX SuperPOD.

Nhiều DGX SuperPOD Unit có thể được kết hợp để cung cấp hiệu suất AI cần thiết cho phát triển các mô hình lớn trong các ngành như ô tô, chăm sóc sức khỏe, sản xuất, truyền thông, bán lẻ và hơn thế nữa.

Giải pháp NVIDIA DGX Foundry tăng tốc độ thành công của khách hàng với DGX SuperPOD

Giải pháp phát triển NVIDIA DGX Foundry đang mở rộng trên toàn thế giới để cung cấp cho các khách hàng DGX SuperPOD quyền truy cập ngay vào cơ sở hạ tầng điện toán tiên tiến trong khi hệ thống của họ đang được cài đặt. Các địa điểm mới được thêm vào ở Bắc Mỹ, Châu Âu và Châu Á cung cấp khả năng truy cập từ xa vào các DGX SuperPOD hoặc một phần của chúng.

DGX Foundry bao gồm phần mềm NVIDIA Base Command, cho phép khách hàng dễ dàng quản lý vòng đời phát triển AI toàn diện trên hạ tầng DGX SuperPOD.

Các doanh nghiệp đủ điều kiện có thể trải nghiệm NVIDIA Base Command và các hệ thống DGX miễn phí thông qua các lab lựa chọn có sẵn thông qua NVIDIA LaunchPad được host tại các trung tâm dữ liệu Equinix International Business Exchange (IBX) trên khắp thế giới.

MLOps, phần mềm Enterprise AI hỗ trợ nhu cầu áp dụng AI ngày càng tăng của khách hàng

Để hỗ trợ khách hàng DGX đang vận hành phát triển AI, các giải pháp MLOps từ các đối tác NVIDIA DGX-Ready Software bao gồm Domino Data Lab, Run:ai và Weights & Biases đang tham gia vào chương trình “NVIDIA AI Accelerated”.

Các ứng dụng MLOps từ các đối tác tham gia sẽ được xác thực để cung cấp cho khách hàng DGX quy trình làm việc cấp doanh nghiệp và các giải pháp quản lý cluster, lập lịch và điều phối.

Ngoài ra, các hệ thống NVIDIA DGX hiện bao gồm bộ phần mềm NVIDIA AI Enterprise mới hỗ trợ hạ tầng bare-metal. Khách hàng của DGX có thể đẩy nhanh công việc của họ với các mô hình nền tảng, toolkit và framework NVIDIA AI được đào tạo trước có trong bộ phần mềm, chẳng hạn như NVIDIA RAPIDS, NVIDIA TAO Toolkit, NVIDIA Triton Inference Server và hơn thế nữa.

DGX-Ready Managed Services – Đơn giản hóa triển khai AI

Khi việc áp dụng AI doanh nghiệp ngày càng tăng, khách hàng đang tìm kiếm nhiều tùy chọn hơn để bổ sung cơ sở hạ tầng cần thiết để chuyển đổi doanh nghiệp của họ. NVIDIA đang giới thiệu chương trình DGX-Ready Managed Services mới để hỗ trợ những khách hàng muốn làm việc với các nhà cung cấp dịch vụ để giám sát cơ sở hạ tầng của họ.

Deloitte là nhà cung cấp toàn cầu đầu tiên hợp tác với NVIDIA trong chương trình và sẽ được chứng nhận để hỗ trợ khách hàng ở Châu Âu, Bắc Mỹ và Châu Á, cùng với các nhà cung cấp khu vực CGit, ePlus inc., Insight Enterprises và PTC System.

Jim Rowan, lãnh đạo tại Deloitte Consulting LLP cho biết: “Những đột phá kinh doanh có được nhờ AI chỉ có thể được nhận ra nếu các doanh nghiệp có khả năng tích hợp công nghệ này vào hoạt động của mình“. “Với chương trình DGX-Ready Managed Services mới, khách hàng có thể dễ dàng áp dụng AI hàng đầu thế giới với các hệ thống NVIDIA DGX và phần mềm được quản lý bởi các chuyên gia Deloittle trên khắp thế giới.”

DGX-Ready Lifecycle Management – Cho phép nâng cấp dễ dàng

Khách hàng hiện có khả năng nâng cấp hệ thống DGX hiện có của mình với nền tảng NVIDIA DGX mới nhất thông qua chương trình DGX-Ready Lifecycle Management mới.

Các đối tác kênh của NVIDIA tham gia vào chương trình DGX-Ready Lifecycle Management sẽ có thể làm mới các hệ thống DGX thế hệ trước cho việc mua bán bởi các khách hàng mới, mở rộng truy cập vào các hệ thống chung cho hạ tầng AI của thế giới.

Các hệ thống NVIDIA DGX H100, DGX POD và DGX SuperPOD sẽ có sẵn từ các đối tác toàn cầu của NVIDIA bắt đầu từ quý 3.

Khách hàng cũng có thể chọn triển khai các hệ thống DGX tại các hạ tầng chỗ đặt do các đối tác của NVIDIA DGX-Ready Data Center vận hành bao gồm các trung tâm dữ liệu Cyxtera, Digital Realty và Equinix IBX.

Để tìm hiểu thêm về các hệ thống NVIDIA DGX, hãy xem keynote GTC 2022 của Huang và đăng ký GTC miễn phí để tham dự các phiên họp với NVIDIA và các nhà lãnh đạo trong ngành.

Theo NVIDIA News

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

____
Bài viết liên quan