Kiến trúc vi xử lý hiệu năng cao Hopper - Thế hệ tiếp theo của điện toán tăng tốc - Blog

Công cụ mới dành cho hạ tầng AI của thế giới, GPU NVIDIA H100 dựa trên kiến trúc Hopper tạo nên bước nhảy vọt lớn về hiệu suất.

GTC 2022 – Để cung cấp sức mạnh cho làn sóng trung tâm dữ liệu AI kế tiếp, NVIDIA đã công bố nền tảng điện toán tăng tốc thế hệ tiếp theo với kiến trúc NVIDIA Hopper, mang lại bước nhảy vọt về hiệu suất so với thế hệ trước.

Được đặt theo tên của Grace Hopper, một nhà khoa học máy tính tiên phong của Hoa Kỳ, kiến trúc mới kế nhiệm kiến trúc NVIDIA Ampere, ra mắt vào hai năm trước.

Công ty cũng đã công bố GPU dựa trên kiến trúc Hopper đầu tiên của mình, NVIDIA H100, được trang bị với 80 tỷ transistor. Bộ xử lý tăng tốc lớn nhất và mạnh mẽ nhất thế giới, H100 có các tính năng đột phá như Transformer Engine và kết nối nội bộ NVIDIA NVLink có khả năng mở rộng cao để cải tiến các mô hình ngôn ngữ AI khổng lồ, hệ thống đề xuất chuyên sâu, các bộ gen và các phiên bản số (digital twin) phức tạp.

“Các trung tâm dữ liệu đang trở thành các nhà máy AI – xử lý và tinh chỉnh hàng núi dữ liệu khổng lồ để hình thành trí thông minh” – Jensen Huang, founder và CEO của NVIDIA cho biết. “NVIDIA H100 là công cụ của hạ tầng AI trên thế giới mà các doanh nghiệp sử dụng để tăng tốc hoạt động kinh doanh dựa trên AI của họ”.

Những đột phá về công nghệ của H100

GPU NVIDIA H100 thiết lập một tiêu chuẩn mới trong việc tăng tốc AI và HPC quy mô lớn, mang đến 6 cải tiến đột phá:

Con chip tiên tiến nhất thế giới – Được xây dựng với 80 tỷ transistor, sử dụng tiến trình 4N của TSMC, được thiết kế cho các nhu cầu xử lý tăng tốc của NVIDIA, H100 mang những tiến bộ to lớn để tăng tốc AI, HPC, mở rộng băng thông bộ nhớ, kết nối nội bộ và giao tiếp, bao gồm gần 5TB/s kết nối bên ngoài. H100 là GPU đầu tiên hỗ trợ PCIe Gen5 và là GPU đầu tiên sử dụng HBM3, cho phép băng thông bộ nhớ 3TB/s. Hai mươi GPU H100 có thể duy trì tương đương với toàn bộ lưu lượng internet trên toàn thế giới, giúp khách hàng có thể cung cấp các hệ thống đề xuất tiên tiến (advanced recommender system) và các mô hình ngôn ngữ lớn chạy suy luận trên dữ liệu trong thời gian thực.
Transformer Engine mới – Hiện là sự lựa chọn mô hình tiêu chuẩn để xử lý ngôn ngữ tự nhiên, Transformer là một trong những mô hình học sâu quan trọng nhất từng được phát minh. Transformer Engine của H100 được xây dựng để tăng tốc mạng lên gấp 6 lần so với thế hệ trước mà không làm giảm độ chính xác.
Multi-Instance GPU bảo mật thế hệ thứ 2 – Công nghệ MIG cho phép một GPU duy nhất được phân chia thành bảy phiên bản nhỏ hơn, hoàn toàn độc lập để xử lý các loại công việc khác nhau. Kiến trúc Hopper mở rộng khả năng MIG lên đến 7 lần so với thế hệ trước bằng cách cung cấp các cấu hình multi-tenant an toàn trong các môi trường đám mây trên mỗi phiên bản GPU.
Điện toán bảo mật (Confidential Computing) – H100 là bộ tăng tốc đầu tiên trên thế giới với các khả năng của điện toán bảo mật để bảo vệ các mô hình AI và dữ liệu khách hàng trong khi chúng đang được xử lý. Khách hàng cũng có thể áp dụng điện toán bảo mật vào học liên kết cho các ngành nhạy cảm với quyền riêng tư như y tế và dịch vụ tài chính, cũng như trên các cơ sở hạ tầng đám mây dùng chung.
NVIDIA NVLink thế hệ thứ 4 – Để tăng tốc các mô hình AI lớn nhất, NVLink kết hợp với một external NVLink Switch mới để mở rộng NVLink như một mạng scale-up bên ngoài máy chủ, kết nối lên đến 256 GPU H100 ở mức băng thông cao hơn 9 lần so với thế hệ trước sử dụng NVIDIA HDR Quantum InfiniBand.
DPX Instructions – DPX instructions mới tăng tốc lập trình động – được sử dụng trong một loạt các thuật toán, bao gồm tối ưu hóa tuyến đường và các bộ gen lên đến 40 lần so với CPU và 7 lần so với GPU thế hệ trước. Điều này bao gồm thuật toán Floyd-Warshall để tìm các tuyến đường tối ưu cho các đội robot tự điều khiển trong môi trường nhà kho động và thuật toán Smith-Waterman được sử dụng để căn chỉnh trình tự để phân loại và xếp DNA và protein.

Các cải tiến công nghệ của H100 giúp NVIDIA vươn xa hơn từ vị trí dẫn đầu về năng lực suy luận và đào tạo AI, cung cấp sức mạnh cho các ứng dụng nhập vai và thời gian thực bằng cách sử dụng các mô hình AI quy mô lớn. H100 sẽ cho phép các chatbot sử dụng mô hình ngôn ngữ monolithic transformer mạnh mẽ nhất thế giới, Megatron 530B, với thông lượng cao hơn tới 30 lần so với thế hệ trước, đồng thời đáp ứng độ trễ chưa đến 1 giây, cần thiết cho hội thoại AI thời gian thực. H100 cũng cho phép các nhà nghiên cứu và nhà phát triển đào tạo các mô hình lớn như Mixture of Experts, với 395 tỷ tham số, nhanh hơn tới 9 lần, giảm thời gian đào tạo từ vài tuần xuống còn vài ngày.

Khả năng ứng dụng NVIDIA H100 rộng rãi

NVIDIA H100 có thể được triển khai trong mọi loại trung tâm dữ liệu, bao gồm on-prem, cloud, hybrid-cloud và edge. Nó dự kiến sẽ có mặt trên toàn thế giới vào cuối năm nay từ các nhà cung cấp dịch vụ đám mây và nhà sản xuất máy tính hàng đầu thế giới, cũng như trực tiếp từ NVIDIA.

Hệ thống DGX thế hệ thứ tư của NVIDIA, DGX H100, với tám GPU H100 cung cấp 32 petaflops hiệu suất AI ở độ chính xác FP8 mới, cho phép mở rộng để đáp ứng các yêu cầu xử lý của các mô hình ngôn ngữ lớn, hệ thống khuyến nghị, nghiên cứu y tế và khoa học khí hậu.

Mỗi GPU trong các hệ thống DGX H100 đều được kết nối bằng NVLink thế hệ thứ tư, cung cấp kết nối 900GB/s, hơn 1,5 lần so với thế hệ trước. NVSwitch cho phép cả tám GPU H100 kết nối qua NVLink. Một external NVLink Switch có thể nối mạng lên đến 32 node DGX H100 trong siêu máy tính NVIDIA DGX SuperPOD™ thế hệ tiếp theo.

Hopper đã nhận được sự hỗ trợ rộng rãi trong ngành từ các nhà cung cấp dịch vụ đám mây hàng đầu như Alibaba Cloud, Amazon Web Services, Baidu AI Cloud, Google Cloud, Microsoft Azure, Oracle Cloud và Tencent Cloud, những công ty có kế hoạch cung cấp các phiên bản dựa trên H100.

Một loạt các máy chủ với bộ tăng tốc H100 được mong đợi từ các nhà sản xuất thiết bị data center hàng đầu thế giới, bao gồm Atos, BOXX Technologies, Cisco, Dell Technologies, Fujitsu, GIGABYTE, H3C, Hewlett Packard Enterprise, Inspur, Lenovo, Nettrix và Supermicro.

NVIDIA H100 ở mọi quy mô

H100 sẽ có dạng SXM và PCIe để hỗ trợ một loạt các yêu cầu thiết kế máy chủ. Một bộ tăng tốc hội tụ cũng sẽ có sẵn, ghép nối một GPU H100 với một NVIDIA ConnectX®-7 400Gb/s InfiniBand và Ethernet SmartNIC.

H100 SXM của NVIDIA sẽ có sẵn trong bo mạch của máy chủ HGX™ H100 với các cấu hình 4 và 8-way cho các doanh nghiệp với các ứng dụng mở rộng đến nhiều GPU trong một máy chủ và trên nhiều máy chủ. Các máy chủ HGX H100-based mang lại hiệu suất ứng dụng cao nhất cho đào tạo và suy luận AI cùng với phân tích dữ liệu và các ứng dụng HPC.

H100 PCIe với NVLink để kết nối hai GPU, cung cấp băng thông gấp hơn 7 lần so với PCIe 5.0, mang lại hiệu suất vượt trội cho các ứng dụng chạy trên các máy chủ doanh nghiệp phổ thông. Form factor của chúng giúp cho việc tích hợp vào cơ sở hạ tầng trung tâm dữ liệu hiện có trở nên dễ dàng hơn.

H100 CNX, một bộ tăng tốc hội tụ mới, kết hợp một H100 với một ConnectX-7 SmartNIC để cung cấp hiệu suất đột phá cho các ứng dụng I/O chuyên sâu như đào tạo AI nhiều node trong các trung tâm dữ liệu doanh nghiệp và xử lý tín hiệu 5G tại biên.

Các GPU dựa trên kiến trúc NVIDIA Hopper cũng có thể được ghép nối với các CPU NVIDIA Grace bằng NVLINK-C2C interconnect cực nhanh cho giao tiếp giữa CPU và GPU nhanh hơn 7 lần so với PCIe 5.0. Sự kết hợp này – Grace Hopper Superchip – là một mô-đun tích hợp được thiết kế để phục vụ các ứng dụng HPC và AI với quy mô khổng lồ.

Hỗ trợ phần mềm của NVIDIA

GPU NVIDIA H100 được hỗ trợ bởi các công cụ phần mềm mạnh mẽ cho phép các nhà phát triển và doanh nghiệp xây dựng và tăng tốc các ứng dụng từ AI đến HPC. Bao gồm các bản cập nhật lớn đối với bộ phần mềm NVIDIA AI cho các khối lượng công việc như giao tiếp, hệ thống đề xuất và suy luận siêu mở rộng.

NVIDIA cũng phát hành hơn 60 các bản cập nhật đối với thư viện, công cụ và công nghệ trong bộ sưu tập CUDA-X™ của họ để tăng tốc công việc trong lĩnh vực điện toán lượng tử và nghiên cứu 6G, an ninh mạng, gen và phát minh thuốc.

NVIDIA H100 sẽ có mặt trên thị trường bắt đầu từ quý 3.

Theo NVIDIA

____
Bài viết liên quan