Thế hệ máy tính AI tăng tốc và hiệu quả mới đánh dấu kỷ nguyên tiếp theo của siêu máy tính

Các nhà nghiên cứu trên toàn thế giới sẽ giải quyết những thách thức lớn trong khoa học và công nghiệp với Generative AI và HPC trên những hệ thống được trang bị GPU NVIDIA Hopper và Siêu chip NVIDIA Grace Hopper mới nhất.

Tại sự kiện Supercomputing 2023 (SC23) vừa qua, NVIDIA đã công bố về làn sóng công nghệ kế tiếp sẽ đưa các trung tâm nghiên cứu khoa học và công nghiệp trên toàn thế giới lên một cấp độ mới về hiệu suất và hiệu quả sử dụng năng lượng.

“Những đổi mới về phần cứng và phần mềm của NVIDIA đang tạo ra một phân khúc siêu máy tính AI mới” – Ian Buck, phó chủ tịch kinh doanh trung tâm dữ liệu hyperscale và HPC của công ty phát biểu tại hội nghị.

Một số hệ thống sẽ đóng gói các bộ tăng tốc (accelerators) NVIDIA Hopper được tăng cường bộ nhớ, một số khác sẽ là kiến trúc hệ thống NVIDIA Grace Hopper mới. Tất cả sẽ sử dụng tính song song (parallelism) mở rộng để chạy full stack phần mềm được tăng tốc cho Generative AI (GenAI), HPC và điện toán lượng tử lai.

Buck đã mô tả NVIDIA HGX H200 mới là “Nền tảng điện toán AI hàng đầu thế giới”.

NVIDIA H200 Tensor Core GPU đóng gói bộ nhớ HBM3e để chạy các mô hình GenAI đang phát triển.

Nó chứa tới 141GB HBM3e, bộ tăng tốc AI đầu tiên sử dụng công nghệ cực nhanh (ultrafast). Chạy các mô hình như GPT-3, các GPU NVIDIA H200 Tensor Core mang lại hiệu suất tăng gấp 18 lần so với các bộ tăng tốc thế hệ trước.

Trong số các điểm chuẩn GenAI khác, chúng xử lý 12.000 token mỗi giây trên Mô hình ngôn ngữ lớn (LLM) Llama2-13B.

Buck cũng tiết lộ một nền tảng máy chủ – liên kết bốn Siêu chip NVIDIA GH200 Grace Hopper trên một kết nối NVIDIA NVLink. Cấu hình này đặt trong một node compute đơn lẻ, có tới 288 lõi Arm Neoverse và 16 petaflops hiệu suất AI với bộ nhớ tốc độ cao lên tới 2.3 terabytes.

Các node máy chủ dựa trên bốn siêu chip GH200 sẽ mang lại 16 petaflops hiệu suất AI.

Chứng minh tính hiệu quả của nó, một Superchip GH200 sử dụng thư viện mã nguồn mở NVIDIA TensorRT-LLM nhanh hơn 100 lần so với hệ thống CPU x86 dual-socket và tiết kiệm năng lượng hơn gần 2 lần so với máy chủ x86 + H100 GPU.

Buck nói: “Điện toán tăng tốc là điện toán bền vững. Bằng cách khai thác sức mạnh của điện toán tăng tốc (accelerated computing) và Generative AI, chúng ta có thể cùng nhau thúc đẩy sự đổi mới trong các ngành đồng thời giảm tác động đến môi trường.”

NVIDIA hỗ trợ 38 trên 49 hệ thống TOP500 mới

Danh sách TOP500 mới nhất về những siêu máy tính nhanh nhất thế giới phản ánh sự chuyển dịch sang siêu điện toán tăng tốc và tiết kiệm năng lượng.

Nhờ các hệ thống mới được hỗ trợ bởi các GPU NVIDIA H100 Tensor Core, NVIDIA hiện cung cấp hiệu suất HPC hơn 2.5 exaflops trên các hệ thống hàng đầu thế giới này, tăng từ 1.6 exaflops trong bảng xếp hạng tháng 5. Chỉ riêng đóng góp của NVIDIA trong top 10 đã đạt gần 1 exaflop về HPC và 72 exaflops về hiệu suất AI.

Danh sách mới chứa số lượng hệ thống cao nhất từng sử dụng công nghệ của NVIDIA, 379 so với 372 vào tháng 5, bao gồm 38 trong số 49 siêu máy tính mới trong danh sách.

Microsoft Azure dẫn đầu những khách hàng mới với hệ thống Eagle – sử dụng những GPU H100 trong các instance NDv5 để đạt vị trí thứ 3 với 561 petaflops. Mare Nostrum5 ở Barcelona xếp thứ 8 và NVIDIA Eos – gần đây đã lập những kỷ lục đào tạo AI mới theo điểm chuẩn MLPerf – đứng ở vị trí thứ 9.

Thể hiện hiệu quả sử dụng năng lượng, các NVIDIA GPU hỗ trợ 23 trong số 30 hệ thống hàng đầu trên Green500. Và họ vẫn giữ vị trí số 1 với hệ thống Henri dựa trên GPU H100, mang lại 65.09 gigaflops mỗi watt cho Viện Flatiron ở New York.

GenAI khám phá COVID

Để chứng minh những gì có thể xảy ra , Phòng thí nghiệm quốc gia Argonne đã sử dụng NVIDIA BioNeMo, một nền tảng Generative AI dành cho các LLM sinh học phân tử, để phát triển GenSLM – một mô hình có thể tạo ra các chuỗi gen gần giống với các biến thể trong thế giới thực của vi rút corona. Sử dụng các NVIDIA GPU và dữ liệu từ 1.5 triệu trình tự bộ gen COVID, nó cũng có thể nhanh chóng xác định các biến thể vi rút mới.

Công trình đã thắng giải thưởng đặc biệt Gordon Bell vào năm ngoái và được đào tạo trên các siêu máy tính, trong đó có hệ thống Polaris của Argonne, Perlmutter của Bộ Năng lượng Mỹ và Selene của NVIDIA .

Kimberly Powell, phó chủ tịch mảng chăm sóc sức khỏe tại NVIDIA, cho biết: “Đó chỉ là phần nổi của tảng băng chìm – tương lai tràn ngập những khả năng, khi GenAI tiếp tục định nghĩa lại bối cảnh của khám phá khoa học”.

Tiết kiệm thời gian, tiền bạc và năng lượng

Buck cho biết, việc sử dụng các công nghệ mới nhất, các khối lượng công việc được tăng tốc có thể giúp giảm đáng kể chi phí hệ thống và sử dụng năng lượng.

Ví dụ, Siemens đã hợp tác với Mercedes để phân tích khí động học và âm học liên quan cho các loại xe điện EQE mới của họ. Các mô phỏng mất hàng tuần trên các cụm CPU chạy nhanh hơn đáng kể khi sử dụng các GPU NVIDIA H100 mới nhất. Ngoài ra, GPU Hopper còn cho phép chúng giảm chi phí gấp 3 lần và giảm mức tiêu thụ năng lượng gấp 4 lần (ảnh dưới).

Chuyển dịch sang 200 Exaflops bắt đầu từ năm tới

Những tiến bộ khoa học và công nghiệp sẽ đến từ mọi nơi trên thế giới, nơi các hệ thống mới nhất đang được triển khai.

Buck cho biết: “Chúng tôi đã thấy tổng cộng 200 exaflops AI trên những siêu máy tính Grace Hopper sẽ được sản xuất vào năm 2024”.

Chúng bao gồm siêu máy tính JUPITER khổng lồ tại trung tâm Jülich của Đức. Nó có thể mang lại 93 exaflops hiệu suất cho đào tạo AI và 1 exaflop cho các ứng dụng HPC, trong khi chỉ tiêu thụ 18.2 megawatt điện.

Các trung tâm nghiên cứu đã sẵn sàng tạo nên một cơn sóng thần hiệu suất mang tên GH200.

Dựa trên hệ thống làm mát bằng chất lỏng BullSequana XH3000 của Eviden, JUPITER sẽ sử dụng kiến trúc hệ thống NVIDIA quad GH200 và NVIDIA Quantum-2 InfiniBand networking để dự báo khí hậu và thời tiết, khám phá thuốc, điện toán lượng tử lai và các bản sao kỹ thuật số (digital twins). Các node JUPITER quad GH200 sẽ được cấu hình với 864GB bộ nhớ tốc độ cao.

Nó là một trong số những siêu máy tính mới sử dụng Grace Hopper mà NVIDIA đã công bố tại SC23.

Hệ thống HPE Cray EX2500 từ Hewlett Packard Enterprise sẽ sử dụng quad GH200 để hỗ trợ cho nhiều siêu máy tính AI sắp ra mắt vào năm tới.

HPE sử dụng quad GH200 để hỗ trợ cho OFP-II, một hệ thống HPC tiên tiến ở Nhật Bản được sử dụng chung bởi Đại học Tsukuba và Đại học Tokyo, cũng như hệ thống DeltaAI, sẽ tăng gấp 3 năng lực tính toán cho Trung tâm quốc gia về ứng dụng siêu máy tính của Hoa Kỳ.

HPE cũng đang xây dựng hệ thống Venado cho Phòng thí nghiệm quốc gia Los Alamos, GH200 đầu tiên được triển khai tại Mỹ. Ngoài ra, HPE đang xây dựng các siêu máy tính GH200 tại Trung Đông, Thụy Sĩ và Anh

Grace Hopper tại Texas và xa hơn nữa

Tại Texas Advanced Computing Center (TACC), Dell Technologies đang xây dựng siêu máy tính Vista với các siêu chip NVIDIA Grace Hopper và Grace CPU.

Buck cho biết hơn 100 doanh nghiệp và tổ chức toàn cầu, bao gồm Trung tâm Nghiên cứu Ames của NASA và Total Energies, đã mua hệ thống truy cập sớm Grace Hopper.

Họ tham gia cùng những người dùng GH200 đã được công bố trước đó như SoftBank và Đại học Bristol, cũng như hệ thống Leonardo khổng lồ với 14.000 GPU NVIDIA A100 mang lại 10 exaflops hiệu suất AI cho tập đoàn Cineca của Ý.

Góc nhìn từ các trung tâm siêu máy tính

Các nhà lãnh đạo từ các trung tâm siêu máy tính trên khắp thế giới đã chia sẻ kế hoạch và quá trình làm việc của họ với các hệ thống mới nhất.

“Chúng tôi đã cộng tác với MeteoSwiss ECMWP cũng như các nhà khoa học từ ETH EXCLAIM và dự án Earth-2 của NVIDIA để tạo ra một hạ tầng có thể thúc đẩy mọi khía cạnh của phân tích dữ liệu lớn và điện toán quy mô cực lớn” – Thomas Schultess, giám đốc Trung tâm siêu máy tính quốc gia Thuỵ Sĩ cho hay.

Dan Stanzione, giám đốc điều hành của TACC, cho biết về Vista: “Có những mức tăng hiệu quả sử dụng năng lượng thực sự ấn tượng trên các hệ thống của chúng tôi”.

Đó “thực sự là bước đệm để chuyển người dùng từ các loại hệ thống mà chúng tôi đã làm trước đây sang xem xét sự kết hợp chặt chẽ giữa CPU Grace Arm và GPU Hopper mới này và chúng tôi đang tìm cách mở rộng quy mô có lẽ lên gấp 10 hoặc 15 lần so với những gì chúng tôi đang triển khai với Vista khi chúng tôi triển khai Horizon trong vài năm tới,” ông nói.

Tăng tốc hành trình lượng tử

Các nhà nghiên cứu cũng đang sử dụng các hệ thống được tăng tốc của hôm nay để mở đường cho các siêu máy tính của ngày mai.

Tại Đức, JUPITER “sẽ cách mạng hóa nghiên cứu khoa học về khí hậu, vật liệu, khám phá thuốc và điện toán lượng tử”, Kristel Michelson – người dẫn đầu nhóm nghiên cứu về xử lý thông tin lượng tử của Julich cho hay.

Bà nói thêm: “Kiến trúc của JUPITER cũng cho phép tích hợp liền mạch các thuật toán lượng tử với các thuật toán HPC song song và đây là điều bắt buộc đối với các mô phỏng lai HPC lượng tử hiệu quả”.

CUDA Quantum thúc đẩy tiến độ

Bài phát biểu quan trọng cũng cho thấy NVIDIA CUDA Quantum – một nền tảng dành cho lập trình CPU, GPU và các máy tính lượng tử còn được gọi là các QPU – đang thúc đẩy nghiên cứu về điện toán lượng tử như thế nào.

Các nhà nghiên cứu tại BASF, công ty hóa chất lớn nhất thế giới, đã đi tiên phong trong phương pháp cổ điển-lượng tử lai mới để mô phỏng các hóa chất có thể bảo vệ con người chống lại các kim loại độc hại. Họ tham gia cùng các nhà nghiên cứu tại Phòng thí nghiệm quốc gia Brookhaven và HPE – những người đang thúc đẩy các lĩnh vực khoa học với CUDA Quantum.

NVIDIA cũng công bố hợp tác với Classiq, nhà phát triển công cụ lập trình lượng tử, để thành lập trung tâm nghiên cứu khoa học đời sống tại Trung tâm Y tế Tel Aviv Sourasky, bệnh viện giảng dạy lớn nhất Israel. Trung tâm sẽ sử dụng phần mềm của Classiq và CUDA Quantum chạy trên hệ thống NVIDIA DGX H100.

Riêng biệt, Quantum Machines sẽ triển khai NVIDIA DGX Quantum đầu tiên, một hệ thống sử dụng các siêu chip Grace Hopper, tại Trung tâm Lượng tử Quốc gia Israel nhằm mục đích thúc đẩy những tiến bộ trong các lĩnh vực khoa học. Hệ thống DGX sẽ được kết nối với QPU siêu dẫn của Quantware và QPU quang tử của ORCA Computing, cả hai đều được hỗ trợ bởi CUDA Quantum.

Buck cho biết: “Chỉ trong hai năm, nền tảng điện toán lượng tử NVIDIA của chúng tôi đã thu hút được hơn 120 đối tác (hình trên), một minh chứng cho nền tảng mở, đổi mới của nó”.

Nhìn chung, công việc trên nhiều lĩnh vực khám phá cho thấy một xu hướng mới kết hợp điện toán tăng tốc ở quy mô trung tâm dữ liệu với sự đổi mới toàn diện từ NVIDIA.

Ông kết luận: “Điện toán tăng tốc đang mở đường cho điện toán bền vững với những tiến bộ không chỉ mang lại công nghệ tuyệt vời mà còn mang lại một tương lai bền vững và có tác động hơn”.

Xem SC23 Special Address của NVIDIA bên dưới.

Theo NVIDIA

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

____
Bài viết liên quan