Huấn luyện mô hình hàng trăm tỷ tham số ngay tại bàn với MSI EdgeXpert

Mẫu máy tính trí tuệ nhân tạo (AI PC) MSI EdgeXpert được thiết kế như một siêu máy tính AI để bàn nhỏ gọn, giúp các nhà phát triển, nhà nghiên cứu và nhà khoa học dữ liệu có thể khai thác sức mạnh tính toán hiệu năng cao ngay tại bàn làm việc. Bạn có thể sử dụng nó để phát triển AI với hiệu quả cao nhờ tích hợp siêu chip GB10 của NVIDIA và các gói phần mềm phát triển AI liền mạch thuộc hệ sinh thái AI của NVIDIA.

Đặc biệt với khả năng cho phép ghép nối hai thiết bị EdgeXpert qua giao diện mạng hiệu suất cao ConnectX, cho phép mở rộng mô hình từ 200 tỷ tham số lên tới 400 tỷ tham số. Nhờ đó, hệ thống đủ sức xử lý các mô hình Computer Vision, NLP và cả LLMs quy mô hàng trăm tỷ tham số.

Hiệu năng lên tới 1000 TOPS (~1 petaFLOPS), điều này đồng nghĩa với việc EdgeXpert có khả năng tính toán lên tới hàng nghìn tỷ phép toán mỗi giây. Với sức mạnh như vậy bạn có thể yên tâm huấn luyện các mô hình AI phức tạp, chạy nhiều pipeline AI song song mà không phải lo về độ trễ.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

Thế Giới Máy Chủ hiện đang cung cấp phiên bản EdgeXpert cao nhất, tích hợp ổ cứng 4TB / PCIe Gen 5 (là phiên bản cao nhất của PCIe, tốc độ đọc ghi tăng gấp 2 lần so với Gen 4), giúp đảm bảo xử lý mượt mà lượng dữ liệu khổng lồ trong quá trình huấn luyện và đặc biệt là khi triển khai inference real-time mà không sợ bị nghẽn cổ chai (I/O bottle-neck). Điều này cực kì quan trọng khi bạn làm việc với dataset hình ảnh, video, hoặc dữ liệu tabular khổng lồ.

Vì EdgeXpert được xây dựng dựa trên kiến trúc NVIDIA, cốt lõi nằm ở bộ xử lý NVIDIA GB10 Grace Blackwell Superchip nên EdgeXpert đã được tối ưu để chạy toàn bộ các framework và mô hình đến từ NVIDIA như:

  • Merlin: Framework tối ưu cho hệ thống gợi ý (recommendation systems), hỗ trợ từ tiền xử lý dữ liệu đến huấn luyện và inference mô hình.
  • Metropolis: nền tảng AI cho đô thị thông minh, thị giác máy tính và giám sát video quy mô lớn.
  • RAPIDS: Bộ thư viện tăng tốc xử lý dữ liệu, ETL, và machine learning trên GPU (cuDF, cuML, cuGraph) với khả năng tích hợp Apache Spark.
  • TensorRT: Framework tối ưu hóa và triển khai inference deep learning với độ trễ thấp, tốc độ cao.
  • Riva: Framework AI cho xử lý ngôn ngữ tự nhiên (NLP) và giọng nói (speech AI) trong thời gian thực.
  • Nemo: Framework huấn luyện và fine-tune Large Language Models (LLMs) và các mô hình NLP hiện đại.
  • DeepStream: Nền tảng AI cho phân tích video và hình ảnh real-time, dùng trong camera thông minh, giám sát và edge AI.

Ngoài ra, MSI EdgeXpert còn được trang bị hệ điều hành NVIDIA DGX OS. Đây là hệ điều hành tối ưu cho GPU, được NVIDIA phát triển từ gốc để đảm bảo hoạt động ổn định khi chạy AI, ML và phân tích dữ liệu ở quy mô lớn.

Vậy ai nên sở hữu hệ thống mạnh mẽ này?

Như mình đã đề cập từ đầu, nếu các bạn là học sinh, sinh viên hoặc là các nhà nghiên cứu, các bạn có thể đầu tư một chiếc EdgeXpert để có thể học tập, nghiên cứu và triển khai mà không cần lo về việc lắp đặt cũng như là giới hạn hạ tầng. Khi bạn đã sở hữu EdgeXpert, bạn chỉ cần cắm điện, bật máy là bạn đã có thể bắt đầu việc huấn luyện – tinh chỉnh – triển khai inference ngay lập tức.

Các doanh nghiệp cũng có thể trang bị hệ thống này như một lựa chọn an toàn và tiết kiệm, cho phép đội ngũ phát triển tinh chỉnh ngay tại bàn để tránh rủi ro về việc thất thoát dữ liệu khi đưa lên cloud.

Nếu hứng thú với sản phẩm này, các bạn có thể tham khảo thông tin và liên hệ đặt hàng tại Thế Giới Máy Chủ để được tư vấn và cập nhật tình trạng hàng hóa sớm nhất tại đây.

▪ Giải pháp nhận diện khuôn mặt tích hợp vào NAS – QVR Face
Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, điện toán hiệu năng cao (HPC) và lưu trữ cho AI. Chúng tôi là đối tác NPN cấp Elite của NVIDIA cho các hệ thống DGX và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Với vai trò là đối tác NPN chính thức của NVIDIA, chúng tôi có thể giúp bạn có được các sản phẩm GPU cao cấp nhất của NVIDIA như L4, L40S, H200, H200 NVL, B200,…, đặc biệt là với thực trạng khan hiếm GPU do các hạn chế thương mại về nhập khẩu GPU như hiện nay.

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

____
Bài viết liên quan

Ethan Lam
Góp ý / Liên hệ tác giả