Nền tảng VMware Private AI Foundation mới với NVIDIA cho phép các doanh nghiệp sẵn sàng cho hoạt động kinh doanh của họ với Generative AI; Nền tảng hỗ trợ thêm về quyền riêng tư, bảo mật và kiểm soát dữ liệu.
Tại VMware Explore 2023, VMware và NVIDIA vừa công bố mở rộng quan hệ đối tác chiến lược của họ để sẵn sàng cho hàng trăm nghìn doanh nghiệp chạy trên hạ tầng đám mây của VMware cho kỷ nguyên Generative AI (AI tạo sinh).
VMware Private AI Foundation với NVIDIA sẽ cho phép các doanh nghiệp tùy chỉnh các mô hình và chạy các ứng dụng AI tạo sinh, bao gồm chatbot thông minh, trợ lý ảo, tìm kiếm và tóm tắt. Nền tảng này sẽ là một giải pháp tích hợp đầy đủ có phần mềm AI tạo sinh và tính toán tăng tốc từ NVIDIA, được xây dựng trên VMware Cloud Foundation và được tối ưu hóa cho AI.
Raghu Raghuram, Giám đốc điều hành của VMware cho biết: “Generative AI và multi-cloud là sự kết hợp hoàn hảo. Dữ liệu khách hàng ở khắp mọi nơi — trong trung tâm dữ liệu, ở rìa mạng và trên đám mây của họ. Cùng với NVIDIA, chúng tôi sẽ trao quyền cho các doanh nghiệp tự tin chạy các tải xử lý AI tạo sinh bên cạnh dữ liệu của họ, đồng thời giải quyết các mối lo ngại về quyền riêng tư, bảo mật và kiểm soát dữ liệu của công ty họ”.
Jensen Huang, nhà sáng lập kiêm Giám đốc điều hành của NVIDIA cho biết: “Các doanh nghiệp ở khắp mọi nơi đang chạy đua để tích hợp Trí tuệ Nhân tạo vào hoạt động kinh doanh của họ. “Sự hợp tác mở rộng của chúng tôi với VMware sẽ cung cấp cho hàng trăm nghìn khách hàng — trong các dịch vụ tài chính, y tế, sản xuất, v.v. — phần mềm và nền tảng điện toán toàn diện mà họ cần để mở khóa tiềm năng của AI tạo sinh bằng cách sử dụng các ứng dụng tùy chỉnh được xây dựng bằng dữ liệu của chính họ.”
Giải pháp điện toán toàn diện để tăng cường cho Generative AI
Để đạt được lợi ích kinh doanh nhanh hơn, các doanh nghiệp đang tìm cách chuẩn hóa quy trình phát triển, thử nghiệm và triển khai các ứng dụng AI tạo sinh. McKinsey ước tính rằng AI tạo sinh có thể giúp mang về 4,4 nghìn tỷ USD hàng năm cho nền kinh tế toàn cầu.
VMware Private AI Foundation với NVIDIA sẽ cho phép các doanh nghiệp khai thác khả năng này, tùy chỉnh các mô hình ngôn ngữ lớn; sản xuất các mô hình riêng tư và an toàn hơn cho việc sử dụng nội bộ của họ; và cung cấp AI tạo sinh như một dịch vụ cho người dùng của họ; và chạy tải xử lý suy luận trên quy mô lớn một cách an toàn hơn.
Nền tảng này dự kiến sẽ bao gồm các công cụ AI tích hợp để trao quyền cho các doanh nghiệp chạy các mô hình đã được kiểm chứng được đào tạo trên dữ liệu riêng tư của họ theo cách tiết kiệm chi phí. Được xây dựng trên phần mềm VMware Cloud Foundation và NVIDIA AI Enterprise , những lợi ích dự kiến của nền tảng này sẽ bao gồm:
- Quyền riêng tư – Sẽ cho phép khách hàng dễ dàng chạy các dịch vụ AI liền kề ở bất kỳ nơi nào họ có dữ liệu với kiến trúc bảo vệ quyền riêng tư của dữ liệu và cho phép truy cập an toàn.
- Lựa chọn — Các doanh nghiệp sẽ có nhiều lựa chọn về nơi xây dựng và chạy mô hình của mình — từ NVIDIA NeMo™ đến Llama 2 và hơn thế nữa — bao gồm các cấu hình phần cứng OEM hàng đầu và trong tương lai là trên các dịch vụ của nhà cung cấp dịch vụ và dịch vụ đám mây.
- Hiệu suất — Chạy trên cơ sở hạ tầng được tăng tốc của NVIDIA sẽ mang lại hiệu suất ngang bằng và thậm chí vượt xa vật lý trong một số ứng dụng, như đã được chứng minh trong các tiêu chuẩn ngành gần đây .
- Quy mô trung tâm dữ liệu — Tối ưu hóa quy mô GPU trong môi trường ảo hóa sẽ cho phép tải xử lý AI mở rộng quy mô lên tới 16 vGPU/GPU trong một máy ảo và trên nhiều nút để tăng tốc độ tinh chỉnh và triển khai mô hình AI tạo sinh.
- Chi phí thấp hơn — Sẽ tối đa hóa việc sử dụng tất cả các tài nguyên điện toán trên GPU, DPU và CPU để giảm chi phí tổng thể, đồng thời tạo ra một môi trường tài nguyên gộp có thể được chia sẻ hiệu quả giữa các nhóm.
- Lưu trữ tăng tốc — Kiến trúc lưu trữ VMware vSAN Express sẽ cung cấp lưu trữ NVMe được tối ưu hóa hiệu suất và hỗ trợ lưu trữ GPUDirect® qua RDMA, cho phép truyền I/O trực tiếp từ lưu trữ sang GPU mà không cần sự tham gia của CPU.
- Kết nối mạng được tăng tốc — Sự tích hợp sâu giữa công nghệ vSphere và NVIDIA NVSwitch™ sẽ tiếp tục cho phép các mô hình đa GPU thực thi mà không bị tắc nghẽn giữa các GPU.
- Triển khai nhanh chóng và thời gian để tạo ra giá trị — kho lưu trữ hình ảnh và hình ảnh vSphere Deep Learning VM sẽ cho phép khả năng tạo nguyên mẫu nhanh bằng cách cung cấp hình ảnh giải pháp chìa khóa trao tay ổn định bao gồm các khung và thư viện được tối ưu hóa hiệu suất được cài đặt sẵn.
Nền tảng này sẽ có NVIDIA NeMo , một khung tổng thể, dựa trên đám mây có trong NVIDIA AI Enterprise — hệ điều hành của nền tảng NVIDIA AI — cho phép các doanh nghiệp xây dựng, tùy chỉnh và triển khai các mô hình AI tạo sinh hầu như ở mọi nơi. NeMo kết hợp các khung tùy chỉnh, bộ công cụ lan can, công cụ quản lý dữ liệu và các mô hình được đào tạo trước để cung cấp cho doanh nghiệp một cách dễ dàng, tiết kiệm chi phí và nhanh chóng để áp dụng AI tạo sinh.
Để triển khai AI tạo sinh trong sản xuất, NeMo sử dụng TensorRT cho Mô hình ngôn ngữ lớn (TRT-LLM), giúp tăng tốc và tối ưu hóa hiệu suất suy luận trên các LLM mới nhất trên GPU NVIDIA. Với NeMo, VMware Private AI Foundation với NVIDIA sẽ cho phép các doanh nghiệp lấy dữ liệu của riêng họ để xây dựng và chạy các mô hình AI tạo sinh tùy chỉnh trên cơ sở hạ tầng đám mây hỗn hợp của VMware.
Tại VMware Explore 2023, NVIDIA và VMware sẽ nêu bật cách các nhà phát triển trong doanh nghiệp có thể sử dụng NVIDIA AI Workbench mới để kéo các mô hình cộng đồng, như Llama 2, có sẵn trên Hugging Face , tùy chỉnh chúng từ xa và triển khai AI tạo sinh cấp sản xuất trong môi trường VMware.
Hỗ trợ hệ sinh thái rộng rãi cho VMware Private AI Foundation Với NVIDIAVMware Private AI Foundation với NVIDIA sẽ được hỗ trợ bởi Dell Technologies, Hewlett Packard Enterprise và Lenovo — đây sẽ là một trong những công ty đầu tiên cung cấp các hệ thống tăng cường khả năng tùy chỉnh LLM doanh nghiệp và tải xử lý suy luận với GPU NVIDIA L40S , DPU NVIDIA BlueField®-3 và NVIDIA ConnectX®-7 SmartNIC .
GPU NVIDIA L40S cho phép hiệu suất suy luận AI cao hơn tới 1,2 lần và hiệu suất đào tạo cao hơn tới 1,7 lần so với GPU NVIDIA A100 Tensor Core.
DPU NVIDIA BlueField-3 tăng tốc, giảm tải và cách ly khối lượng điện toán khổng lồ của ảo hóa, kết nối mạng, lưu trữ, bảo mật và các dịch vụ AI gốc trên đám mây khác khỏi GPU hoặc CPU.
NVIDIA ConnectX-7 SmartNIC cung cấp kết nối mạng thông minh, tăng tốc cho cơ sở hạ tầng trung tâm dữ liệu để tăng cường một số tải xử lý AI đòi hỏi khắt khe nhất trên thế giới.
VMware Private AI Foundation với NVIDIA được xây dựng dựa trên quan hệ đối tác kéo dài hàng thập kỷ của các công ty. Công việc hợp tác kỹ thuật của họ đã tối ưu hóa cơ sở hạ tầng đám mây của VMware để chạy NVIDIA AI Enterprise với hiệu suất tương đương với vật lý. Các khách hàng chung sẽ được hưởng lợi nhiều hơn từ khả năng quản lý tài nguyên và cơ sở hạ tầng cũng như tính linh hoạt được hỗ trợ bởi VMware Cloud Foundation.
Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).
Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?
Bài viết liên quan
- GPUDirect RDMA là gì?
- GPUDirect Storage là gì?
- So sánh các GPU Tensor Core của NVIDIA: B200, B100, H200, H100, A100
- NVIDIA giới thiệu nền tảng microservice Metropolis để chạy ứng dụng Edge AI trên Jetson
- Phát triển ứng dụng AI tại biên với NVIDIA Jetson AGX Orin & Developer Kit
- HPE và NVIDIA công bố ‘NVIDIA AI Computing by HPE’ để thúc đẩy cuộc cách mạng AI tạo sinh