NVIDIA mang trợ lý AI vào cuộc sống với GeForce RTX AI PC

Tại sự kiện COMPUTEX, NVIDIA đã công bố công nghệ NVIDIA RTX mới để hỗ trợ cho trợ lý AI (AI assistants) và nhân vật số (digital humans) chạy trên những chiếc laptop GeForce RTX AI mới.

NVIDIA đã giới thiệu Project G-Assist — một demo công nghệ trợ lý AI được hỗ trợ bởi RTX nhằm cung cấp trợ giúp nhận biết ngữ cảnh cho các trò chơi và ứng dụng trên PC. Bản demo công nghệ Project G-Assist đã ra mắt với ARK: Survival Ascended từ Studio Wildcard. NVIDIA cũng đã giới thiệu microservice suy luận NVIDIA NIM dựa trên PC đầu tiên dành cho nền tảng digital human NVIDIA ACE.

Những công nghệ này được hỗ trợ bởi NVIDIA RTX AI Toolkit, một bộ công cụ phát triển phần mềm mới, hỗ trợ các nhà phát triển tối ưu hóa và triển khai các mô hình AI tạo sinh (GenAI) lớn trên Windows PC. Chúng tham gia vào những cải tiến RTX AI toàn diện của NVIDIA, giúp tăng tốc hơn 500 ứng dụng và trò chơi PC cũng như 200 thiết kế laptop từ các nhà sản xuất.

Ngoài ra, những laptop RTX AI PC mới được công bố từ ASUS và MSI được trang bị GPU GeForce RTX 4070 và systems-on-a-chip tiết kiệm năng lượng với những khả năng của Windows 11 AI PC. Những AI PC này sẽ nhận được bản cập nhật miễn phí cho các trải nghiệm Copilot+ PC khi có sẵn.

Jason Paul, phó chủ tịch AI tiêu dùng tại NVIDIA cho biết: “NVIDIA đã khởi đầu kỷ nguyên của AI PC vào năm 2018 với việc phát hành GPU RTX Tensor Core và NVIDIA DLSS. Giờ đây, với Project G-Assist và NVIDIA ACE, chúng tôi đang mở ra thế hệ trải nghiệm tiếp theo được hỗ trợ bởi AI cho hơn 100 triệu người dùng RTX AI PC.”

Project G-Assist – GeForce AI Assistant

Các trợ lý AI được thiết lập để nâng cấp trải nghiệm cho các ứng dụng và game, từ việc đưa ra các chiến lược game và phân tích số lượt chơi multiplayer cho đến hỗ trợ các quy trình làm việc sáng tạo phức tạp. Project G-Assist là một cái nhìn sơ bộ về viễn cảnh này.

Những trò chơi trên PC mang đến các vũ trụ rộng lớn để khám phá và cơ chế phức tạp để thành thạo, đây là những hoạt động đầy thách thức và tốn thời gian ngay cả đối với những game thủ nhiệt huyết nhất. Project G-Assist nhằm mục đích đưa kiến thức về trò chơi vào tầm tay người chơi nhờ việc sử dụng GenAI.

Project G-Assist nhận dữ liệu đầu vào bằng giọng nói hoặc văn bản từ người chơi, cùng với thông tin theo ngữ cảnh từ màn hình trò chơi và chạy dữ liệu thông qua các mô hình AI vision. Các mô hình này nâng cao nhận thức theo ngữ cảnh và hiểu biết cụ thể về ứng dụng của Mô hình ngôn ngữ lớn (LLM) được liên kết với cơ sở dữ liệu kiến thức trò chơi, sau đó tạo ra phản hồi phù hợp được gửi dưới dạng văn bản hoặc lời nói.

NVIDIA hợp tác với Studio Wildcard để demo công nghệ với ARK: Survival Ascended. Project G-Assist có thể giúp trả lời các câu hỏi về sinh vật, vật phẩm, truyền thuyết, mục tiêu, những con trùm khó và hơn thế nữa. Vì Project G-Assist có khả năng nhận biết ngữ cảnh nên nó sẽ cá nhân hóa phản hồi của mình đối với phiên trò chơi của người chơi.

Ngoài ra, Project G-Assist có thể định cấu hình hệ thống gaming của người chơi để có hiệu suất và hiệu quả tối ưu. Nó có thể cung cấp thông tin chi tiết về số liệu hiệu suất, tối ưu hóa cài đặt đồ họa tùy thuộc vào phần cứng của người dùng, áp dụng biện pháp ép xung an toàn và thậm chí giảm mức tiêu thụ điện năng một cách thông minh trong khi vẫn duy trì mục tiêu hiệu suất.

ACE PC NIM đầu tiên ra mắt

Công nghệ NVIDIA ACE hỗ trợ mạnh mẽ cho digital humans hiện đang có mặt trên các PC và máy trạm RTX AI với NVIDIA NIM – các microservice suy luận cho phép các nhà phát triển giảm thời gian triển khai từ vài tuần xuống còn vài phút. ACE NIM microservices cung cấp khả năng suy luận chất lượng cao chạy cục bộ trên các thiết bị để hiểu ngôn ngữ tự nhiên, tổng hợp giọng nói, tạo hoạt hình khuôn mặt,…

Tại COMPUTEX, màn ra mắt gaming của NVIDIA ACE NIM trên PC được giới thiệu trong bản demo công nghệ Covert Protocol, được phát triển cùng sự hợp tác với Inworld AI. Hiện tại nó cho thấy khả năng nhận dạng giọng nói tự động với NVIDIA Audio2Face và NVIDIA Riva chạy cục bộ trên các thiết bị.

Windows Copilot Runtime – bổ sung khả năng tăng tốc GPU cho Local PC SLM

Microsoft và NVIDIA đang hợp tác để giúp các nhà phát triển mang lại những khả năng của GenAI mới vào các ứng dụng web và ứng dụng gốc Windows của họ. Sự hợp tác này sẽ cung cấp cho các nhà phát triển ứng dụng khả năng truy cập API dễ dàng vào các Mô hình ngôn ngữ nhỏ (SLMs) được tăng tốc bởi GPU, cho phép các khả năng Retrieval-Augmented Generation (RAG) chạy trên thiết bị như một phần của Windows Copilot Runtime.

SLM cung cấp những khả năng to lớn cho các nhà phát triển Windows, bao gồm tóm tắt nội dung, tạo nội dung và tự động hóa tác vụ. Các khả năng của RAG tăng cường SLM bằng việc cấp cho các mô hình AI quyền truy cập vào thông tin cụ thể về từng lĩnh vực không được thể hiện rõ trong các mô hình cơ sở. RAG API cho phép các nhà phát triển khai thác các nguồn dữ liệu dành riêng cho ứng dụng và điều chỉnh hành vi cũng như khả năng SLM theo nhu cầu của ứng dụng.

Những khả năng AI này sẽ được tăng tốc nhờ GPU NVIDIA RTX, cũng như các bộ tăng tốc AI từ các nhà cung cấp phần cứng khác, mang đến cho người dùng cuối trải nghiệm AI nhanh và nhạy trên toàn bộ hệ sinh thái Windows.

API sẽ được phát hành dưới dạng preview dành cho nhà phát triển vào cuối năm nay.

Các mô hình nhanh hơn 4 lần, nhỏ hơn 3 lần với RTX AI Toolkit

Hệ sinh thái AI đã xây dựng hàng trăm nghìn mô hình nguồn mở để các nhà phát triển ứng dụng tận dụng, nhưng hầu hết các mô hình đều được đào tạo trước cho các mục đích chung và được xây dựng để chạy trong trung tâm dữ liệu.

Để giúp các nhà phát triển xây dựng các mô hình AI dành riêng cho ứng dụng chạy trên PC, NVIDIA đã giới thiệu giải pháp RTX AI Toolkit – một bộ công cụ và SDK để tùy biến, tối ưu hóa và triển khai mô hình trên các RTX AI PC. RTX AI Toolkit sẽ ra mắt vào cuối tháng này để nhà phát triển có quyền truy cập rộng rãi hơn.

Các nhà phát triển có thể tùy chỉnh mô hình được đào tạo trước (pretrained model) với các công cụ QLoRa open-source. Sau đó, họ có thể sử dụng trình tối ưu hóa mô hình NVIDIA TensorRT để lượng tử hóa các mô hình nhằm tiêu thụ RAM ít hơn tới 3 lần. Sau đó, NVIDIA TensorRT Cloud sẽ tối ưu hóa mô hình để đạt hiệu suất cao nhất trên các dòng GPU RTX. Kết quả là hiệu suất nhanh hơn gấp 4 lần so với pretrained model.

NVIDIA AI Inference Manager SDK mới, hiện có sẵn ở dạng truy cập sớm, giúp đơn giản hóa việc triển khai ACE trên PC. Nó cấu hình sẵn PC với các model, engine và dependencies AI cần thiết trong khi điều phối suy luận AI một cách liền mạch trên PC và cloud.

Các đối tác phần mềm như Adobe, Blackmagic Design và Topaz đang tích hợp các thành phần của RTX AI Toolkit vào các ứng dụng sáng tạo phổ biến của họ để tăng tốc hiệu suất AI trên RTX PC.

Deepa Subramaniam, phó chủ tịch tiếp thị sản phẩm, Creative Cloud tại Adobe cho biết: “Adobe và NVIDIA tiếp tục hợp tác để mang lại trải nghiệm đột phá cho khách hàng trên tất cả các quy trình làm việc sáng tạo, từ video đến hình ảnh, thiết kế, 3D và hơn thế nữa. TensorRT 10.0 trên RTX PC mang lại hiệu suất chưa từng có và những khả năng được hỗ trợ bởi AI cho nhà sáng tạo, nhà thiết kế và nhà phát triển, mở ra những khả năng sáng tạo mới để tạo nội dung trong các công cụ sáng tạo hàng đầu trong ngành như Photoshop.”

Các thành phần của RTX AI Toolkit, chẳng hạn như TensorRT-LLM, được tích hợp trong các framework và ứng dụng dành cho nhà phát triển phổ biến đối với AI tạo sinh, bao gồm Automat11, ComfyUI, Jan.AI, LangChain, LlamaIndex, Oobabooga và Sanctum.AI.

AI đối với sáng tạo nội dung

NVIDIA cũng đang tích hợp khả năng tăng tốc RTX AI vào các ứng dụng dành cho creator, modder và những người đam mê video.

Năm ngoái, NVIDIA đã giới thiệu khả năng tăng tốc RTX sử dụng TensorRT cho một trong những giao diện người dùng Stable Diffusion phổ biến nhất, Automatic1111. Bắt đầu từ tuần này, RTX cũng sẽ tăng tốc ComfyUI – đã rất phổ biến, mang lại hiệu suất cải thiện tới 60% so với phiên bản hiện đang được vận chuyển và hiệu suất nhanh hơn 7 lần so với MacBook Pro M3 Max.

NVIDIA RTX Remix là một nền tảng modding để remaster các trò chơi DirectX 8 và DirectX 9 cổ điển với tính năng dò tia đầy đủ, NVIDIA DLSS 3.5 và các vật liệu chính xác về mặt vật lý. RTX Remix bao gồm runtime renderer và ứng dụng RTX Remix Toolkit, hỗ trợ việc modding asset và material trong trò chơi.

Năm ngoái, NVIDIA đã tạo ra RTX Remix Runtime mã nguồn mở, cho phép các modder mở rộng khả năng tương thích của trò chơi và nâng cao khả năng render.

Kể từ khi RTX Remix Toolkit ra mắt vào đầu năm nay, 20.000 modder đã sử dụng nó để mod các trò chơi cổ điển, cho ra hơn 100 bản remaster RTX đang được phát triển trên RTX Remix Showcase Discord.

Trong tháng này, NVIDIA sẽ biến RTX Remix Toolkit thành nguồn mở, cho phép modder chuẩn hóa asset được thay thế và scene được bật lại, tăng các định dạng tệp được hỗ trợ cho trình nhập asset của RTX Remix và củng cố AI Texture Tools của RTX Remix với các model mới.

Ngoài ra, NVIDIA đang làm cho các khả năng của RTX Remix Toolkit có thể truy cập được thông qua REST API, cho phép modder liên kết trực tiếp RTX Remix với các công cụ tạo nội dung kỹ thuật số như Blender, các công cụ modding như Hammer và các ứng dụng GenAI như ComfyUI. NVIDIA cũng đang cung cấp SDK cho RTX Remix Runtime để cho phép modder triển khai trình kết xuất của RTX Remix vào các ứng dụng và trò chơi khác ngoài DirectX 8 và 9 cổ điển.

Với việc ngày càng nhiều nền tảng RTX Remix được tạo thành nguồn mở, các modder trên toàn cầu có thể xây dựng các bản remaster RTX tuyệt đẹp hơn nữa.

NVIDIA RTX Video, tính năng siêu phân giải phổ biến được hỗ trợ bởi AI, tương thích với trình duyệt Google Chrome, Microsoft Edge và Mozilla Firefox, hiện có sẵn dưới dạng SDK cho tất cả các nhà phát triển, giúp họ tích hợp AI một cách tự nhiên để upscale, làm sắc nét, giảm hiện tượng nén và chuyển đổi HDR.

Sắp có trên phần mềm chỉnh sửa video DaVinci Resolve và Wondershare Filmora của Blackmagic Design, RTX Video sẽ cho phép video editor nâng cấp các tệp video chất lượng thấp hơn lên độ phân giải 4K, cũng như chuyển đổi các tệp nguồn SDR thành HDR. Ngoài ra, trình phát đa phương tiện miễn phí VLC media sẽ sớm bổ sung RTX Video HDR vào khả năng siêu phân giải hiện có.

____
Bài viết liên quan