Không có câu trả lời rạch ròi nào cho việc chọn GPU nào là tốt nhất để suy luận AI (inference), vì các GPU khác nhau có thể có những ưu điểm và nhược điểm khác nhau tùy thuộc vào loại, kích thước và độ phức tạp của mô hình bạn muốn chạy. Tuy nhiên,…
Thẻ: inference
NVIDIA đưa suy luận lên cấp độ mới qua các bài kiểm tra MLPerf
GPU NVIDIA H100 và L4 đã đưa AI tạo sinh (Generative AI) và tất cả các workload khác lên một cấp độ mới trong các bài kiểm tra điểm benchmark MLPerf mới nhất, trong khi Jetson AGX Orin cho thấy mức tăng hiệu suất và hiệu quả xử lý đáng kể. MLPerf vẫn là phép…
Điểm mặt một số thiết bị edge chuyên dụng cho mục đích suy luận AI (inference)
Điện toán biên (Edge computing) là một khái niệm trong lĩnh vực công nghệ thông tin, nó mô tả việc xử lý và lưu trữ dữ liệu và thực hiện các tác vụ trí tuệ nhân tạo (AI) trên các thiết bị tại chỗ, thay vì truyền tải dữ liệu về cloud hoặc data center…
NVIDIA ra mắt GPU L4 24GB, thay thế cho mẫu GPU NVIDIA Tesla T4 đình đám trước đây
NVIDIA L4 sẽ trở thành mẫu GPU cực kỳ phổ biến vì một lý do đơn giản: form-factor của nó. GPU NVIDIA Tesla T4 đã thành công vang dội khi nó xuất hiện. Nó cung cấp tính năng tensor core và dung lượng bộ nhớ lớn. Lý do thực sự cho sự thành công của Tesla T4…
VinBrain triển khai các mô hình AI y tế cho hơn 100 bệnh viện
Hệ thống NVIDIA DGX SuperPOD và nền tảng NVIDIA Clara cho phép VinBrain phát hiện những bất thường về bệnh tật và đẩy nhanh thời gian chẩn đoán bằng AI. Các bác sĩ hiếm khi đưa ra chẩn đoán dựa trên một yếu tố duy nhất – họ xem xét sự kết hợp của nhiều…
GPU NVIDIA A100 đạt kết quả tốt nhất trong chỉ số Suy Luận AI cho ngành Dịch Vụ Tài Chính
Theo một cuộc khảo sát gần đây, ngành dịch vụ tài chính phụ thuộc rất nhiều vào các kỹ thuật học máy (Machine Learning) và học sâu (Deep Learning) với 3/4 tổ chức trên thế giới dựa vào các công nghệ này. Để đo lường hiệu suất trong lĩnh vực này, điểm chuẩn benchmark (benchmark) có…
Xây dựng nền tảng xử lý biên với máy chủ Supermicro IoT SuperServer SYS-210SE-31A
SYS-210SE-31A là sản phẩm mới nhất của SuperMicro trong phân khúc máy chủ tại biên. SYS-210SE-31A có kích thước 2U, với chiều sâu 430mm nhưng lại cung cấp đến ba nodes với tính năng hotswap, mỗi node hỗ trợ single CPU và tám khe cắm DIMM RAM. Nó cũng có các khe cắm mở rộng PCIe…
Tăng tốc khối lượng công việc suy luận bằng AI với GPU NVIDIA A30
GPU NVIDIA A30 được xây dựng trên Kiến trúc NVIDIA Ampere mới nhất để tăng tốc các tải công việc chuyên sâu như đào tạo và suy luận AI trên quy mô lớn, các ứng dụng HPC cho các máy chủ mainstream trong trung tâm dữ liệu. GPU A30 PCIe kết hợp các Tensor Core thế hệ…
Tương lai của giám sát an ninh bằng AI trên toàn thế giới
Các chính phủ đang ngày càng gia tăng việc sử dụng AI để theo dõi các công dân của họ. Trường hợp được biết đến rộng rãi nhất là ở Trung Quốc, nơi chính phủ hiện đang sử dụng phần mềm nhận dạng khuôn mặt để theo dõi và giám sát hơn một tỷ công…
Supermicro ra mắt một loạt sản phẩm thông minh cho điện toán cạnh biên
Hôm nay tại Mobile World Congress Barcelona, Tây Ban Nha, Super Micro Computer, Inc. (SMCI) đã công bố các hệ thống Edge mới được xây dựng cho trí tuệ nhân tạo (AI) và các workload cho 5G. Các giải pháp mới này được thiết kế để xử lý tất cả khối lượng dữ liệu đáp…