Tính toán song song: Tại sao GPU được sử dụng trong Deep Learning Các tải xử lý deep learning và AI như xây dựng, đào tạo và suy luận đều yêu cầu một lượng lớn tài nguyên máy tính. Phần lớn chúng là các hệ thống được thực thi song song vì mạng nơ-ron học…
Thẻ: cuda
CUDA
CUDA là một nền tảng điện toán song song (parallel computing) và giao diện lập trình ứng dụng (API) được tạo bởi NVidia. Nó cho phép các nhà phát triển phần mềm và kỹ sư phần mềm khai thác các bộ xử lý đồ họa (GPU) hỗ trợ CUDA để thực hiện các xử lý…
NCCL
NCCL – NVIDIA Collective Communications Library: Thư viện NVIDIA Collective Communication (NCCL) triển khai các giao tiếp multi-GPU và multi-cloud được tối ưu hóa cho GPU NVIDIA. NCCL cung cấp các routines như all-gather, all-reduce, scatter, reduce, broadcast, được tối ưu hóa để đạt băng thông cao qua kết nối tốc độ cao PCIe và NVLink. ____Bài…
OpenAcc
OpenACC: Là một mô hình lập trình song song hiệu năng cao, user-driven, directive-based, được thiết kế cho các nhà khoa học và kỹ sư quan tâm đến việc chuyển mã của họ sang nhiều nền tảng phần cứng HPC không đồng nhất và kiến trúc với nỗ lực lập trình ít hơn đáng kể…
cuFFT
cuFFT – NVIDIA CUDA Fast Fourier Transform: Là một thư viện cơ sở dựa trên các thuật toán Cooley-Tukey và Bluestein nổi tiếng. Nó được sử dụng để xây dựng các ứng dụng thương mại và học thuật trên các lĩnh vực như vật lý tính toán, động lực phân tử, hóa lượng tử, hình ảnh…
TensorRT
TensorRT Inference Server: NVIDIA TensorRT Inference Server cung cấp giải pháp inference trên nền cloud được tối ưu hóa cho GPU NVIDIA. Là một máy chủ cung cấp dịch vụ suy luận (inference) qua HTTP hoặc gRPC endpoint, cho phép các máy khách có thể gởi yêu cầu inference từ xa cho bất kỳ mô hình…
CUTLASS
CUTLASS – CUDA Templates for Linear Algebra Subroutines: Là một tập hợp các template và lớp abstract của CUDA trên C++ để thực hiện các phép tính GEMM hiệu năng cao ở tất cả các cấp và quy mô bên trong CUDA kernel. Không giống như các thư viện GPU dạng template cho đại số…
cuBLAS
cuBLAS – CUDA Basic Linear Algebra Subroutines: Là thư viện được GPU tăng tốc của các phép toán phương trình đại số tuyến tính cơ bản. Sử dụng cuBLAS API, bạn có thể tăng tốc ứng dụng của bạn bằng cách triển khai các hoạt động tính toán cường độ cao vào một GPU hoặc scale-up và…
cuDNN
cuDNN – NVidia CUDA® Deep Neural Network: Là một thư viện nền tảng cho các deep neural network được tăng tốc bởi GPU. cuDNN cung cấp các thiết lập được tinh chỉnh cho các thủ tục được chuẩn hóa như forward and backward convolution, pooling, normalization và các lớp kích hoạt. cuDNN là một phần của…
RAPIDS
RAPIDS: Là một bộ thư viện phần mềm trên Python giúp việc tương tác trong các quy trình phân tích dữ liệu lớn, big data, khai thác sức mạnh của GPU. Nó dựa trên kiến trúc CUDA của NVidia để tối ưu hóa các tập lệnh cấp thấp và cung cấp năng lực xử lý…