GPUDirect Storage là gì?

NVIDIA Magnum IO GPUDirect Storage (GDS) cho phép tạo đường dẫn trực tiếp giữa bộ nhớ GPU và các thiết bị lưu trữ cục bộ hoặc từ xa như NVMe hoặc NVMe qua mạng hiệu suất cao (NVMe-oF) và GPU memory để truyền dữ liệu. Di chuyển dữ liệu bỏ qua các đường dẫn dữ liệu truyền thống và CPU giúp giảm độ trễ và giảm tải cho CPU trong các ứng dụng sử dụng nhiều dữ liệu.

Thiết kế NVIDIA GPUDirect Storage

GPUDirect Storage của NVIDIA có một số tính năng cơ bản sau:

Direct Memory Access (DMA) engine. Khả năng DMA cho phép giao tiếp trực tiếp giữa bộ nhớ GPU và thiết bị lưu trữ. Điều này bỏ qua nhu cầu sao chép dữ liệu qua bộ nhớ hệ thống, giảm độ trễ và cải thiện hiệu suất hệ thống tổng thể.

RDMA capabilities. GPUDirect Storage tận dụng công nghệ truy cập bộ nhớ trực tiếp từ xa (RDMA) để truy cập hiệu quả dữ liệu được lưu trữ tại các vị trí bộ nhớ từ xa mà không cần sự tham gia của CPU, đồng thời truyền dữ liệu giữa GPU và các thiết bị lưu trữ qua mạng.

NVIDIA kernel extensions and drivers. Chúng tạo điều kiện thuận lợi cho việc tích hợp GPUDirect Storage và cho phép các đường dẫn truyền dữ liệu hiệu quả giữa bộ nhớ lưu trữ và GPU.

Coherent memory access. GPUDirect Storage đảm bảo việc truy cập bộ nhớ và dữ liệu giữa GPU và thiết bị lưu trữ được nhất quán trong quá trình truyền dữ liệu.

Yêu cầu lưu trữ GPUDirect rất linh hoạt:

Bộ nhớ GPUDirect hỗ trợ nhiều thiết bị lưu trữ, kiến trúc, trình điều khiển và file system tương thích.
Tích hợp với các giải pháp và storage framework hiện có.
Kết nối mạng để truyền dữ liệu dựa trên RDMA (trong một số trường hợp).

Các ví dụ và ứng dụng lưu trữ GPUDirect bao gồm:

Phân tích tăng tốc. GPUDirect Storage giúp giảm đáng kể thời gian tải dữ liệu để tăng tốc độ học máy và đào tạo mô hình AI, đồng thời chuẩn hóa toàn bộ quy trình.
Điện toán hiệu suất cao (HPC). Truy cập dữ liệu tốc độ cao hỗ trợ cho mô phỏng với HPC.
Nghiên cứu khoa học. GPUDirect Storage tăng tốc quá trình xử lý và phân tích dữ liệu để sử dụng trong nghiên cứu bộ gen, tính toán động lực học chất lỏng và mô hình hóa khí hậu.
Xử lý video theo thời gian thực. GPUDirect Storage có thể chuẩn hóa việc truyền dữ liệu video, cho phép mã hóa, giải mã và xử lý các luồng có độ phân giải cao theo thời gian thực.

GPUDirect Storage so với GPUDirect RDMA

Cả GPUDirect Storage và GPUDirect RDMA đều cải thiện hiệu suất mà không gây quá tải cho CPU, nhưng chúng đạt được mục tiêu đó theo những cách khác nhau.

GPUDirect Storage đặc biệt cho phép truyền dữ liệu trực tiếp giữa các thiết bị lưu trữ và bộ nhớ GPU để tối ưu hóa quyền truy cập cho các ứng dụng chạy bằng GPU. Nó hoạt động mà không cần quan tâm đến vị trí lưu trữ.

Ngược lại, GPUDirect RDMA là công nghệ rộng hơn giúp truyền dữ liệu tốc độ cao bằng cách cho phép truy cập bộ nhớ trực tiếp giữa GPU và các thiết bị và hệ thống lưu trữ trên mạng. Công nghệ này hoạt động dựa trên thiết bị hoặc vị trí lưu trữ mà nó đang truy cập.

Lợi ích của GPUDirect Strorage

Lợi ích của GPUDirect Storage bao gồm:

Giảm độ trễ. Bỏ qua CPU trong quá trình truyền dữ liệu giúp giảm độ trễ và tăng băng thông từ 2-8 lần, giúp truy cập dữ liệu nhanh hơn, đọc và ghi nhanh hơn và cải thiện hiệu suất.
Tăng thông lượng. GPUDirect Storage tối ưu hóa đường dẫn truyền dữ liệu, cho phép thông lượng cao hơn giữa các thiết bị lưu trữ và bộ nhớ GPU, nâng cao hiệu quả chung của hệ thống.
Cải thiện quy mô lưu trữ. GPUDirect Storage cho phép truy cập dữ liệu hiệu quả trong môi trường điện toán phân tán và đa GPU, hỗ trợ các ứng dụng quy mô lớn.
Giảm tải CPU. Truyền dữ liệu trực tiếp giữa bộ nhớ lưu trữ và bộ nhớ GPU giúp giảm tải cho CPU, giải phóng tài nguyên CPU cho các tác vụ khác và cải thiện hiệu quả chung của hệ thống.

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, điện toán hiệu năng cao (HPC) và lưu trữ cho AI. Chúng tôi là đối tác NPN cấp Elite của NVIDIA cho các hệ thống DGX và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Với vai trò là đối tác NPN chính thức của NVIDIA, chúng tôi có thể giúp bạn có được các sản phẩm GPU cao cấp nhất của NVIDIA như H100, H100 NVL, L40s,…, đặc biệt là với thực trạng khan hiếm GPU do các hạn chế thương mại về nhập khẩu GPU như hiện nay.

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

____
Bài viết liên quan