Điện toán biên (Edge computing) là một khái niệm trong lĩnh vực công nghệ thông tin, nó mô tả việc xử lý và lưu trữ dữ liệu và thực hiện các tác vụ trí tuệ nhân tạo (AI) trên các thiết bị tại chỗ, thay vì truyền tải dữ liệu về cloud hoặc data center để xử lý.
Trong kiến trúc edge computing, các thiết bị tại chỗ, gọi là các thiết bị edge hay edge computer, được trang bị phần cứng và phần mềm để thực hiện các tác vụ xử lý dữ liệu, nhận dạng hình ảnh, âm thanh, và thực hiện các tác vụ AI khác ngay tại địa điểm. Các doanh nghiệp có thể sử dụng edge computing để đạt được các lợi ích như tăng tốc độ (giảm độ trễ) xử lý dữ liệu, giảm chi phí lưu trữ và tăng tính sẵn sàng của dịch vụ.
Với edge computer nằm ngay tại địa điểm, dữ liệu có thể được xử lý và phân tích nhanh chóng, giúp cho các ứng dụng trí tuệ nhân tạo trở nên hiệu quả và đáp ứng được yêu cầu thời gian thực. Edge computer cũng giúp giảm thiểu tải cho mạng và giảm độ trễ (latency), do dữ liệu không cần phải được truyền đi đến một trung tâm xử lý chính hoặc cloud trước khi được xử lý và trả về kết quả.
Dưới đây là một số máy tính edge hiện có trên thị trường cho mục đích inference:
- Nvidia Jetson Nano: Là một trong những sản phẩm của Nvidia, Jetson Nano là một máy tính edge nhỏ gọn và có hiệu suất tính toán cao. Nó được trang bị bộ vi xử lý ARM Cortex-A57 và GPU Nvidia Maxwell, cung cấp hiệu suất xử lý trên cả phần mềm và phần cứng.
Nơi bán NVIDIA Jetson Nano: Liên hệ tại đây. - Raspberry Pi: Raspberry Pi là một máy tính edge giá rẻ và nhỏ gọn, với nhiều tính năng được tích hợp sẵn và hỗ trợ cho nhiều hệ điều hành khác nhau. Nó được sử dụng rộng rãi cho các ứng dụng IoT và edge computing, bao gồm inference.
- Intel Neural Compute Stick: Đây là một USB stick tích hợp một bộ xử lý vision và tính toán nhanh chóng, được thiết kế đặc biệt cho inference và machine learning trên edge device.
- Google Coral Edge TPU: Là một module tích hợp chip TPU (Tensor Processing Unit) của Google, Coral Edge TPU được thiết kế để cung cấp hiệu suất tính toán trên edge device, đặc biệt cho inference các mô hình deep learning.
- Nvidia Jetson Xavier NX: Là một máy tính edge mạnh mẽ được trang bị bộ vi xử lý Nvidia Volta GPU và hỗ trợ nhiều chuẩn kết nối. Nó được sử dụng rộng rãi cho các ứng dụng nhận dạng hình ảnh, xử lý video và inference trên edge device.
Nơi bán NVIDIA Jetson Xavier NX: Liên hệ tại đây. - Nvidia Jetson AGX Orin: Đây là một trong những thiết bị edge mới nhất của NVIDIA, hỗ trợ bộ phần mềm nhúng AI hoàn chỉnh nhất dành cho robot, AI thị giác và các ứng dụng biên.
Nơi bán NVIDIA Jetson AGX ORIN: Liên hệ tại đây.
Các máy tính edge này cung cấp tính năng tính toán hiệu suất cao, thường có hỗ trợ các thành phần tăng tốc chuyên dụng (GPU, NPU,…), được đóng gói trong board mạch nhỏ gọn và được thiết kế với tính cơ động được ưu tiên hàng đầu để thực hiện các tác vụ inference và xử lý ngay tại địa điểm.
Bài viết liên quan
- SOM – System On Module là gì?
- AI trong ngành Logistics: Những lợi ích chính và ứng dụng
- Máy chủ tăng tốc cho AI thúc đẩy tăng trưởng chi tiêu cho trung tâm dữ liệu
- Những lợi ích của việc chạy suy luận AI ngay tại biên, thay vì trong trung tâm dữ liệu
- Xây dựng hệ thống dữ liệu hiệu suất cao cho AI với VAST Data Platform
- LLM: Lịch sử và tương lai của các mô hình ngôn ngữ lớn