Điện toán biên là gì?

Điện toán biên hay Edge Computing là ý tưởng về việc thu thập và xử lý dữ liệu càng gần nguồn dữ liệu hoặc người dùng cuối càng tốt. Thông thường, nguồn dữ liệu là các cảm biến Internet of Things (IoT). Quá trình xử lý được thực hiện cục bộ bằng cách đặt máy chủ hoặc phần cứng khác gần vị trí vật lý của nguồn cung cấp dữ liệu để xử lý.

Do điện toán biên xử lý dữ liệu cục bộ — ở rìa mạng, thay vì trên đám mây hoặc trung tâm dữ liệu tập trung — nên nó giảm thiểu độ trễ và chi phí truyền dữ liệu, cho phép phản hồi và ra quyết định theo thời gian thực.

Sự phản hồi tức thời, luôn hoạt động mà điện toán biên cung cấp đặc biệt quan trọng đối với các ứng dụng mà sự an toàn của con người là yếu tố quan trọng. Chẳng hạn, nó cực kỳ quan trọng đối với xe tự lái, khi mà việc tiết kiệm ngay cả 1 mili giây xử lý dữ liệu và thời gian phản hồi có thể là chìa khóa để tránh tai nạn xảy ra. Nó cũng rất quan trọng trong bệnh viện, nơi các bác sĩ dựa vào các dữ liệu chính xác, thời gian thực để điều trị cho bệnh nhân.

Mặc dù điện toán biên đặc biệt quan trọng đối với các ứng dụng hiện đại như khoa học dữ liệu và học máy, hay còn gọi là Edge AI, nhưng đây không phải là một khái niệm mới.

Lịch sử của điện toán biên

Trên thực tế, điện toán biên có thể đã bắt nguồn từ những năm 1990, khi mạng phân phối nội dung (CDN) hoạt động như các trung tâm dữ liệu phân tán. Vào thời điểm đó, CDN chỉ giới hạn ở việc lưu trữ hình ảnh và video, không phải khối lượng công việc dữ liệu lớn.

Đến những năm 2000, sự bùng nổ của các thiết bị thông minh đã gây căng thẳng cho hạ tầng CNTT hiện có. Tuy nhiên, những phát minh như mạng ngang hàng (P2P), nơi các máy tính được kết nối và chia sẻ tài nguyên mà không cần thông qua một máy chủ máy chủ tập trung riêng biệt, đã làm giảm bớt căng thẳng.

Vào giữa những năm 2000, các công ty lớn bắt đầu cho thuê tài nguyên lưu trữ dữ liệu và điện toán cho người dùng cuối thông qua các dịch vụ đám mây (public cloud). Khi các ứng dụng và doanh nghiệp dựa trên đám mây hoạt động từ nhiều địa điểm trở nên phổ biến, việc xử lý dữ liệu hiệu quả nhất có thể trở nên ngày càng quan trọng.

Tất cả các công nghệ này đã dẫn đến hình thức điện toán biên hiện tại của chúng ta, trong đó các node ở biên có khả năng cung cấp quyền truy cập độ trễ thấp vào các tài nguyên và thông tin chuyên sâu về dữ liệu. Các khả năng này được xây dựng dựa trên các nguyên tắc từ khả năng giảm thiểu độ trễ của CDN, nền tảng phi tập trung của mạng P2P và khả năng mở rộng và phục hồi của đám mây. Kết hợp với nhau, các công nghệ này đã tạo ra một nền tảng điện toán hiệu quả, bền vững và đáng tin cậy hơn.

Điện toán biên hoạt động như thế nào?

Điện toán biên hoạt động bằng cách xử lý dữ liệu càng gần nguồn hoặc thiết bị của người dùng cuối càng tốt. Nó giữ dữ liệu, ứng dụng và năng lực điện toán ở xa mạng tập trung hay trung tâm dữ liệu.

Theo truyền thống, dữ liệu do cảm biến tạo ra thường được con người xem xét thủ công, không được xử lý hoặc được gửi đến đám mây hoặc trung tâm dữ liệu để xử lý, sau đó được gửi lại thiết bị. Nếu chỉ dựa vào các thao tác thủ công sẽ dẫn đến các quy trình chậm chạp và kém hiệu quả. Và trong khi điện toán đám mây cung cấp tài nguyên điện toán, việc truyền và xử lý dữ liệu gây áp lực lớn lên băng thông và tạo ra độ trễ.

Băng thông (bandwidth) là thông số tốc độ dữ liệu được truyền qua internet. Khi dữ liệu được gửi đến đám mây, nó sẽ đi qua một mạng diện rộng, mà qua đó có thể gây tốn kém do phạm vi phủ sóng toàn cầu và nhu cầu băng thông cao. Trong khi xử lý dữ liệu ở biên có thể sử dụng mạng cục bộ, cho phép băng thông cao hơn với chi phí thấp hơn.

Độ trễ là sự chậm trễ trong việc gửi thông tin từ điểm này đến điểm tiếp theo; nó ảnh hưởng đến thời gian phản hồi. Độ trễ được giảm đi đáng kể khi xử lý ở biên vì dữ liệu do cảm biến và thiết bị IoT tạo ra không còn cần phải được gửi đến đám mây tập trung để xử lý.

Bằng cách đưa điện toán đến gần với nguồn dữ liệu hơn, độ trễ sẽ được giảm và băng thông sẽ được tăng lên, mang lại thông tin ý nghĩa và hành động nhanh hơn.

Điện toán biên có thể chạy trên một hoặc nhiều máy chủ để thu hẹp khoảng cách giữa nơi dữ liệu được thu thập và xử lý nhằm giảm tình trạng tắc nghẽn và tăng tốc cho các ứng dụng. Hạ tầng biên lý tưởng cũng bao gồm một nền tảng phần mềm tập trung có thể quản lý từ xa tất cả các hệ thống biên trên một giao diện duy nhất.

Tại sao lại là điện toán biên? Lợi ích của điện toán biên là gì?

Sự chuyển đổi sang điện toán biên cung cấp cho các doanh nghiệp những cơ hội mới để thu thập thông tin nắm bắt từ các tập dữ liệu lớn của họ. Những lợi ích chính của điện toán biên là:

• Độ trễ thấp hơn: Độ trễ được giảm đi khi xử lý ở biên vì dữ liệu do cảm biến và thiết bị IoT tạo ra không còn cần phải được gửi đến đám mây tập trung để xử lý.
• Giảm băng thông: Khi dữ liệu được gửi đến đám mây, dữ liệu sẽ đi qua mạng diện rộng, có thể tốn kém do phạm vi phủ sóng toàn cầu và nhu cầu băng thông cao. Khi xử lý dữ liệu ở biên, có thể sử dụng mạng cục bộ, dẫn đến băng thông cao hơn với chi phí thấp hơn.
• Quyền sở hữu dữ liệu: Khi dữ liệu được xử lý tại vị trí thu thập, điện toán biên cho phép các tổ chức lưu giữ tất cả dữ liệu và xử lý tại một vị trí phù hợp. Điều này giúp giảm thiểu nguy cơ bị tấn công an ninh mạng và tuân thủ các luật quy định về vị trí dữ liệu nghiêm ngặt và dễ thay đổi.

Ngoài điện toán biên, hầu hết các công ty đều muốn hưởng lợi từ Edge AI — sự kết hợp giữa điện toán biên và AI. Ngoài những lợi ích trên, Edge AI còn cung cấp:

• Trí thông minh: Các ứng dụng AI mạnh mẽ và linh hoạt hơn các ứng dụng thông thường chỉ có thể phản hồi các đầu vào được dự đoán rõ ràng. Mạng nơ-ron AI không được đào tạo về cách trả lời một câu hỏi cụ thể, mà là cách trả lời một loại câu hỏi cụ thể, ngay cả khi bản thân câu hỏi là mới. Điều này cung cấp cho thuật toán AI trí thông minh để xử lý các đầu vào vô cùng đa dạng, như văn bản, lời nói hoặc video.
• Thông tin nắm bắt (insights) theo thời gian thực: Vì công nghệ biên phân tích dữ liệu cục bộ thay vì trên đám mây xa xôi và chậm trễ do truyền thông đường dài nên nó phản hồi được các yêu cầu của người dùng và có thể cho phép suy luận theo thời gian thực.
• Cải tiến liên tục: Các mô hình AI ngày càng chính xác hơn khi chúng được đào tạo trên nhiều dữ liệu hơn. Khi một ứng dụng AI ở biên đối mặt với dữ liệu mà nó không thể xử lý chính xác hoặc tự tin, nó thường tải dữ liệu đó lên đám mây để thuật toán AI có thể đào tạo lại và học từ dữ liệu đó. Vì vậy, một mô hình được vận hành thực tế càng lâu ở biên thì mô hình đó sẽ càng chính xác.

Với rất nhiều giá trị có thể đạt được, các doanh nghiệp đang chạy đua áp dụng điện toán biên. Gartner đã dự đoán rằng vào cuối năm 2023, 50% các doanh nghiệp lớn sẽ có chiến lược điện toán biên được đưa ra, so với mức dưới 5% vào năm 2020. Tìm hiểu thêm về cách AI đang thay đổi cách các doanh nghiệp quản lý các ứng dụng biên.

Tại sao điện toán biên lại cần thiết ngay bây giờ?

Trong những năm gần đây, điện toán biên ngày càng trở nên quan trọng do sự hội tụ của IoT và 5G. Các công nghệ này đang tạo ra các ứng dụng đòi hỏi các tổ chức buộc phải cân nhắc đến điện toán biên.

Với sự gia tăng của các thiết bị IoT, dữ liệu lớn đã ra đời. Các tổ chức đột nhiên thu thập được lượng lớn dữ liệu từ mọi khía cạnh của doanh nghiệp và nhận ra rằng ứng dụng của họ không được xây dựng để xử lý khối lượng dữ liệu lớn như vậy.

Ngoài ra, họ nhận ra rằng hạ tầng để truyền, lưu trữ và xử lý khối lượng dữ liệu lớn có thể cực kỳ tốn kém và khó quản lý. Đó có thể là lý do tại sao chỉ một phần nhỏ dữ liệu được thu thập từ các thiết bị IoT được xử lý. Trong một số trường hợp, con số này chỉ thấp tới 25%.

Và vấn đề đang trở nên phức tạp hơn. Hiện nay có 40 tỷ thiết bị IoT. Arm dự đoán có thể có 1 nghìn tỷ thiết bị IoT vào năm 2022. Khi số lượng thiết bị được kết nối tăng lên và lượng dữ liệu cần truyền, lưu trữ và xử lý tăng lên, các tổ chức đang chuyển sang điện toán biên để giảm chi phí cần thiết để sử dụng cùng một dữ liệu trong các mô hình điện toán đám mây.

Mạng 5G có thể chạy nhanh hơn mạng 4G gấp 10 lần, được xây dựng để cho phép mỗi node phục vụ hàng trăm thiết bị biên, tăng khả năng cung cấp các dịch vụ hỗ trợ AI tại các vị trí biên.

Với sức mạnh xử lý mạnh mẽ, nhanh chóng và đáng tin cậy của điện toán biên, các doanh nghiệp có tiềm năng khám phá các cơ hội kinh doanh mới, thu thập thông tin chi tiết theo thời gian thực, tăng hiệu quả hoạt động và cải thiện trải nghiệm của người dùng.

Có những loại điện toán biên nào?

Định nghĩa về điện toán biên rất rộng. Thông thường, điện toán biên được biết đến là bất kỳ hoạt động điện toán nào bên ngoài đám mây hoặc trung tâm dữ liệu truyền thống.

Mặc dù có nhiều loại điện toán biên khác nhau, nhưng có ba loại điện toán biên chủ đạo, bao gồm:

1. Provider edge: Provider edge là mạng lưới các tài nguyên điện toán được truy cập bởi internet. Nó chủ yếu được sử dụng để cung cấp dịch vụ từ các công ty viễn thông, nhà cung cấp dịch vụ, công ty truyền thông và các nhà khai thác CDN khác.
2. Enterprise edge: Enterprise edge là phần mở rộng của trung tâm dữ liệu doanh nghiệp, bao gồm các trung tâm dữ liệu tại các địa điểm văn phòng từ xa, các trung tâm dữ liệu siêu nhỏ hoặc thậm chí là các giá đỡ máy chủ đặt trong tủ máy tính trên sàn nhà máy. Giống như một trung tâm dữ liệu tập trung truyền thống, môi trường này thường do bộ phận CNTT sở hữu và vận hành. Tuy nhiên, có thể có những hạn chế về không gian hoặc nguồn điện đã làm thay đổi thiết kế của các môi trường này.
3. Industrial edge: Industrial edge còn được gọi là far edge. Nó thường bao gồm các hệ thống máy tính nhỏ hơn như một hoặc hai máy chủ edge nhỏ, chống chịu môi trường tốt hoặc thậm chí là một hệ thống nhúng được triển khai bên ngoài môi trường trung tâm dữ liệu. Vì chúng chạy bên ngoài một trung tâm dữ liệu thông thường nên có một số thách thức riêng về không gian, làm mát, bảo mật và quản lý.

Sự khác biệt và điểm tương đồng giữa điện toán biên và điện toán đám mây là gì?

Sự khác biệt chính giữa điện toán đám mây và điện toán biên là nơi xử lý. Đối với điện toán biên, xử lý diễn ra ở biên của mạng, gần với nguồn dữ liệu hơn, trong khi đối với điện toán đám mây, xử lý diễn ra ở trung tâm dữ liệu.

Bảng dưới đây trình bày chi tiết sự khác biệt giữa hai công nghệ:

Điện toán đám mây	Điện toán biên
Xử lý dữ liệu không nhạy cảm về thời gian	Xử lý dữ liệu thời gian thực
Kết nối internet đáng tin cậy	Các vị trí xa xôi có kết nối internet hạn chế hoặc không có
Các workload động	Các tập dữ liệu lớn quá tốn kém để gửi lên đám mây
Dữ liệu lưu trữ trên đám mây	Dữ liệu cực kỳ nhạy cảm và quy định về dữ liệu nghiêm ngặt

Điện toán biên và điện toán đám mây có những tính năng riêng biệt và hầu hết các tổ chức đều được hưởng lợi khi sử dụng cả hai. Kiến trúc đám mây lai cho phép các doanh nghiệp tận dụng tính bảo mật và khả năng quản lý của các hệ thống tại chỗ trong khi vẫn sử dụng tài nguyên đám mây công cộng từ nhà cung cấp dịch vụ.

Các công nghệ thuần đám mây, chẳng hạn như container, có thể giúp quản lý các giải pháp điện toán biên. IDC dự đoán rằng, đến năm 2024, 75% các ứng dụng hoạt động mới được triển khai tại biên sẽ tận dụng nền tảng container để cho phép kiến ​​trúc mở và có thể cấu hình cần thiết cho các hoạt động phục hồi.

Ví dụ về các ứng dụng điện toán biên trong các ngành công nghiệp khác nhau là gì?

Hình thức điện toán biên được áp dụng nhiều nhất là Edge AI. Sự kết hợp giữa điện toán biên và AI có thể mang lại trí thông minh thời gian thực cho các doanh nghiệp trong nhiều ngành như bán lẻ, chăm sóc sức khỏe, sản xuất, bệnh viện, v.v.

Điện toán biên cho ngành bán lẻ

Trước nhu cầu, hành vi và kỳ vọng của người tiêu dùng thay đổi nhanh chóng, các nhà bán lẻ lớn nhất thế giới đã ứng dụng AI tiên tiến để mang lại trải nghiệm tốt hơn cho khách hàng.

Với điện toán biên, các nhà bán lẻ có thể tăng cường sự linh hoạt của mình bằng cách:

• Giảm hao hụt: Với camera và cảm biến trong cửa hàng sử dụng AI để phân tích dữ liệu, các cửa hàng có thể xác định và ngăn ngừa các trường hợp sai sót, lãng phí, hư hỏng và trộm cắp.
• Cải thiện việc quản lý hàng tồn kho: Các ứng dụng điện toán biên có thể sử dụng camera trong cửa hàng để cảnh báo nhân viên cửa hàng khi hàng tồn kho sắp hết, giúp giảm tình trạng hết hàng.
• Nâng cao trải nghiệm mua sắm: Với khả năng xử lý dữ liệu nhanh của điện toán biên, các nhà bán lẻ có thể triển khai đặt hàng bằng giọng nói hoặc tìm kiếm sản phẩm để cải thiện trải nghiệm của khách hàng.

Tìm hiểu thêm về ba trụ cột của AI tiên tiến trong bán lẻ .

Điện toán biên cho thành phố thông minh

Các thành phố, khuôn viên trường học, sân vận động và trung tâm mua sắm là những ví dụ về nhiều nơi mà AI biên đang biến đổi các địa điểm thành không gian thông minh. AI biên giúp các không gian này hoạt động hiệu quả hơn, an toàn hơn và dễ tiếp cận hơn.

Điện toán biên đã được sử dụng để chuyển đổi hoạt động và cải thiện an toàn trên toàn thế giới trong các lĩnh vực như:

• Giảm tắc nghẽn giao thông: Nota sử dụng AI thị giác để xác định, phân tích và tối ưu hóa giao thông. Các thành phố sử dụng nền tảng thông minh để cải thiện lưu lượng giao thông, giảm chi phí liên quan đến tắc nghẽn giao thông và giảm thiểu thời gian người lái xe dành cho giao thông.
• Giám sát an toàn cho các bãi biển: Ứng dụng phát hiện hình ảnh của Sightbit phát hiện các mối nguy hiểm tại bãi biển, chẳng hạn như dòng chảy ngược và điều kiện đại dương nguy hiểm, cho phép chính quyền đánh dấu các mối đe dọa an toàn một cách hiệu quả.
• Tăng hiệu quả hoạt động của hãng hàng không và sân bay: Assaia đã tạo ra một ứng dụng phân tích video hỗ trợ AI để giúp các hãng hàng không và sân bay đưa ra quyết định tốt hơn và nhanh hơn về năng lực, tính bền vững và sự an toàn.

Điện toán biên cho các nhà sản xuất công nghiệp và ô tô

Các nhà máy, nhà sản xuất và hãng sản xuất ô tô đang tạo ra dữ liệu cảm biến có thể được sử dụng theo cách tham chiếu chéo để cải thiện dịch vụ.

Một số ứng dụng phổ biến để thúc đẩy hiệu quả và năng suất trong sản xuất bao gồm:

• Bảo trì dự đoán: Phát hiện sớm các bất thường và dự đoán thời điểm máy móc sẽ hỏng để tránh thời gian chết.
• Kiểm soát chất lượng: Phát hiện lỗi trong sản phẩm và cảnh báo nhân viên ngay lập tức để giảm thiểu lãng phí và cải thiện hiệu quả sản xuất.
• An toàn cho người lao động: Sử dụng mạng lưới camera và cảm biến được trang bị chức năng phân tích video hỗ trợ AI để cho phép nhà sản xuất xác định những người lao động làm việc trong điều kiện không an toàn và nhanh chóng can thiệp để ngăn ngừa tai nạn.

Điện toán biên cho chăm sóc sức khỏe

Sự kết hợp giữa điện toán biên và AI đang định hình lại ngành chăm sóc sức khỏe. AI biên cung cấp cho nhân viên y tế các công cụ họ cần để cải thiện hiệu quả hoạt động, đảm bảo an toàn và cung cấp trải nghiệm chăm sóc chất lượng cao nhất có thể.

Hai ví dụ phổ biến về điện toán biên hỗ trợ AI trong lĩnh vực chăm sóc sức khỏe là:

• Phòng phẫu thuật: Các mô hình AI được xây dựng dựa trên hình ảnh phát trực tuyến và cảm biến trong các thiết bị y tế đang hỗ trợ thu thập và tái tạo hình ảnh, tối ưu hóa quy trình làm việc để chẩn đoán và lập kế hoạch điều trị, đo lường các cơ quan và khối u, hướng dẫn điều trị phẫu thuật cũng như hình ảnh hóa và theo dõi thời gian thực trong quá trình phẫu thuật.
• Bệnh viện: Bệnh viện thông minh đang sử dụng các công nghệ như theo dõi bệnh nhân, sàng lọc bệnh nhân, AI đàm thoại, ước tính nhịp tim, máy quét X-quang và nhiều công nghệ khác. Ước tính tư thế con người là một nhiệm vụ AI thị giác phổ biến, ước tính các điểm chính trên cơ thể một người như mắt, cánh tay và chân. Nó có thể được sử dụng để giúp thông báo cho nhân viên khi bệnh nhân di chuyển hoặc ngã khỏi giường bệnh.

Xem video này để biết cách các bệnh viện sử dụng AI tiên tiến để cải thiện việc chăm sóc bệnh nhân.

Công nghệ NVIDIA tại biên

Để các doanh nghiệp khai thác dữ liệu được tạo ra từ hàng tỷ cảm biến IoT có trong các cửa hàng bán lẻ, trên đường phố và trong bệnh viện, họ cần các hệ thống điện toán biên cung cấp khả năng tính toán phân tán mạnh mẽ, quản lý từ xa an toàn và đơn giản, cũng như khả năng tương thích với các công nghệ hàng đầu trong ngành.

NVIDIA kết hợp hệ sinh thái khoa học dữ liệu và các sản phẩm AI để cho phép các doanh nghiệp nhanh chóng khai thác sức mạnh của AI tại biên.

Máy chủ phổ thông cho AI biên: GPU NVIDIA và Bộ xử lý dữ liệu BlueField cung cấp nhiều giải pháp phần cứng được xác định bằng phần mềm để tăng tốc mạng và bảo mật. Các cỗ máy hardware này cung cấp hiệu suất tốt nhất trong phân khúc, với tất cả các cấp độ cần thiết về quyền riêng tư, tính toàn vẹn và độ tin cậy của dữ liệu doanh nghiệp được tích hợp sẵn. Hệ thống được chứng nhận NVIDIA đảm bảo rằng máy chủ được thiết kế tối ưu để chạy các ứng dụng hiện đại trong doanh nghiệp.

Giải pháp quản lý cho AI biên: NVIDIA Fleet Command là nền tảng được quản lý để điều phối container, giúp chuẩn hóa việc cung cấp và triển khai các hệ thống và ứng dụng AI tại biên. Nó đơn giản hóa việc quản lý các môi trường điện toán phân tán với khả năng mở rộng và phục hồi của đám mây, biến mọi địa điểm thành một vị trí thông minh, an toàn.

Đối với các tổ chức muốn xây dựng giải pháp quản lý riêng, NVIDIA GPU Operator sẽ tự động hóa việc quản lý tất cả các thành phần phần mềm NVIDIA cần thiết để cung cấp GPU. Các thành phần này bao gồm trình điều khiển NVIDIA để kích hoạt CUDA, plugin thiết bị Kubernetes cho GPU, thời gian chạy container NVIDIA, nhãn nút tự động và tác nhân giám sát dựa trên NVIDIA Data Center GPU Manager. NVIDIA cũng cung cấp nhiều công nghệ thuần đám mây khác để hỗ trợ phát triển biên.

Ứng dụng cho AI biên: Để bổ sung cho các dịch vụ này, NVIDIA cũng đã hợp tác với các đối tác để tạo ra toàn bộ hệ sinh thái gồm các bộ phát triển phần mềm, ứng dụng và khuôn khổ công nghiệp trong mọi lĩnh vực điện toán tăng tốc. Phần mềm này có thể được triển khai và quản lý từ xa bằng trung tâm phần mềm NVIDIA NGC . Các nhóm AI và CNTT có thể dễ dàng truy cập vào nhiều mô hình AI được đào tạo trước và biểu đồ Helm hỗ trợ Kubernetes để triển khai vào hệ thống AI biên của họ.

Tương lai của điện toán biên

Theo báo cáo ‘Edge Computing Spending Guide’ của công ty nghiên cứu thị trường IDC, chi tiêu cho điện toán biên trên toàn thế giới sẽ tăng lên 274 tỷ đô la vào năm 2025 và dự kiến ​​sẽ tiếp tục tăng mỗi năm với tốc độ tăng trưởng kép hàng năm là 15,6 phần trăm.

Sự phát triển của AI, IoT và 5G sẽ tiếp tục thúc đẩy việc áp dụng điện toán biên. Số lượng ứng dụng và loại workload được triển khai tại biên sẽ tăng lên. Ngày nay, các ứng dụng biên phổ biến nhất xoay quanh AI thị giác, Vision AI. Tuy nhiên, các nhóm workloads như xử lý ngôn ngữ tự nhiên, hệ thống đề xuất và robot đang là những cơ hội phát triển nhanh chóng.

Những khả năng ở biên thực sự là vô hạn.

Tìm hiểu thêm về việc sử dụng điện toán biên và những điều cần cân nhắc khi triển khai AI tại biên.