Tối ưu hóa hiệu quả ứng dụng doanh nghiệp với AI Edge Computing

Gần như tất cả các doanh nghiệp ngày nay đều phát triển hoặc sử dụng phần mềm ứng dụng hệ thống, tự động hóa hóa việc xử lý thông tin như hóa đơn, hồ sơ nhân sự hoặc thông số kỹ thuật của sản phẩm. Toàn bộ ngành công nghiệp đã phát triển để triển khai và thực thi các ứng dụng doanh nghiệp ở trong các trung tâm dữ liệu hoặc trên đám mây, cũng như ở các vị trí ở biên như cửa hàng, nhà máy…

Gần đây, bản chất của phần mềm doanh nghiệp đã thay đổi khi các nhà phát triển kết hợp AI vào các ứng dụng của họ. Theo Gartner, vào năm 2027, lĩnh vực Machine Learning ở dạng Học sâu sẽ được đưa vào hơn 65% các ứng dụng tiên tiến, tăng vọt từ mức dưới 10% vào năm 2022. Với AI, bạn không cần mã hóa đầu ra cho mọi đầu vào có thể. Thay vào đó, các mô hình AI học các mẫu từ dữ liệu đào tạo và sau đó áp dụng các mẫu đó cho các đầu vào mới.

Các quy trình cần thiết để quản lý các ứng dụng dựa trên AI khác với quy trình quản lý đã phát triển cho các ứng dụng dựa trên mã code, xác định thuần túy. Điều này hoàn toàn chính xác, đặc biệt là đối với các ứng dụng dựa trên AI ở vị trí tiên tiến, nơi tài nguyên máy tính và băng thông mạng khan hiếm và nơi dễ dàng truy cập vào các thiết bị gây ra rủi ro bảo mật.  Các ứng dụng dựa trên AI được hưởng lợi từ các công cụ và quy trình mới để triển khai, quản lý và mở rộng quy mô một cách an toàn.

Sự khác biệt giữa phần mềm truyền thống và các ứng dụng AI

Có 4 điểm khác biệt cơ bản giữa cách thiết kế và quản lý phần mềm doanh nghiệp truyền thống và các ứng dụng AI hiện đại:

• Container hóa
• Chiến lược dữ liệu
• Khả năng cập nhật
• Bảo mật và Bảo vệ

Container hóa

Ảo hóa là công cụ quản lý và triển khai chính được các doanh nghiệp áp dụng để triển khai các ứng dụng truyền thống trong các trung tâm dữ liệu trên toàn thế giới. Đối với các ứng dụng và môi trường truyền thống, ảo hóa cung cấp cấu trúc, quản lý và bảo mật để các khối lượng công việc này chạy trên hypervisor.

Mặc dù ảo hóa vẫn được sử dụng trong hầu hết các trung tâm dữ liệu, nhưng chúng ta đang chứng kiến ​​sự áp dụng rộng rãi công nghệ vùng chứa containers cho các ứng dụng AI, đặc biệt là ở phần rìa. Trong một báo cáo gần đây về Tình trạng Phát triển Bản địa của Đám mây , Tổ chức Điện toán Bản địa Đám mây đã nhấn mạnh rằng: các nhà phát triển làm việc trên điện toán biên có mức sử dụng cao nhất cho cả vùng chứa và Kubernetes với 76% ứng dụng AI tiên tiến sử dụng vùng chứa và 63% sử dụng Kubernetes.

Hiệu năng

Các vùng chứa ảo hóa hạt nhân của hệ điều hành chủ, trong khi trong ảo hóa truyền thống, hypervisor ảo hóa phần cứng vật lý và tạo hệ điều hành khách trong mọi trường hợp. Điều này rất quan trọng đối với nhiều ứng dụng AI tiên tiến, đặc biệt là những ứng dụng có các trường hợp sử dụng liên quan đến an toàn trong đó thời gian phản hồi được đo bằng mili giây. Các vùng chứa cũng có thể chạy nhiều ứng dụng trên cùng một hệ thống, cung cấp sự hợp nhất mà không cần chi phí hiệu suất ảo hóa.

Khả năng mở rộng

Một “trung tâm dữ liệu” AI tiên tiến có thể được phân phối trên hàng trăm địa điểm. Nền tảng quản lý dựa trên đám mây cung cấp cho quản trị viên các công cụ để quản lý tập trung các môi trường có thể mở rộng trên hàng trăm và hàng nghìn địa điểm. Mở rộng quy mô bằng cách tận dụng mạng và phần mềm thông minh, trái ngược với việc nhân viên di chuyển đến mọi vị trí biên, dẫn đến giảm chi phí, hiệu quả cao hơn và khả năng phục hồi.

Khả năng phục hồi

Các ứng dụng AI thường cung cấp khả năng phục hồi thông qua việc mở rộng quy mô. Nhiều bản sao của cùng một ứng dụng chạy sau bộ cân bằng tải và dịch vụ sẽ tiếp tục khi bản sao không thành công.

Ngay cả khi môi trường cạnh có một nút duy nhất, các chính sách vùng chứa có thể đảm bảo rằng ứng dụng tự động khởi động lại trong thời gian ngừng hoạt động tối thiểu.

Tính di động

Sau khi một ứng dụng được lưu trữ, nó có thể được triển khai trên bất kỳ cơ sở hạ tầng nào, cho dù trên máy ảo, máy ảo hay các đám mây công cộng khác nhau. Chúng cũng có thể được mở rộng hoặc thu nhỏ khi cần thiết. Với vùng chứa, các ứng dụng có thể được chạy dễ dàng trên máy chủ ở rìa cũng như trên bất kỳ đám mây nào.

Máy ảo và vùng chứa khác nhau theo một số cách nhưng là hai phương pháp triển khai nhiều dịch vụ riêng biệt trên một nền tảng duy nhất. Nhiều nhà cung cấp cung cấp các giải pháp hoạt động cho cả hai môi trường như Red Hat OpenShift và VMware Tanzu.

Chiến lược dữ liệu

Sự khác biệt tiếp theo là về vai trò của dữ liệu trong vòng đời của các ứng dụng cạnh truyền thống và ứng dụng AI cạnh.  Các ứng dụng cạnh truyền thống thường nhập các luồng dữ liệu có cấu trúc nhỏ như giao dịch mua bán tại điểm mua, hồ sơ bệnh án của bệnh nhân hoặc hướng dẫn. Sau khi được xử lý, ứng dụng sẽ gửi lại các luồng thông tin có cấu trúc tương tự, chẳng hạn như ủy quyền thanh toán, kết quả phân tích hoặc tìm kiếm hồ sơ. Khi nó được sử dụng, dữ liệu không còn hữu ích cho ứng dụng.

Không giống như các ứng dụng truyền thống, các ứng dụng AI có vòng đời trải dài ngoài phân tích và suy luận và bao gồm đào tạo lại và cập nhật liên tục. Các ứng dụng AI truyền dữ liệu từ cảm biến, thường là máy ảnh và đưa ra suy luận về dữ liệu đó. Một phần dữ liệu được thu thập tại vị trí biên và được chia sẻ trở lại trung tâm dữ liệu tập trung hoặc đám mây để nó có thể được sử dụng để đào tạo lại ứng dụng.

Do sự phụ thuộc vào dữ liệu để cải thiện ứng dụng, nên một chiến lược dữ liệu mạnh mẽ là rất quan trọng. Chi phí để truyền dữ liệu từ biên tới trung tâm dữ liệu hoặc đám mây bị ảnh hưởng bởi kích thước dữ liệu, băng thông mạng và tần suất ứng dụng cần được cập nhật.

Cập nhật

Nội dung chức năng của phần mềm biên truyền thống được phân phối thông qua mã code. Các nhà phát triển viết và biên dịch các chuỗi hướng dẫn thực thi trên các thiết bị biên. Bất kỳ nền tảng quản lý và điều phối nào đều phải cung cấp các bản cập nhật cho phần mềm để sửa chữa các lỗi, thêm chức năng và khắc phục các lỗ hổng bảo mật.

Các nhóm phát triển thường phát hành mã mới mỗi tháng, quý hoặc năm, nhưng không phải mọi bản phát hành mới đều ngay lập tức được chuyển sang các hệ thống biên. Thay vào đó, các nhóm CNTT có xu hướng đợi một lượng lớn các bản cập nhật quan trọng và chỉ thực hiện một bản cập nhật quan trọng hơn khi cần thiết.

Ngược lại, các ứng dụng AI tiên tiến tuân theo một vòng đời phần mềm khác, tập trung vào việc đào tạo và đào tạo lại mô hình AI. Mỗi bản cập nhật mô hình đều có khả năng cải thiện độ chính xác và độ chính xác hoặc tăng hoặc điều chỉnh chức năng. Mô hình càng được cập nhật thường xuyên thì mô hình đó càng chính xác, mang lại giá trị bổ sung cho tổ chức.

Các tổ chức đang triển khai giải pháp AI tiên tiến nên dự đoán các bản cập nhật mô hình thường xuyên. Bằng cách xây dựng các quy trình đào tạo lại ngay từ đầu thông qua các phương pháp triển khai trên nền tảng đám mây như vùng chứa và thực hiện các chiến lược dữ liệu mạnh mẽ, các tổ chức có thể phát triển các giải pháp AI cạnh bền vững.

Bảo vệ

Điện toán biên thể hiện một sự thay đổi mạnh mẽ trong mô hình bảo mật đối với nhiều nhóm CNTT. Trong mô hình an ninh mạng lâu đài và hào, không ai bên ngoài mạng có thể truy cập dữ liệu bên trong nhưng tất cả mọi người bên trong mạng thì có thể. Ngược lại, môi trường cạnh vốn không an toàn vì hầu như mọi người đều có quyền truy cập vật lý.

Các ứng dụng Edge AI làm trầm trọng thêm vấn đề này, vì chúng được xây dựng bằng cách sử dụng tài sản trí tuệ có giá trị cao của công ty, vốn là huyết mạch của một doanh nghiệp. Nó thể hiện lợi thế cạnh tranh cho phép tạo ra sự khác biệt của doanh nghiệp và là cốt lõi cho chức năng của nó.

Mặc dù bảo mật là quan trọng đối với tất cả các ứng dụng, nhưng điều quan trọng là phải tăng cường bảo mật khi làm việc với các ứng dụng AI. Để biết thêm thông tin, hãy xem Điện toán Edge: Cân nhắc cho Kiến trúc sư Bảo mật

• Bảo mật vật lý
• Bảo mật dữ liệu
• Sở hữu trí tuệ của công ty
• Kiểm soát truy cập

Thiết kế môi trường AI tiên tiến

Khi các doanh nghiệp chuyển từ triển khai các ứng dụng doanh nghiệp truyền thống sang các ứng dụng AI tiên tiến, việc duy trì cùng một cơ sở hạ tầng đã hỗ trợ các ứng dụng truyền thống không phải là một giải pháp có thể mở rộng.

Để có một ứng dụng AI tiên tiến thành công, việc cập nhật phương pháp triển khai, chiến lược dữ liệu, nhịp cập nhật và chính sách bảo mật của tổ chức là vô cùng quan trọng.  NVIDIA cung cấp phần mềm để giúp các tổ chức phát triển, triển khai và quản lý các ứng dụng AI của họ ở bất kỳ nơi đâu.

Ví dụ: để giúp các tổ chức quản lý và triển khai nhiều khối lượng công việc AI trên các vị trí phân tán, NVIDIA đã tạo ra NVIDIA Fleet Command , một nền tảng được quản lý để điều phối vùng chứa giúp hợp lý hóa việc cung cấp và triển khai các hệ thống và ứng dụng AI ở biên.

Để giúp các tổ chức bắt đầu nhanh chóng, NVIDIA đã tạo ra NVIDIA LaunchPad , một chương trình miễn phí cung cấp quyền truy cập ngay lập tức, ngắn hạn vào các ngăn xếp phần cứng và phần mềm cần thiết để trải nghiệm quy trình giải pháp đầu cuối, chẳng hạn như xây dựng và triển khai ứng dụng AI.

→ Bạn muốn có kinh nghiệm triển khai và quản lý một ứng dụng AI tiên tiến? Đăng ký trải nghiệm LaunchPad miễn phí ngay hôm nay!

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, Điện toán Hiệu năng cao (HPC) cho AI với kinh nghiệm kinh doanh phần cứng từ năm 2005. Chúng tôi là đối tác NPN cấp Elite (2022) chính thức của NVIDIA cho các hệ thống DGX (DGX A100, DGX Station A100) và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

• GPUDirect RDMA là gì?
• GPUDirect Storage là gì?
• AI trong ngành Logistics: Những lợi ích chính và ứng dụng
• Máy chủ tăng tốc cho AI thúc đẩy tăng trưởng chi tiêu cho trung tâm dữ liệu
• Xây dựng hệ thống dữ liệu hiệu suất cao cho AI với VAST Data Platform
• So sánh các GPU Tensor Core của NVIDIA: B200, B100, H200, H100, A100