Supermicro đã cực kỳ tích cực trong lĩnh vực học tập sâu và AI trong nhiều năm qua. Thành công này có được là nhờ sự hợp tác mạnh mẽ với các công ty như Intel và NVIDIA, cũng như khả năng của Supermicro nhanh chóng đưa ra thị trường các nền tảng sáng tạo dựa trên nhu cầu của khách hàng và thị trường. Chúng tôi đã xem xét nhiều hệ thống bao gồm DeepLearning10 (8x NVIDIA GTX 1080 Ti GPU) và DeepLearning11 (10x NVIDIA GTX 1080 Ti Deep Learningn Server) từ Supermicro và đó là những hệ thống chúng tôi thường thấy trong các trung tâm dữ liệu của Silicon Valley.
Vik Malyala, SVP, FAE & Giám đốc phát triển kinh doanh tại Supermicro, đã dành thời gian của mình để thay mặt Supermicro trả lời cuộc phỏng vấn. Vik là một trong những người mà tôi rất thích trò chuyện mỗi khi tôi ghé qua văn phòng của Supermicro. Ông có cảm nhận rất sâu về mặt kỹ thuật cũng như cách thức áp dụng các công nghệ mới cho các trường hợp ứng dụng của khách hàng.
Supermicro và Deep Learning & AI
Chúng tôi đã gửi cho các hãng máy chủ lớn một số câu hỏi và đưa cho họ bản hồi đáp để giải thích và trả lời khi họ thấy phù hợp. Mục tiêu của chúng tôi rất đơn giản, cung cấp cho độc giả những góc nhìn độc nhất trong ngành. Mỗi người trong loạt bài này được định hình bởi nền tảng, công ty, tương tác của khách hàng và trải nghiệm riêng biệt của họ. Giá trị của loạt bài nằm ở cả những câu trả lời riêng lẻ, nhưng cũng là những gì họ nói về cách ngành công nghiệp nhìn nhận tương lai của nó.
Bài toán đào tạo (AI training)
Các công ty năng động nhất cho các ứng dụng training mà ông đang thấy trên thị trường là ai? Những thách thức nào họ phải đối mặt để chiếm lĩnh sự thống trị của NVIDIA trên thị trường?
Đào tạo và suy luận AI là một công nghệ sẽ chạm đến hầu hết mọi khía cạnh của cuộc sống con người trong những năm tới theo cách thức có ý nghĩa nhất. Tại Supermicro, là nhà cung cấp cơ sở hạ tầng thế hệ kế tiếp, chúng tôi may mắn có cơ hội tham gia ở cấp độ nền tảng và hợp tác với nhiều công ty khác nhau, được thành lập và khởi đầu cho nhiệm vụ này. Mạng neural không có gì mới và kiến thức của nó đã được phổ biến rộng rãi đến các trường lớp bởi vì cho đến nay, công nghệ này không tồn tại để đào tạo các thuật toán và xử lý dữ liệu một cách hiệu quả. Ngày nay, với các nền tảng cơ sở hạ tầng được thiết kế bởi Supermicro trên kiến trúc x86 tiêu chuẩn kết hợp với các bộ accelerator và các tiêu chuẩn phần mềm mở đang mở đường cho các công nghệ tiên tiến này tìm ra các ứng dụng trong thực tế. Intel với Nervana NNP, bộ xử lý đào tạo AI của Habana Gaudi, là một vài trong số các công ty đang nhận được lực đẩy mạnh trong lĩnh vực này.
Các form factor sẽ thay đổi như thế nào để đáp ứng cho các training cluster? Công ty ông có đang xem xét OAM form factor của OCP cho các thiết kế trong tương lai hoặc một cái gì đó khác biệt?
Tại Supermicro, chúng tôi luôn tin rằng form factor được quyết định bởi tình huống sử dụng và kịch bản triển khai. Đó là lý do tại sao bạn thấy rất nhiều tính linh hoạt và khả năng mở rộng được cung cấp bởi danh mục đầu tư của chúng tôi. Khi AI trở nên chính thống hơn, chúng ta có thể thấy nhu cầu về nhiều biến thể trong form factor để phù hợp với yêu cầu của tập dữ liệu đào tạo và suy luận. Nhiều trong số các quyết định này có thể được hướng dẫn bởi số lượng & chất lượng của các tập dữ liệu được quyết định bởi các trường hợp sử dụng và HVAC trong trung tâm dữ liệu & cạnh. Tất cả sức mạnh tính toán hiệu năng cao này tỏa ra rất nhiều nhiệt và điều cực kỳ quan trọng là các hệ thống được thiết kế cho độ tin cậy và ổn định nhiệt để đảm bảo tuổi thọ. Supermicro với sự khởi đầu là một công ty thiết kế bo mạch chủ của cửa hàng, đặc biệt hướng đến thách thức này, như chúng tôi thiết kế,
Tại Supermicro, chúng tôi không theo một định kiến nào và danh mục sản phẩm của chúng tôi chủ yếu sẽ được định hình bởi các yêu cầu hiện tại của khách hàng và khả năng mở rộng trong tương lai của họ. Khi việc triển khai AI tăng lên, chúng ta sẽ thấy Supermicro nắm lấy và cho phép nhiều thiết kế sẽ tiếp tục cung cấp các giải pháp tối ưu hóa để có hiệu suất tốt nhất và giảm TCO.
Những loại back-end lưu trữ mà ông đang thấy là phổ biến cho khách hàng deep learning training? Những bài học kinh nghiệm từ các khách hàng của công ty ông là gì?
Cho đến một vài năm trước, Storage từng là nút cổ chai cho nhiều ứng dụng tính toán hiệu năng cao này. Với sự ra mắt của các công nghệ flash thế hệ tiếp theo như NVMe và persistent memory, dữ liệu được cung cấp cho CPU với độ trễ thấp hơn nhiều và có dung lượng cao hơn. Các giải pháp flash 32 NVMe của Supermicro trong các form factor lưu trữ thế hệ tiếp theo EDSFF (long & short) và hệ số dạng NF1 trong 1U đang cách mạng hóa cách thức các bộ dữ liệu được lưu trữ và truy xuất cho các yêu cầu tính toán nhanh hơn. Tính sẵn có của persistent memory dày đặc và bộ lưu trữ flash thế hệ tiếp theo trong danh mục các hệ thống multinode của Supermicro cũng giúp khách hàng của chúng tôi giảm độ trễ và tăng mật độ của bộ lưu trữ dữ liệu mà không làm tăng footprint vật lý của chúng.
Giải pháp lưu trữ và kết nối mạng nào ông đang xem là xu hướng chiếm ưu thế cho khách hàng AI của Supermicro? Cơ sở hạ tầng lưu trữ và mạng AI thế hệ tiếp theo sẽ như thế nào?
Với tất cả sự đổi mới trong công nghệ lưu trữ trong vài năm qua, việc lưu trữ không còn là nút cổ chai. Sự tắc nghẽn đang di chuyển nhiều hơn về phía mạng. Theo truyền thống, InfiniBand và RDMA là những công nghệ tiên tiến khi nói đến các ứng dụng tính toán cao, độ trễ thấp. Tuy nhiên, những tiến bộ trong Ethernet truyền thống với tốc độ 400G và 100G trở nên khả thi, chúng ta thấy rất nhiều triển khai thế hệ tiếp theo đi theo lộ trình của Ethernet truyền thống. Thêm vào đó, những cải tiến trong việc thực hiện các hệ thống queuing chuyên dụng và các kỹ thuật ưu tiên khác trong network interface sẽ đẩy nhanh việc áp dụng Ethernet truyền thống. Các công nghệ như DC persistent memory của Intel cũng cung cấp bộ nhớ dung lượng cao có độ trễ rất thấp và gần với CPU nhất.
Trong 2-3 năm tới, xu hướng cung cấp năng lượng và làm mát mà khách hàng của ông yêu cầu là gì?
Sức mạnh và làm mát sẽ là một thách thức trong những năm tới vì CPU, GPU, FPGA và các bộ accelerator mới hơn đang ngốn điện và tỏa ra rất nhiều nhiệt. Supermicro vì bản chất của nó trong bo mạch chủ và thiết kế hệ thống có thể cung cấp các giải pháp sáng tạo khi thiết kế hệ thống lưu trữ tính toán hiệu suất cao và dày đặc. Tuy nhiên, khi mức tiêu thụ năng lượng và phát thải nhiệt tăng lên với các công nghệ thế hệ tiếp theo này, Supermicro cung cấp các giải pháp làm mát bằng chất lỏng cùng với làm mát không khí miễn phí trong danh mục sản phẩm của chúng tôi. Như chúng ta thấy, tại một thời điểm nào đó trong tương lai gần, cần phải cân bằng giữa mật độ và nhiệt được quyết định bởi các trường hợp sử dụng và vị trí của thiết bị – DataCenters với HVAC hoặc triển khai ở cạnh biên phức tạp với nguồn lực hạn chế.
Các khánh hàng AI có thể lưu ý gì khi họ lên kế hoạch cho hệ thống AI của họ trong năm 2019?
Tiềm năng của AI chắc chắn sẽ được khai phá nhờ tất cả những đổi mới trong cơ sở hạ tầng. Tất cả các quy trình công việc trong mọi ngành có thể sẽ có được góc nhìn thứ hai và AI sẽ thay đổi nhiều quy trình công việc đó theo hướng hoạt động tự động hơn, hiệu quả hơn và có thể mở rộng. Điều này có thể sẽ đem lại kết quả là tăng năng suất. Điều quan trọng là khách hàng phải lập kế hoạch cho sự linh động, khả năng mở rộng và áp dụng các tiêu chuẩn mở khi họ lên kế hoạch triển khai và điều này hợp tác với nhà cung cấp phù hợp có cùng tư duy.
Bài toán suy luận (AI inference)
Ông có nhận thấy nhiều nhu cầu về các giải pháp suy luận mới dựa trên các chip như NVIDIA Tesla T4 không?
Có một nhu cầu rất lớn đối với các giải pháp suy luận cả quy mô lớn & nhỏ trong các ngành công nghiệp khác nhau. Và nhu cầu này có thể sẽ tăng gấp nhiều lần trong những năm tới khi hệ sinh thái phát triển để phù hợp với các ngành dọc khác nhau.
Có phải khách hàng của ông đòi hỏi nhiều GPU hơn trong cơ sở hạ tầng của họ?
Viễn cảnh vẫn đang trong quá trình phát triển và dựa trên trường hợp ứng dụng, có thể sẽ có các giải pháp giải quyết các nhu cầu của suy luận thông qua các FPGA tùy chỉnh để cung cấp khả năng tối ưu hóa phù hợp. Các tiêu chuẩn mới cho tốc độ cao, kết nối độ trễ thấp sẽ phù hợp với việc áp dụng các GPU dễ dàng hơn.
Các công ty cung cấp bộ accelerator lớn mà ông đang làm việc trong thị phần suy luận AI là ai?
Các công ty rõ ràng chúng tôi đang hợp tác là Intel, Nvidia và AMD. Chúng tôi cũng đang xác nhận các giải pháp FPGA từ Intel và Xilinx trong các nền tảng của chúng tôi. Supermicro vì lần đầu tiên đưa ra thị trường trong các công nghệ mới nhất thường là nền tảng ưa thích cho nhiều giải pháp mang tính cách mạng. Tiếp tục truyền thống tương tự, nhiều công ty và startup trong lĩnh vực này coi Supermicro là đối tác và nhà cung cấp khi có nhu cầu về cơ sở hạ tầng AI của họ.
Có các form factor nhất định mà ông đang tập trung để kích hoạt trong danh mục máy chủ của mình không? Ví dụ, Facebook đang dựa rất nhiều vào M.2 cho các thiết kế suy luận.
Tại Supermicro, chúng tôi luôn để danh mục sản phẩm của mình phản ánh các yêu cầu và nhu cầu của khách hàng. Chúng tôi cung cấp các giải pháp dày đặc dựa trên các form factor khác nhau như U.2 / M.2 / EDSFF, v.v. Tất cả đều dựa trên kết nối PCIe. Chúng tôi để cho khách hàng và workload của họ xác định form factor phù hợp.
Bao nhiêu phần trăm khách hàng của bạn ngày nay đang tìm cách triển khai suy luận trong cụm máy chủ của họ? Có phải họ đang làm như vậy với phần cứng chuyên dụng hay họ đang xem xét các công nghệ như Intel Xeon Scalable thế hệ thứ 2 VNNI như một giải pháp “đủ tốt”?
Suy luận AI vẫn là một câu chuyện đang diễn ra và nhiều khách hàng đang tìm cách đạt kết quả trong đó với các công nghệ máy chủ chính thống. Chúng tôi đã cho phép danh mục sản phẩm multi-node của chúng tôi bao gồm họ SuperBlade có thể linh hoạt sử dụng CPU đa năng và cả bộ accelerator để đạt được kết quả mong muốn.
Các khách hàng AI nên lưu ý điều gì khi họ lên kế hoạch mua máy chủ khi nói đến AI trong năm 2019?
Một lần nữa, tính linh hoạt và khả năng mở rộng rõ ràng sẽ là yếu tố quyết định. Hướng tới mục tiêu này, tại Supermicro, chúng tôi cung cấp lựa chọn các form factor với các lựa chọn công nghệ linh hoạt để đảm bảo khoản đầu tư của khách hàng được bảo vệ và đạt được quy mô cần thiết.
Ứng dụng
Làm thế nào Supermicro sử dụng AI và ML để làm cho máy chủ và giải pháp lưu trữ của hãng tốt hơn?
Chúng tôi cho phép một số công ty hàng đầu trong ngành sản xuất chất bán dẫn, công nghiệp EDA và sản xuất (biến tấm kim loại thành PCB) phát triển công nghệ tốt hơn, nhanh hơn và chúng tôi đang lên chiến lược sử dụng AI / ML trong các cơ sở giải pháp và tích hợp rack cũng như dự đoán / phân tích lỗi. Vấn đề này vẫn còn trong giai đoạn trứng nước như bạn có thể thấy, nhưng, chúng tôi liên tục đánh giá các lựa chọn để cải thiện chất lượng và trải nghiệm khách hàng.
Ở đâu và khi nào ông mong muốn một quản trị viên CNTT sẽ thấy tự động hóa dựa trên AI đảm nhận một nhiệm vụ lớn đến mức họ sẽ có một khoảnh khắc sẽ hét lên “wow!”?
Tự động hóa dựa trên AI sẽ thâm nhập và cuối cùng kiểm soát MỌI tầng của lớp phần mềm, thay thế kỹ thuật của con người bằng tự động điều chỉnh, tự cải thiện, mã chạy có hiệu suất tốt hơn, v.v. Ví dụ: Quản trị viên CNTT có thể sử dụng trí thông minh của máy để thay thế cơ chế “người dùng tùy chỉnh hiệu suất” trong tất cả các hệ thống phần mềm, loại bỏ sự cần thiết phải tinh chỉnh chúng với các tham số dòng lệnh. Máy móc thông minh sẽ vượt trội hơn so với điều chỉnh tay. Một số công ty khởi nghiệp tận dụng trí thông minh của máy móc để tối ưu hóa cả cấu hình phần cứng và phần mềm trên các máy chủ phổ thông để cung cấp hiệu suất của các hệ thống được thiết kế riêng.
Lời cuối
Có một điều chắc chắn, như tôi thấy các máy chủ GPU ở Thung lũng Silicon, các máy Supermicro rất dễ phát hiện và chúng ở khắp mọi nơi. Vik và nhóm của anh ấy đã thực hiện một công việc tuyệt vời cho phép thị trường điện toán GPU trở nên phổ biến. Tôi muốn nói lời cảm ơn một lần nữa với Vik vì đã tham gia cuộc phỏng vấn của chúng tôi.
Lược dịch từ STH
Supermicro là nhà sản xuất toàn cầu về giải pháp máy chủ hiệu suất cao, là nhà cung cấp hàng đầu các giải pháp điện toán xanh toàn diện cho HPC, Data Center, Cloud Computing, Enterprise IT, Hadoop / Big Data và Hệ thống nhúng trên toàn thế giới.
Với kinh nghiệm làm nhà phân phối chính thức máy chủ Supermicro từ năm 2005, Nhất Tiến Chung (NTC) tiên phong đem đến các giải pháp hạ tầng CNTT dựa trên danh mục phần cứng đa dạng và tối ưu chi phí đầu tư nhất từ Supermicro. Các máy chủ GPU và máy chủ lưu trữ hiệu năng cao chuyên dụng cho AI, Deep Learning, cấu hình tùy biến theo nhu cầu, được nhiều đối tác lựa chọn cho dự án của mình. Vui lòng liên hệ để được tư vấn giải pháp, hoàn toàn miễn phí.
Bạn muốn trở thành đối tác bán hàng Supermicro của NTC?
Bài viết liên quan
- AI trong ngành Logistics: Những lợi ích chính và ứng dụng
- Máy chủ tăng tốc cho AI thúc đẩy tăng trưởng chi tiêu cho trung tâm dữ liệu
- Tìm hiểu tại sao triển khai on-premises có thể giúp vượt qua 6 thách thức quan trọng của AI
- Tôi có cần CPU kép không?
- Xây dựng hệ thống dữ liệu hiệu suất cao cho AI với VAST Data Platform
- Hướng dẫn lựa chọn GPU phù hợp cho AI, Machine Learning