Giải pháp điện toán cho AI và Deep Learning dựa trên công nghệ của Supermicro

Nắm lấy AI với công nghệ Deep Learning của Supermicro

Deep Learning, một tập con của Trí tuệ nhân tạo (AI) và Machine Learning (ML), là quy trình tiên tiến trong khoa học máy tính thực hiện các mạng thần kinh nhân tạo đa lớp để thực hiện các nhiệm vụ rất phức tạp để lập trình. Ví dụ: Google Maps xử lý hàng triệu điểm dữ liệu mỗi ngày để tìm ra tuyến đường tốt nhất cho việc di chuyển hoặc dự đoán thời gian để đến đích mong muốn. Deep Learning bao gồm hai phần – đào tạo (training) và suy luận (inference). Phần đào tạo của Deep Learning bao gồm xử lý càng nhiều điểm dữ liệu càng tốt để làm cho mạng thần kinh tự ‘học’ đặc tính và tự sửa đổi để hoàn thành các nhiệm vụ như nhận dạng hình ảnh, nhận dạng giọng nói, v.v… Phần suy luận đề cập đến quá trình lấy một mô hình đã được đào tạo trước đó và sử dụng nó để đưa ra những dự đoán và quyết định hữu ích.

Nền tảng AI & Deep Learning

Giải pháp của Supermicro là cài đặt các framework tùy biến cho Deep Learning, để người dùng cuối có thể trực tiếp bắt đầu triển khai các dự án Deep Learning mà thậm chí không cần đụng đến lập trình GPU. Các giải pháp cung cấp cài đặt tùy biến các framework học sâu bao gồm TensorFlow, Caffe2, MxNet, Chainer, Microsoft Cognitive Toolkit cũng như các bộ công cụ khác.

Giải pháp Supermicro AI & Deep Learning cung cấp một lớp phần mềm AI / Deep Learning hoàn chỉnh. Bên dưới là các bộ phần mềm kèm với giải pháp tích hợp đầy đủ từ đầu đến cuối:

Ưu điểm của giải pháp AI & Deep Learning do

Supermicro cung cấp

• Một “powerhouse” cho điện toán toán
  • Cụm máy tính Supermicro AI & Deep Learning được cung cấp bởi các hệ thống Supermicro SuperServer®, là những powerhouse có mật độ cao và nhỏ gọn cho việc xử lý. Cụm được trang bị GPU mới nhất từ ​​đối tác NVIDIA. Mỗi node xử lý sử dụng GPU NVIDIA® Tesla® V100.
• Xử lý song song mật độ cao
  • Lên đến 32 GPU với bộ nhớ GPU lên đến 1TB cho khả năng xử lý song song tối đa, giúp giảm thời gian đào tạo cho workload chạy hệ thống Deep Learning.
• Tăng băng thông với NVLink
  • Sử dụng công nghệ NVLink™, cho phép giao tiếp GPU-GPU nhanh hơn, nâng cao hơn nữa hiệu năng hệ thống trong các Deep Learning workload lớn.
• Xử lý nhanh hơn với Tensor Core
  • GPU NVIDIA Tesla V100 sử dụng kiến ​​trúc Tensor Core. Các Tensor Cores chứa hỗ trợ Deep Learning và có thể cung cấp tới 125 TFLOPS cho các ứng dụng đào tạo và suy luận.
• Thiết kế mở rộng
  • Kiến trúc mở rộng với nền tảng fibre 100G IB EDR, hoàn toàn có thể mở rộng để phù hợp với sự phát triển trong tương lai.
• Rapid Flash Xtreme (RFX) – Lưu trữ NVMe all-flash hiệu suất cao
  • RFX là hệ thống lưu trữ hoàn chỉnh hàng đầu, được phát triển và thử nghiệm hoàn toàn cho các ứng dụng AI & Deep Learning kết hợp với Supermicro BigTwin™ cùng với hệ thống lưu trữ song song WekaIO.

Kiến ​​trúc tham khảo cho hệ thống AI & Deep Learning

Supermicro hiện đang cung cấp các giải pháp hoàn chỉnh sau đây đã được kiểm tra kỹ lưỡng và sẵn sàng hoạt động. Các cụm này có thể được thu nhỏ lên xuống để đáp ứng nhu cầu của các dự án Deep Learning của bạn.

	14U Rack	24U Rack
Product SKU	SRS-14UGPU-AIV1-01	SRS-24UGPU-AIV1-01
Compute Capability	2PFLOPS (GPU FP16)	4PFLOPS (GPU FP16)
Compute Node	2 SYS-4029GP-TVRT	4 SYS-4029GP-TVRT
Total GPUs	16 NVIDIA® Tesla® V100 SXM2 32GB HBM	32 NVIDIA® Tesla® V100 SXM2 32GB HBM
Total GPU Memory	512GB HBM2	1TB HBM2
Total CPU	4 Intel® Xeon® Gold 6154, 3.00GHz, 18-cores	8 Intel® Xeon® Gold 6154, 3.00GHz, 18-cores
Total System Memory	768GB DDR4-2666MHz ECC	3TB DDR4-2666MHz ECC
Networking	InfiniBand EDR 100Gbps; 10GBASE-T Ethernet	InfiniBand EDR 100Gbps; 10GBASE-T Ethernet
Total Storage*	15.2TB (8 SATA3 SSDs)	30.4TB (16 SATA3 SSDs)
Operating System	Ubuntu Linux OS or CentOS Linux	Ubuntu Linux OS or CentOS Linux
Software	Caffe, Caffe2, Digits, Inference Server, PyTorch, NVIDIA® CUDA®, NVIDIA® TensorRT™, Microsoft Cognitive Toolkit (CNKT), MXNet, TensorFlow, Theano, and Torch	Caffe, Caffe2, Digits, Inference Server, PyTorch, NVIDIA® CUDA®, NVIDIA® TensorRT™, Microsoft Cognitive Toolkit (CNKT), MXNet, TensorFlow, Theano, and Torch
Max Power Usage	7.2kW (7,200W)	14.0kW (14,000kW)
Dimensions	14 Rack Units, 600 x 800 x 1000 (mm, W x H x D)	24 Rack Units, 598 x 1163 x 1000 (mm, W x H x D)

Các nền tảng máy chủ sẵn sàng cho AI & Deep Learning từ Supermicro

SYS-1029GQ-TVRT

HPC, Artificial Intelligence, Big Data Analytics, Research Lab, Astrophysics, Business Intelligence Dual Socket P (LGA 3647) support: 2nd Gen. Intel® Xeon® Scalable processors; dual UPI up to 10.4GT/s 12 DIMMs; up to 3TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM Supports Intel® Optane™ DCPMM* 2 Hot-swap 2.5″ drive bays, 2 Internal 2.5″ drive bays 4 PCI-E 3.0 x16 slots 2x 10GBase-T ports via Intel X540, 1 Dedicated IPMI port 1 VGA, 2 COM, 2 USB 3.0 (rear) 7x 4cm heavy duty counter-rotating fans with air shroud 2000W Redundant Titanium Level (96%) Power Supplies

SYS-4029GP-TVRT

Artificial Intelligence, Big Data Analytics, High-performance Computing, Research Lab/National Lab, Astrophysics, Business Intelligence Dual Socket P (LGA 3647) support: 2nd Gen. Intel® Xeon® Scalable processors; 3 UPI up to 10.4GT/s 24 DIMMs; up to 6TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM Supports Intel® Optane™ DCPMM* 16 Hot-swap 2.5″ drive bays (support 8 NVMe drives) 4 PCI-E 3.0 x16 (LP, GPU tray for GPUDirect RDMA), 2 PCI-E 3.0 x16 (LP, CPU tray) 2x 10GBase-T ports via Intel X540, 1 Dedicated IPMI port 1 VGA, 1 COM, 2 USB 3.0 (front) 8x 92mm cooling fans, 4x 80mm cooling fans 2200W (2+2) Redundant Titanium Level (96%) Power Supplies

SYS-6049GP-TRT

AI/Deep Learning, Video Transcoding Dual Socket P (LGA 3647) support: 2nd Gen. Intel® Xeon® Scalable processors; 3 UPI up to 10.4GT/s 24 DIMMs; up to 6TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM Supports Intel® Optane™ DCPMM* 24 Hot-swap 3.5″ drive bays, 2 optional 2.5″ U.2 NVMe drives 20 PCI-E 3.0 x16 slots, 1 PCI-E 3.0 x8 (FHFL, in x16 slot) 2x 10GBase-T ports via Intel C622, 1 Dedicated IPMI port 1 VGA, 1 COM, 4 USB 3.0 (rear) 8x 92mm RPM Hot-Swappable Cooling Fans 2000W (2+2) Redundant Titanium Level (96%) Power Supplies

SYS-9029GP-TNVRT

AI/Deep Learning, High-performance Computing Dual Socket P (LGA 3647) support: 2nd Gen. Intel® Xeon® Scalable processors; 3 UPI up to 10.4GT/s 24 DIMMs; up to 6TB 3DS ECC DDR4-2933 MHz RDIMM/LRDIMM Supports Intel® Optane™ DCPMM* 16 Hot-swap 2.5″ NVMe drive bays, 6 Hot-swap 2.5″ SATA3 drive bays 16 PCI-E 3.0 x16 slots for RDMA via IB EDR, 2 PCI-E 3.0 x16 on board 2x 10GBase-T ports via Intel X540, 1 Dedicated IPMI port 1 VGA, 1 COM, 2 USB 3.0 (front) 6x 80mm hot-swap PWM Fans, 8x 92mm Hot-swap Fans 6x 3000W Redundant Titanium Level (96%) Power Supplies