EdgeCortix giới thiệu SAKURA-II, công cụ tăng tốc AI cho Edge với hiệu suất ấn tượng 60 TOPS (INT8) và mức tiêu thụ điện năng thấp 8 watt. Con chip này được thiết kế cho các tác vụ AI phức tạp, chẳng hạn như xử lý các mô hình ngôn ngữ lớn (LLM), mô hình tầm nhìn lớn (LVM) và các ứng dụng đa phương thức dựa trên máy biến áp, cũng như cho các ứng dụng ở biên mạng, chẳng hạn như thiết bị IoT và xe tự hành. .
Nó cho phép sự linh hoạt về mặt phần cứng, với khả năng tích hợp nó vào cả hai Thẻ mở rộng PCIe có một hoặc hai chip SAKURA-IIhoặc trên các mô-đun M.2 2280 (giao diện PCIe x8 hoặc x16) Nếu bạn thích. Do đó, có thể đạt được công suất lên tới 120 TOPS với INT8 hoặc 60 TFLOPS với BF16.
Nền tảng AI cũng cung cấp một phần phần mềm tiên tiến, với bộ MERA để lập trình và tối ưu hóa, nền tảng biên dịch không đồng nhất, kỹ thuật định lượng nâng cao và khả năng hiệu chỉnh mô hình. Nó cũng có tính năng tích hợp với các khung phát triển phổ biến như PyTorch, TensorFlow Lite và ONNX, cũng như quyền truy cập vào thư viện phong phú gồm các mô hình biến đổi tiên tiến và mô hình tích chập.
Ngoài ra, công ty EdgeCortix cũng đã nghĩ đến việc nâng cao hơn nữa các thiết kế máy gia tốc AI của mình, có thể được tích hợp vào SoC của các công ty khác, chẳng hạn như AMD.
Thông số kỹ thuật IA SAKURA-II
Khi Thông số kỹ thuật của EdgeCortix SAKURA-II, như sau:
- NPU có kiến trúc DNA-II hoặc Dynamic Neural Accelerator thế hệ thứ hai.
- Hiệu suất lên tới 60 TOPS với INT8 hoặc 30 TFLOPS với BF16.
- Bộ nhớ DRAM loại LPDDR64x 4-bit kênh đôi (8GB, 16GB, 32GB tích hợp) với băng thông lên tới 68 GB/s.
- Tích hợp bộ nhớ SRAM 20 MB.
- Hiệu suất sử dụng lên tới 90%, với mức tiêu thụ năng lượng là 8W.
- Bao bì BGA.
Nếu chúng ta đề cập đến Mô-đun SAKURA-II với định dạng M.2, có:
- bộ nhớ DRAM
- 8GB (gấp đôi ngân hàng 2GB LPDDR4)
- 16GB (gấp đôi ngân hàng 2GB LPDDR8)
- Giao diện PCIe thế hệ 3.0 x4
- Hiệu suất tối đa 60 TOPS trên INT8, 30 TFLOPS trên BF16
- Công suất mô-đun 10W
- Kích thước M.2 2280 (22x80mm)
Đối với Thẻ mở rộng PCIe, thông số kỹ thuật của bộ tăng tốc AI như sau:
- Giao diện PCIe thế hệ 3.0 x8
- Đối với mẫu chip đơn SAKURA-II:
- Bộ nhớ DRAM 16GB (gấp đôi ngân hàng 2GB LPDDR8)
- Hiệu suất 60 TOPS trên INT8, 30 TFLOPS trên BF16
- Công suất 10W.
- Đối với model có hai chip SAKURA-II:
- Bộ nhớ DRAM 32GB (gấp đôi ngân hàng 2GB LPDDR16)
- Hiệu suất 120 TOPS trên INT8, 60 TFLOPS trên BF16
- Công suất 20W
- Khe cắm 1x
- Bao gồm tản nhiệt
Về thua phòng, nếu bạn đang thắc mắc, chúng sẽ đến từ quý 2024 năm XNUMX với:
- M.2 8GB: 249 USD
- M.2 16GB: 299 USD
- PCIe 1xSAKURA-II: $429
- PCIe 2xSAKURA-II: $749