Tên đề tài luận án: Giải thuật và kiến trúc phần cứng cho mạng nơ ron xung hiệu quả cao

1. Họ và tên nghiên cứu sinh: Nguyễn Duy Anh.               2. Giới tính: Nam

3. Ngày sinh: 07/05/1990                                                 4. Nơi sinh: Hà Nội

5. Quyết định công nhận nghiên cứu sinh số 1222/QĐ-CTSV, ngày 06 tháng 12 năm 2017 của Hiệu trưởng trường Đại học Công nghệ, Đại học Quốc gia Hà Nội

6. Các thay đổi trong quá trình đào tạo:

Gia hạn thời gian học tập theo Quyết định số 65/QĐ-ĐT ngày 22 tháng 01 năm 2021 của Hiệu trưởng Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.

Điều chỉnh cán bộ hướng dẫn theo Quyết định số 435/QĐ-ĐT ngày 01 tháng 06 năm 2021 của Hiệu trưởng Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.

7. Tên đề tài luận án: Giải thuật và kiến trúc phần cứng cho mạng nơ ron xung hiệu quả cao

8. Chuyên ngành: Kỹ thuật điện tử                                                                          9. Mã số: 9510302.01

10. Cán bộ hướng dẫn khoa học: PGS.TS Trần Xuân Tú

                                                      GS.TS. Francesca Iacopi

Thông tin luận án Tiến sĩ của NCS Nguyễn Duy Anh (tiếng Anh)

11. Tóm tắt các kết quả mới của luận án:

Luận án đã đề xuất được các đóng góp chính như sau:

Thứ nhất, luận án đề xuất một thiết kế số đơn giản cho mô hình nơ ron Integrate-and-Fire (IF). Thiết kế tập trung vào việc tối giản các tính năng so với các công trình khác, nên thiết kế đã giúp giảm được đến 3,2 lần chi phí không gian thực thi so với các công trình khác. Để kiểm thử hiệu quả của thiết kế ở mức hệ thống, luận án cũng đề xuất một thiết kế phần cứng cho mạng nơ ron xung (Spiking Neural Network – SNN) truyền thẳng với 3 lớp cho ứng dụng MNIST. Mạng SNN được huấn luyện với thuật toán chuyển đổi từ Artificial Neural Network (ANN) sang SNN và trọng số của mạng được lượng tử hóa dưới dạng dấu phẩy tĩnh 10-bits.

Thứ hai, luận án đề xuất một thuật toán mới để huấn luyện mạng SNN với các trọng số của mạng được biểu diễn dưới dạng tam phân. Các mạng SNN như vậy được gọi là mạng Ternary Weight Spiking Networks (TW-SNN). Mục tiêu của TW-SNN là để giảm yêu cầu về lưu trữ bộ nhớ cho trọng số của mạng. Để biểu diễn hiệu quả năng lượng của phương pháp đề xuất, luận án cũng đề xuất một thiết kế phần cứng cho mạng TW-SNN.

Thứ ba, luận án đề xuất một phương pháp lọc cực đại (max-pooling) mới cho mạng SNN với mô hình tích chập (Convolutional SNNs). Phương pháp lọc đề xuất đảm bảo độ chính xác của mạng SNN mà vẫn dễ dàng có thể thực thi trên phần cứng.

12. Khả năng ứng dụng trong thực tiễn:

Hiện nay các ứng dụng của trí tuệ nhân tạo và học sâu đang được ứng dụng rất rộng rãi vào trong các lĩnh vực của đời sống. Tuy nhiên, các ứng dụng của học sâu hiện nay đang gặp nhiều khó khăn khi triển khai sang các ứng dụng ở các thiết bị biên do yêu cầu tiêu tốn nhiều năng lượng và nhiều bộ nhớ lưu trữ. Mạng SNN là một trong những giải pháp hiệu quả để triển khai các ứng dụng của trí tuệ nhân tạo cho các thiết bị biên. Luận án tập trung đề xuất các giải pháp cả về phần cứng (thiết kế mô hình nơ ron đơn giản và mô hình mạng) và phần mềm (thiết kế thuật toán để giảm yêu cầu của bộ nhớ).

13. Những hướng nghiên cứu tiếp theo:

– Phát triển mô hình mạng 3D trên chip (3D-NoC) để tích hợp vào thiết kế phần cứng cho mạng SNN để có thể mở rộng cho các mô hình mạng SNN có kích thước lớn.

– Sử dụng các công nghệ bộ nhớ tiên tiến như memristor để thiết kế phần cứng cho mạng SNN

14. Các công trình đã công bố có liên quan đến luận án:

– Duy-Anh Nguyen, Duy-Hieu Bui, Francesca Iacopi, Xuan-Tu Tran, ”An Efficient Event-driven Neuromorphic Architecture for Deep Spiking Neural Networks” 2019 32nd IEEE International System-on-Chip Conference (SOCC 2019), pp. 144-149, Sep 2019, Singapore, ISBN: 978-1-7281-3282-6.

– Duy-Anh Nguyen, Xuan-Tu Tran, Khanh N. Dang, Francesca Iacopi, ”A lightweight max-pooling method and architecture for deep spiking convoultional neural networks”, 2020 IEEE Asia Pacific Conference on Circuits and Systems (APCCAS 2020), pp. 209-212, Dec 2020, Halong Bay, Vietnam, ISBN: 978-17281-9396-0.

– Duy-Anh Nguyen, Xuan-Tu Tran, Francesca Iacopi, ”A review of algorithms and hardware implementations for spiking neural networks”, Journal of Low Power Electronics and Applications, Apr. 2021, Vol. 11, 23, ISSN: 2079-9268 (ESCI, Q2).

– Duy-Anh Nguyen, Xuan-Tu Tran, Khanh N. Dang, Francesca Iacopi, ”A low-power, high-accuracy with fully on-chip ternary weight hardware architecture for Deep Spiking Neural Networks”, Microprocessors and Microsystems, Vol. 90, 2022 104458, ISSN: 0141-9331 (SCIE, Q2).